通过与行业专家的紧密合作,中科金财利用ROCm软件生态工具和AMD GPU利用率可视化工具进行了深入的性能分析和优化,已完成Llama2-7b、Llama2-13b、ChatGLM2模型在AMD芯片上的训练和推理测试,覆盖了从单机单卡到多机多卡的多种配置。经过调优,在训练方面,GPU利用率提升了27%;在推理方面,首token返回时长(Time To First Token,TTFT)提升了35%,吞吐量(Throughput QPS,tokens/s)提升了43%,有效加快了训练和推理过程。在测试期间,中科金财的汽车、电商和银行的垂类大模型已经可以在AMD的高端人工智能芯片MI210上高效顺畅地运行。
未来,中科金财将继续探索算力调优工作,涵盖AI应用场景、网络性能、存储性能等多个层面,将帮助行业客户提升算力性能,降低算力成本,并助力多模态大模型的发展以及AI Agent的应用,从而帮助产业实现AGI的升级。
S中科金财(sz002657)S