登录注册
中科金财已适配LLAMA大模型
Cndjjddjxx
2024-04-22 14:01:25
通过与行业专家的紧密合作,中科金财利用ROCm软件生态工具和AMD GPU利用率可视化工具进行了深入的性能分析和优化,已完成Llama2-7b、Llama2-13b、ChatGLM2模型在AMD芯片上的训练和推理测试,覆盖了从单机单卡到多机多卡的多种配置。经过调优,在训练方面,GPU利用率提升了27%;在推理方面,首token返回时长(Time To First Token,TTFT)提升了35%,吞吐量(Throughput QPS,tokens/s)提升了43%,有效加快了训练和推理过程。在测试期间,中科金财的汽车、电商和银行的垂类大模型已经可以在AMD的高端人工智能芯片MI210上高效顺畅地运行。
未来,中科金财将继续探索算力调优工作,涵盖AI应用场景、网络性能、存储性能等多个层面,将帮助行业客户提升算力性能,降低算力成本,并助力多模态大模型的发展以及AI Agent的应用,从而帮助产业实现AGI的升级。

S中科金财(sz002657)S 

声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
工分
1.06
转发
收藏
投诉
复制链接
分享到微信
有用 1
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据