登录注册
【国盛计算机AI旗手】微软开源 DeepSpeed-Chat,加速应用百花齐放
戈壁淘金
只买龙头的老司机
2023-04-13 19:36:39

DeepSpeed-Chat可以简易地进行类ChatGPT模型的训练和推理:用一个脚本,能够采用预先训练的Huggingface模型,使用 DeepSpeed-RLHF系统运行完成 InstructGPT 训练的所有三个步骤(1.监督微调2.奖励模型微调和3.人类反馈强化学习(RLHF))并生成自己的类 ChatGPT 的模型。

DeepSpeed-HE是DeepSpeed-RLHF系统的引擎,具备三大优势:
1)效率比现有其他系统快15倍以上。在Azure Cloud上以低于13美元和9美元的价格在30小时内训练OPT-18B,在300小时内训练OPT-600B。
2)具备出色的可扩展性:支持数千亿参数的模型,可以在一天内训练一个庞大的 175B 模型。
3)让训练硬件成本亲民:只需一个 GPU,就支持超过 13 亿个参数的训练模型。

DeepSpeed-Chat的开源赋能整个AI行业提升效率和降低成本,加快应用落地。有望帮助大模型厂商加快训练,并能让中小厂商在做细分领域应用时,基于自己的场景和数据低成本快速实现自己的小型类ChatGPT模型,或在微调大模型时降低成本。

影响:1)加速应用百花齐放,降低训练门槛。如办公、多模态GPT、智能助理、金融、医疗等场景训练中FINETUNE难度与便捷性比以前好很多。2)中期加大算力需求:我们一直强调,训练端算力需求极其有限,而应用爆发才是指数型增长。DEEP SPEED-chat加速各类应用落地,中期算力需求有望迎来大爆发。这和市场目前的误解有差异。

作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
寒武纪
工分
19.55
转发
收藏
投诉
复制链接
分享到微信
有用 28
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(9)
只看楼主
热度排序
最新发布
最新互动
  • pride2046
    满仓搞的散户
    只看TA
    2023-04-13 21:24
    发展AI,算力肯定是必须的。
    1
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-04-13 20:04
    所以算力大跌
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-04-13 20:02
    感谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-04-14 00:49
    都开源了,利空上游算力、服务器,利好下游应用端(各种AI+)
    0
    1
    打赏
    回复
    投诉
  • 1
前往