登录注册
华西计算机:微软开源Deep Speed Chat,坚定看好算力设施
戈壁淘金
只买龙头的老司机
2023-04-14 05:20:02

事件概述

2023年4月12日,微软宣布开源了Deep Speed Chat,帮助用户轻松训练类ChatGPT等大语言模型,使得人人都能拥有自己的ChatGPT。

核心观点

微软开源Deep Speed Chat,人人拥有ChatGPT时代已来临

ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式,这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在,通过Deep Speed Chat可以突破这些训练瓶颈,达到最佳效果。Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。强化推理方面,可实现简化 ChatGPT 类型模型的训练和强化推理;Deep Speed-RLHF模块方面,复刻了InstructGPT论文中的训练模式,并确保包括监督微调(SFT)、奖励模型微调和基于人类反馈的强化学习在内的三个步骤。DeepSpeed-HE能够在RLHF中无缝地在推理和训练模式之间切换,使其能够利用来自 DeepSpeed-Inference 的各种优化。此外,Deep Speed Chat在成本、效率、扩展性等方面非常优秀,效率方面,此模型高效且节省成本,只在Azure云上只需9小时即可训练一个OPT-13B模型,只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600美元。

Deep Speed Chat高效赋能AI行业,显著提升效率并降低成本,我们认为AIGC百花齐放的时代已经到来。

我们认为微软此次开源Deep Speed Chat就像当年的互联网,为了提升发展速率降低了台式机的价格,使得普通用户也能拥有自己的电脑。效率方面,根据华尔街见闻消息,可将训练速度提升15倍以上,成本却大幅度降低。例如,一个130亿参数的类ChatGPT模型,只需1.25小时就能完成训练。我们认为通过Deep Speed Chat解决资源、算法等难题,轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。我们认为AIGC百花齐放的时代已经到来,原因是DeepSpeedChat显著降低训练门槛,中小厂商有望以更低的成本加速实现类ChatGPT的开发,并显著降低成本,AIGC百花齐放的时代正式来临,我们认为金融、办公、医疗、智能助理、XR、智能助手、智慧音响等领域有望率先赋能。

再此重申强调ChatGPT的竞争本质即大模型储备竞赛,算力是打造大模型生态的必备基础,算力在大模型的背景下势必迎来大爆发。

算力是训练大模型的底层动力源泉,一个优秀的算力底座在大模型(AI算法)的训练和推理具备效率优势,其中包括AI服务器、AI芯片等为核心产品。大模型参数呈现指数规模,引爆海量算力需求。根据财联社和OpenAI数据,ChatGPT浪潮下算力缺口巨大,根据OpenAI数据,模型计算量增长速度远超人工智能硬件算力增长速度,存在万倍差距。运算规模的增长,带动了对AI训练芯片单点算力提升的需求,并对数据传输速度提出了更高的要求。根据智东西数据,过去五年,大模型发展呈现指数级别,部分大模型已达万亿级别,因此对算力需求也随之攀升。

投资建议

我们认为ChatGPT等大模型的出现,势必引爆算力需求。受益标的为:首都在线、寒武纪、海光信息、浪潮信息、中科曙光、景嘉微、龙芯中科、神州数码、拓维信息、广电运通、云赛智联、青云科技、优刻得、光环新网、新炬网络、工业富联等。

风险提示

政策推进不及预期的风险、宏观经济下滑风险、核心技术研发不及预期的风险、中美贸易摩擦升级的风险。

作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
景嘉微
工分
7.98
转发
收藏
投诉
复制链接
分享到微信
有用 19
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(3)
只看楼主
热度排序
最新发布
最新互动
  • 1
前往