登录注册
微软开源Deep Speed Chat,坚定看好算力设施
发现牛股
中线波段的散户
2023-04-14 07:22:10

  2023年4月12日,微软宣布开源了Deep Speed Chat,帮助用户轻松训练类ChatGPT等大语言模型,使得人人都能拥有自己的ChatGPT。

  核心观点:

  微软开源Deep Speed Chat,人人拥有ChatGPT时代已来临: ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式,这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在,通过Deep Speed Chat可以突破这些训练瓶颈,达到最佳效果。Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。强化推理方面,可实现简化ChatGPT类型模型的训练和强化推理;Deep Speed-RLHF模块方面,复刻了InstructGPT论文中的训练模式,并确保包括监督微调(SFT)、奖励模型微调和基于人类反馈的强化学习在内的三个步骤。DeepSpeed-HE能够在RLHF中无缝地在推理和训练模式之间切换,使其能够利用来自DeepSpeedInference的各种优化。此外,Deep Speed Chat在成本、效率、扩展性等方面非常优秀,效率方面,此模型高效且节省成本,只在Azure云上只需9小时即可训练一个OPT-13B模型,只需18小时即可训练一个OPT-30B模型。这两种训练分别花费不到300美元和600美元。

  Deep Speed Chat高效赋能AI行业,显著提升效率并降低成本,我们认为AIGC百花齐放的时代已经到来。我们认为微软此次开源Deep Speed Chat就像当年的互联网,为了提升发展速率降低了台式机的价格,使得普通用户也能拥有自己的电脑。效率方面,根据华尔街见闻消息,可将训练速度提升15倍以上,成本却大幅度降低。例如,一个130亿参数的类ChatGPT模型,只需1.25小时就能完成训练。我们认为通过Deep Speed Chat解决资源、算法等难题,轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。我们认为AIGC百花齐放的时代已经到来,原因是Deep Speed Chat显著降低训练门槛,中小厂商有望以更低的成本加速实现类ChatGPT的开发,并显著降低成本,AIGC百花齐放的时代正式来临,我们认为金融、办公、医疗、智能助理、XR、智能助手、智慧音响等领域有望率先赋能。

  再此重申强调ChatGPT的竞争本质即大模型储备竞赛,算力是打造大模型生态的必备基础,算力在大模型的背景下势必迎来大爆发。算力是训练大模型的底层动力源泉,一个优秀的算力底座在大模型(AI算法)的训练和推理具备效率优势,其中包括AI服务器、AI芯片等为核心产品。大模型参数呈现指数规模,引爆海量算力需求。根据财联社和OpenAI数据,ChatGPT浪潮下算力缺口巨大,根据OpenAI数据,模型计算量增长速度远超人工智能硬件算力增长速度,存在万倍差距。运算规模的增长,带动了对AI训练芯片单点算力提升的需求,并对数据传输速度提出了更高的要求。根据智东西数据,过去五年,大模型发展呈现指数级别,部分大模型已达万亿级别,因此对算力需求也随之攀升。

  投资建议:

  我们认为ChatGPT等大模型的出现,势必引爆算力需求。受益标的为:首都在线、寒武纪、海光信息、浪潮信息、中科曙光、景嘉微、龙芯中科、神州数码、拓维信息、广电运通、云赛智联、青云科技、优刻得、光环新网、新炬网络、工业富联等。

  风险提示

  政策推进不及预期的风险、宏观经济下滑风险、核心技术研发不及预期的风险、中美贸易摩擦升级的风险。

作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
海光信息
S
寒武纪
S
浪潮信息
S
中科曙光
工分
1.18
转发
收藏
投诉
复制链接
分享到微信
有用 1
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(2)
只看楼主
热度排序
最新发布
最新互动
  • 小猪蹄子
    游资
    只看TA
    2023-04-15 23:14
    4月14日周五收盘价,我们注意到房地产板块四只股:蓝光发展(600466),收盘价0.84,泛海控股0.97,中天金融1.00,搜于特1.02,都处于低于1元退市边缘,但正股至今从未出现1元杀,目前,蓝光发展已连续7个交易日股价低于1元,已到极限施压!收盘后消息推送:央行说要化解房企风险,央企中传和蓝光战略合作,适时将合作项目注入蓝光发展,推动蓝光业务转型!难道蓝光要被央企收购!!!
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-04-14 08:36
    感谢分享
    0
    0
    打赏
    回复
    投诉
  • 1
前往