登录注册
AIGC当前最大瓶颈 算力 算法
Wind
一路向北的小韭菜
2023-02-03 11:27:02
            AI训练所需算力指数增长,增长速度超越硬件的摩尔定律

爆火的AIGC当前最大瓶颈或是它


最近AIGC领域催化不断,而随着ChatGPT大火之际,财通证券等指出,算力作为人工智能的“发动机”,已是行业当前最大的瓶颈,国盛证券也表示AIGC等应用的普及将带来巨大的算力市场。


具体来看,财通证券分析称,算力的瓶颈并不体现在算力的绝对大小,而在于实现该算力的成本,特别是在算法场景众多、迭代速度较快的AI领域。


此前,OpenAI联合创始人兼CEO曾在推特上表示,ChatGPT的运营费用高得“令人瞠目结舌”。在用户抛出问题之后,ChatGPT回应的每一个字,花的都是真金白银。


据悉,ChatGPT托管于微软云服务Azure上,目前微软对单个100 GPU的收费是每小时3美元,按照ChatGPT加载模型和文本的速度,生成一个单词的费用约为0.0003美元;而ChatGPT的回复通常至少有30个单词,因此ChatGPT每回复一次,至少花Open AI 1美分。


而摩根士丹利的分析甚至认为,ChatGPT的一次回复可能会花掉Open AI 2美分,大约是谷歌搜索查询平均成本的七倍。尤其考虑到ChatGPT面向全球大众用户,用的人越多,带宽消耗越大,服务器成本只会更高。


AIGC应用将产生巨大的算力市场

根据早些时候OpenAI发表了一份研究成果表明,AI训练所需算力指数增长,增长速度超越硬件的摩尔定律。


数据显示,自2012年至2018年,用于训练AI所需要的算力大约每隔3~4个月翻倍,整体呈现指数级上涨(而摩尔定律仅仅是18个月翻一倍)1。从2012年到2018年,训练AI所耗费的算力增长了30万倍,而摩尔定律在相同时间只有7倍的增长。


中信建投研报的数据也显示,此前用于AI训练的算力增长符合摩尔定律,大约每20个月翻一番;深度学习的出现加速了性能的扩展,用于AI训练的算力大约每6个月翻一番;而目前大规模模型出现,其训练算力是原来的10到100倍。

 

国盛证券表示,AIGC未来应用普及的背后,将产生巨大的算力市场。


以GPT-3为例,该模型有着多达1750亿的参数,训练所需的算力高达3650PFLOPS-day。按照Lambda的测算,以V100理想状态下28 TFLOPS的算力和最低3年起云计算的成本,完成训练GPT-3需要花费460万美元,而下一代GPT-4的参数将更多。


国盛证券表示,尽管AI模型往往会选择开源,但数据集和训练成果是一个团队的内部资产,这意味着每个AI产品都需要支付自己的训练成本。现在大部分创业团队都是布设在云端,因为单独的算力集群很贵,目前A100高端产品大概在6-9万元,1000张A100卡加上CPU、硬盘、存储、机房供电等配套设施的硬件投入将近1亿。在未来AIGC随着B端和C端的商业化落地的实现,算力集群的建设和云服务都会收益,同时考虑到英伟达A100、H100出口受限,相关国产算力芯片将有机会获得增量市场。


算力行业还有元宇宙+数字经济催化

此前科技巨头英特尔曾发布过一个元宇宙相关的声明,英特尔表示,看好元宇宙的可能性,但有一个关键问题还没有解决——几乎没有足够的计算能力,其表示今天的计算、存储和网络基础设施根本不足以实现这一愿景,而要想实现真正的元宇宙,我们目前的计算能力需要再提高1000倍。


此外,据华西证券研报,数字经济催化下,智能算力需求稳定增长。兴业证券表示,数字经济时代,算力是国别竞争能力高低的核心指标。


近日,IDC与浪潮信息联合发布《2022-2023中国人工智能计算力发展评估报告》,文章指出,中国人工智能计算力继续保持快速增长,2022年智能算力规模达到268百亿亿次/秒(EFLOPS)。


IDC预测,未来五年中国智能算力规模将持续高速增长,2021年中国智能算力规模达155.2 EFLOPS,预计到2026年将达到1271.4 EFLOPS。


 

相关产业链

据《中国算力网络全景洞察白皮书》,算力是数字化时代的基础设施,也是推动数字经济向前发展的核心动能。需求侧科技进步与产业数字化、供给侧算力技术迭代共同驱动算力发展。

 

据兴业证券研报,


算力的第一个层次是算力的“基础设施建设”,高性能芯片、服务器、处理器、数据中心、网络等基础设施建设为算力、应用以及产业发展提供可持续发展的保障。


算力的第二个层次是应用,得益于算力水平的不断提升,未来云计算、大数据、人工智能、物联网、5G等应用都将蓬勃发展,而这些应用的普及又带来计算方法的革新,提高计算效率,拉动算力发展。


算力的第三个层次在于与实体经济的融合,赋能数字经济各行业的数字化转型升级。工业互联网、金融科技、智能驾驶、智能医疗、智能制造、智慧城市、高端装备、可穿戴设备、个人智能终端、网络安全等产业数字化进程不断加深,新的需求以及产生的大量数据,又为应用的发展提供了动力。

 

声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
云从科技
S
海天瑞声
S
寒武纪
S
海光信息
S
汉王科技
工分
33.28
转发
收藏
投诉
复制链接
分享到微信
有用 46
打赏作者
无用
真知无价,用钱说话
1个人打赏
同时转发
评论(13)
只看楼主
热度排序
最新发布
最新互动
  • 只看TA
    2023-02-06 08:48
    thanks
    0
    0
    打赏
    回复
    投诉
  • 交易人生
    买买买的散户
    只看TA
    2023-02-06 07:38
    其实就是搜索引擎的提升版。信息和智能
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-02-06 07:36
    谢谢
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-02-06 06:59
    感谢
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-02-06 06:39
    感谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-02-05 23:09
    感谢分享
    0
    0
    打赏
    回复
    投诉
  • 韭菜园丁丁
    明天一定赚的萌新
    只看TA
    2023-02-05 22:15
    感谢分享
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-02-05 22:09

    老师辛苦啦
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-02-05 20:48
    Mark
    0
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-02-05 20:20
    谢谢分享
    0
    0
    打赏
    回复
    投诉
  • 1
  • 2
前往