强人工智能时代的算力产业机会
国内主要能看到的芯片有:
1)英伟达上一代的 V100,也是当初 OpenAI 训练 ChatGPT 使用的主流芯片;
2)A100,这也是英伟达目前在国内主要销售的一款芯片,也是现在 ChatGPT 训练的主要平台;
3)H100 是英伟达在去年年底发布的,计划在今年下半年开始在国内很多地方布署,目前在国外的一些厂家也能看到 H100;
5)Intel Habana;
6)Intel Xeon HBM:Intel 专门针对未来人工智能的训练,推出了一款至强的 HBM 芯片;
7)推理芯片 A30 和 A2 是英伟达推理芯片的两个极端,但是从指标上看,A30 在某种程度上也可以承担一部分 AI 的训练任务。因为美国的限制,英伟达推出了一款新的产品,叫做A800。针对 H100,英伟达也有对应的中国版型号叫做 H800,最主要的核心变化就是在 CPU 与 CPU 之间的带宽上,A100 到 A800 降到了 400G,H100 到 H800 降到了 450G,这就是英伟达目前向中国销售的两款产品。
2021 年,国内数据中心加速卡市场,Nvidia 占有 88.8%市场份额, Huawei 占有 8.8%市场份额,另外还有一些其他的厂家,大概占有剩下的 1%-2%,是个高度集中的市场。华为 2022 年出货量有一定下降,因为 2022年整体的经济形势不好,尤其像云厂商受到的冲击比较大,所以 2022 年整体市场出货量都有一定下降,但是英伟达的市场份额没有大的变化,基本的格局维持不变。
预计 2023-2024 年,市场出货量会有一个比较高速的增长,原因是:2022 年很多互联网厂商因为自身的业务问题,压缩 2022 年的业务和芯片需求,需求全部转到 2023 年;而且 2023 年面临着产品从原来的 A100要升级到 H800 的变化,2023 年有常规业务循环周期的要求,也要开始去做有关大模型的储备,所以互联网厂商在 2023 年的芯片需求会有一个比较大的增长。国内的很多互联网厂家的 AI 算力基本上满足于日常国内 AI 用户的需求,没有针对大模型这种需求去做很多的储备,所以很多厂家现在的算力资源不足,那么在2023 年考虑到要提前去做一些预演和尝试,2023 年会有一个小规模,也可能是比较大规模的布署;
2024 年会有一个比较爆发的增长。国内大模型可能会有 TO-C 端和 To-B 业务,很多 To-B 端会看到大模型的业务,所以在 2024 年会有一个高速增长,但是到后两年会进入一个常规性的增长状态,就比如说小规模的更新换代,一些新平台的引入,所以到后几年会呈现一个正常的增长幅度。大模型之所以会对 AI 芯片提出这么高的要求,是因为大模型训练规模增大,数据量增大,训练成本、消耗的设备资源增长成一种线性的增长。人工智能往大模型方向发展带来三个比较大的变化,就是大数据、大算力、强算法,这三个变化形成了大模型的一个基本入门门槛,如果说能解决这三个,或者解决核心的两个,厂家可以进入到大模型的业务当中。ChatGPT 使用 1 万片 A100 或 A800,完整的训练一次是 14 天,这个时间不算短;推理对于设备的要求是呈现一个爆发式的增长,因为随着用户访问量的增加,对于推理的设备要求量会越来越大,推理的算力并不高,但训练好的模型大约 400 G,这是一个模型的尺寸,要把这个模型装下,最少要用五片 A100(因为一片 A100 板上面有 80G 内存),所以传统的一台英伟达 DGX,基本上满足一个用户访问请求的需求,它的生成速度大概是每秒钟可以生成 15 到 20 个词,基本上占用了一台英伟达 DGX 一秒钟的资源,那随着用户数量及查询量的增加,对于设备的要求是一个爆发式的增长,所以未来大模型对算力的增长主要来自于业务部署时产生的要求,而对于训练,规模基本上保持一定,除非未来有更大规模的模型。
2)内存:如果片上的内存小,或者内存效率不高,就直接影响到使用的设备数量;GPGPU 内存很大;CPU是片外内存,所以相对来讲差了很多,因为片外内存的访问,存在内存容量小以及访问延迟问题;DPU 内存更小;FPGA 片上内存也是个极小的单位,数量不适合大模型;存算一体在这一点是可以的,因为它本身是在存储空间上叠加了计算功能,所以可以做到相应比较大的内存空间,所以在内存上存算一体可做。
国内人工智能算力领域产业图谱:
2)阿里巴巴自己设计的一款 GPGPU,目前对外透露性能大概是 A100 的两倍,本来该芯片应该在去年十月份发布,但是没有发布,可能在今年发布。阿里巴巴这款芯片很可能不对外单独销售,未来阿里可能作为系统集成商去给客户提供一些加速平台服务,目前这款芯片暂时看不到任何的新内容。
3)百度的昆仑是一款推理芯片,也不适合于大模型的训练,未来需要做大的升级。。
5)寒武纪:训练能力不错,但是性价比有待提升,在内存空间、计算能力、片间互联技术等也需要持续迭
7)壁仞科技:未来也有机会,它自己最新一代的 BR100 受美国禁令重新设计,推迟了上市时间。
国内算力芯片在人工智能应用中的问题:
2)互联解决方案:国内现在没有互联解决方案,大部分东西都是开源的 CCX,CCX 是一个开源的方案,但是生态不好,而且整个性能未来的维护也都不好,所以国内缺乏互联的解决方案。
4)产品的研发能力:国内芯片的很多核心东西都不是中国企业能掌握的,所以这些都是未来芯片发展当中的一些需要考虑的问题。
人工智能产业的机遇及挑战
需要:1)数据和算力,需要的英文语料和中文语料都是海量的,维基百科英文版占它所有语料的比重不到 6%,中文的语料更少、大概不到 1%,训练如此大的数据集就涉及到算力问题;
2)训练好一个模型以后,能够展示出来的交互模式尚不得而知,其实 ChatGPT 本质上是一个语言模型,但是它具有交互能力、多轮对话能力、编程能力、思维逻辑推理能力,而国内正在研发的模型交互模式尚未可知;
3)在人才数量上,中国并不落后,但在顶尖人才、创新人才的培养上,与美国还有差距。各家巨头公司也正在大模型的上下游产业中加速布局。就目前国内在做这方面研究的机构和公司,一是百度的文心一言,另外前段时间复旦大学邱锡鹏团队研发 MOSS 原型,已经开放内测,但是最近内测又关闭了。
从政策维度来看,人工智能一直是国内一个非常热的关键技术。
上海的三大支柱产业包括了人工智能;十四五规划强调也要加快数字产业化、培育壮大人工智能;去年七月份颁发了加快场景创新,以人工智能高水平应用促进经济高质量发展的指导意见。无论是国家层面还是上海市层面,对人工智能(包括技术、产业应用)高度关注,给予了非常多的资源。我国目前已投入运营和在建的人工智能计算中心达 23 个,分布在北京、上海、南京、杭州等多个城市,当然未来可能会在四川、青海、贵州逐步去新增部署一些算力中心。
1)大模型促进 AIGC 产业:大模型时代,以 ChatGPT、Dall-E2 为代表的大模型表现出了惊人的“涌现”能力,即随着规模的增大,大模型产生出小模型没有的能力,大模型实现 AIGC 的效果具有颠覆性意义。AIGC进一步发展一定会代替社会上很多已有的工作,例如:低端翻译,不具备架构、整合、创新能力的程序员,等。AIGC 未来在影视、文化娱乐、低代码开发等产业会产生很大的冲击和变革。
2)ADAS 辅助驾驶产业大力发展:无人驾驶是未来非常重要的一个方向,尽管现阶段自动驾驶可能还是局部、场景化的,但是这个趋势是不可逆的。以场景为先导,自动驾驶全栈解决方案提供商将分批实现商业化,逐渐向更普适的场景推广。中国具有广大的新能源汽车消费市场,数据量和路况的复杂度具有优势。同时随着 L3 辅助驾驶的普及,自动驾驶的安全性测试、鲁棒性测试及仿真测试的有效性将会进一步被重视,逐步规范化,车路协同技术将成为高等级自动驾驶背后驱动力。
4)AI 赋能智能制造:智能制造就是未来,人工智能在制造产业上应该有非常大的机会,华为、腾讯云都在布局工业质检、工业机器人等。
2)大模型的瓶颈:大模型技术上也有很多问题,就比如国内高算力芯片相对落后,而大模型的训练需要大量算力,所以也存在数据积累不足、缺乏可解释性与鲁棒性等问题。