大模型参数呈现指数规模，引爆海量算力需求: 根据财联社和OpenAI数据，ChatGPT浪潮下算力缺口巨大，根据OpenAI数据，模型计算
量增长速度远超人工智能硬件算力增长速度，存在万倍差距。运算规模的增长，带动了对AI训练芯片单点算力提升的需求，并对数据传
输速度提出了更高的要求。根据智东西数据，过去五年，大模型发展呈现指数级别，部分大模型已达万亿级别，因此对算力需求也随之攀升。
AI大模型对算力的需求分别来自训练和推理两个环节。1）训练环节：通过标记过的数据来训练出一个复杂的神经网络模型，使其能够 适应特定的功能，模型具有一定的通用性，以便完成各种各样的学习任务。该环节需要处理海量的数据，注重绝对的计算能力。2）推 理环节：利用训练好的模型，使用新数据推理出各种结论。借助神经网络模型进行运算，利用输入的新数据来一次性获得正确结论的过 程。该环节对算力要求比训练环节略低，但注重综合指标，单位能耗算力、时延、成本等都要考虑。
首都在线，国内推理算力龙头！98亿市值至少还有翻倍空间！
一，深度绑定英伟达，在限售禁令发布之前，公司就已大量储备英伟达的 A100 和 A5000 芯片。目前，英伟达公布在向全球开放云算力资源池，首都在线极有可能成为英伟达在国内的云运算代理商
目前，公司与燧原科技的合作为资源方面的合作，双方
通过首都在线云计算平台与燧原科技 AI 算力平台的强强联合，
共同聚焦打造全面的 AIGC 生态圈，将重点针对大模型 MaaS
（Model-as-a-Service）展开联合攻关。同时，燧原科技以现在
部署于首都在线的算力基础设施为首发，结合其过往五年积累的
大模型训练与推理的经验，正式对外推出基于云燧 i20 支撑的
AIGC 实时推理应用。未来的商业化路径为双方共同打造针对大
模型 MaaS 的国产算力池平台，共同开发市场，共同构建生态体
系。与此同时，未来公司也将积极拓展与国产算力第一梯队的厂
家开展深入合作，共建 GPU 合作生态。
钛媒体7月8日消息，在2021世界人工智能大会(WAIC 2021）期间，上海燧原科技推出第二代人工智能（AI）训练产品——“邃思2.0”芯片、基于邃思2.0的“云燧T20”训练加速卡和“云燧T21”训练OAM模组，全面升级的“驭算TopsRider”软件平台以及全新的“云燧集群”。
燧原科技成立于2018年3月，专注研发针对云端数据中心的深度学习高端芯片，定位于AI训练及推理解决方案，是国内第一家同时拥有高性能云端训练和云端推理产品的创业公司。经过三年多的飞速发展，截止今年5月，燧原科技员工人数已超500人，其中90%为研发人员。
据介绍，燧原科技发布的邃思2.0是迄今中国最大的AI计算芯片，尺寸为57.5毫米×57.5毫米（面积为3306mm2），达到了日月光2.5D封装的极限，与上代产品一样采用格罗方德12nm FinFET工艺，内部共整合9颗芯片，单精度FP32算力为40TFLOPS，单精度张量TF32算力为160TFLOPS，整数精度INT8算力为320TOPS。相比之下，英伟达基于Ampere架构的A100 GPU的单精度浮点计算能力仅为19.5TFLOPS。
同时，邃思2.0也是首个支持最先进内存HBM2E的产品。云燧T20/T21则是基于邃思2.0而打造，预计“邃思2.0”将于今年底量产。
在新品发布会上，中国科学院院士陈国良致辞祝贺，称非常看好且充分理解燧原科技是一家致力做大芯片、拼硬科技为宗旨的公司。当下因中美问题使得针对中国计算机工业的制裁接踵而来，中国希望与世界一起发展，但发展也要“打铁自身硬”。在这种背景下，发展自主可控的计算机工业系统是当务之急。“这个过程中，中国未来需要燧原科技这样一群有建设性的公司，把自主可控这件事落到实处。”
燧原科技CEO赵立东则表示，第二代AI训练产品的发布，是燧原科技开发原始创新的算力产品和构建自主生态又一重要的里程碑。
具体而言，2019年底，燧原科技发布了从启动项目研发到发布用时仅18个月的云端训练芯片邃思1.0，基于邃思1.0的云燧T10加速卡单精度算力高达20TFLOPS，以及AI推理加速卡云燧i10和配套的“驭算”软件平台。
而在两年后的今天，燧原科技在第二代新品系列中进行了四大核心的全新升级迭代，其计算能力、存储和带宽、互联能力较第一代训练产品有巨大提升，对超大规模的模型支持能力获得显著增强：
1、架构升级实现算力飞跃。邃思2.0进行了大规模的架构升级，新一代全自研的GCU-CARA全域计算架构，针对AI计算的特性进行深度优化，夯实了支持通用异构计算的基础；支持全面的计算精度，涵盖从FP32、TF32、FP16、BF16到INT8，并成为中国首款支持单精度张量TF32数据精度的AI芯片。
2、HBM2E存储带来海量吞吐。邃思2.0的中心是主芯片，在边缘有4颗三星最先进的存储芯片HBM2E，高配支持64GB内存，最大带宽达1.8TB/s。据悉，这是中国第一个支持世界最先进存储HBM2E和单芯片64GB内存的产品。
3、高速互联支撑算力扩展。新的计算架构带来了全新GCU-LARE全域互联技术——这是燧原专为人工智能训练集群研发的互联技术，提供双向300 GB/s互联带宽，支持数千张云燧CloudBlazer加速卡互联，实现优异的线性加速比。
4、不止是芯片，燧原也进行了全新软件调配，推出燧原科技自主知识产权的计算及编程平台驭算TopsRider。通过软硬件协同架构设计，充分发挥邃思2.0的性能；基于算子泛化技术及图优化策略，支持主流深度学习框架下的各类模型训练；利用Horovod分布式训练框架与GCU-LARE互联技术相互配合，为超大规模集群的高效运行提供解决方案。
另外，燧原科技推出与了合作伙伴（浪潮等）共同打造的全新产品品牌云燧智算集群CloudBlazer Matrix 2.0，集合8192张云燧训练卡，可实现最高1.3E（130000T）的单精度智能算力集群。据悉，E（Exascale）级计算就是百万兆级的计算，是目前全球顶尖超算系统新的追逐目标。
钛媒体了解到，燧原科技计划到2023年打造3款云端训练计算产品、3款云端推理计算产品，将性能功耗比提升至初代的14倍，并同步升级Matrix集群，有望全面“国产替代”美国半导体公司的相关AI芯片产品。
- 1
- 2