纪要｜英伟达交流纪要（0824）

Q：公司在推理市场有什么机会？如何看待大模型和小模型的发展趋势？

A：大模型的发展是很惊人的，它所学习的是人类的大量知识和语言结构。一般的路径是创建一个尽可能大的大模型，并基于这个大模型衍生出小模型，从注重通用性、泛化和零基础学习（0 shot），发展到垂直、专用的模型。

Q：与公司对供给爬坡的展望相比，客户的支出规模增速似乎没那么高，未来1-2年需求是否有持续性？

A：首先，公司供给的增速包含多个产品线和未上市的产品，公司对供应商的支持感到非常高兴。

目前全球大约有价值一万亿美元的云数据中心、企业数据中心，这一万亿美元的市场正在向加速计算、Gen AI过渡，这两个趋势是很强的驱动力。

Q：数据中心业务的收入结构？

A：HGX系统是上季度数据中心业务增长的主要驱动，既包括Hopper产品，又包括Ampere产品，两个系统都在大幅增长。

DGX目前是销售的附加系统，对于企业客户和消费互联网客户而言是巨大机会。

其他GPU（如L40S）即将上市，也将成为业务未来的增长点。

Q：如何评估公司软件生态系统的演变？公司投入了多少资源？公司软硬件收入占比是多少？

A：以AI Enterprise为例，AI Enterprise 是公司软件堆栈的一部分，客户可以在任何框架上进行任何模型的训练、推理和部署，并将其扩展到超大规模数据中心或企业级数据中心。客户可以在公司任何GPU执行这个操作，无论是单GPU配置还是多GPU配置。目前AI Enterprise拥有大约 4,500 个软件包、软件库。

AI Enterprise仅仅是一个案例，公司花费20年逐步构建软件堆栈方案，并不断更新和优化，形成以下优势：

1）架构：架构具有灵活性、多功能性和高性能，能够用于数据处理、训练和推理，公司设计的架构能在最低成本条件下执行这些任务；

2）安装基础：公司又非常大的安装基数和用户群，这有助于吸引更多的软件开发者使用英伟达平台；

3）覆盖范围：公司覆盖公有云和私有云，适用于不同需求场景。

4）规模和速度：公司能够在不同模型、不同计算环境中维持复杂的软硬件、计算与网络堆栈，公司能够在加快工程速度的同时完成这一切，并保持每2年一代新架构的更新速度，期间也会持续保持每6个月的新产品迭代速度。

Q：L40S的定位和机遇？

A：H100是为了超大规模的模型设计的，这不是L40的目标，L40专为横向扩展而设计，适用于标准服务器和标准机架，所以很容易安装。同样的，L40也搭载了软件堆栈和Bluefield 3 DPU，公司与Snowflake、ServiceNow一同完成了相应的工作。

L40S适用于不同规模的数据中心，如果客户愿意，它也可以使用于大语言模型和Gen AI，目前客户希望尽快部署L40S产品。

Q：未来几个季度供需可见度？

A：公司从今年到明年都有很好的可见度，公司与头部CSP和数据中心共同规划下一代基础架构。

需求方面，最直观的思路是世界正在从通用计算向加速计算发展，对于客户而言，提高吞吐量、能源效率、投入产出比的最有效途径是将资本投入向加速计算倾斜，这是一个全新的平台，是在全球范围内正在发生的转变趋势。

Q：目前CSP、消费互联网客户、企业的占比？

A：计算和网络综合来看，CSP贡献了一半多一些，消费互联网客户次之，最后是企业。

Q：如果从客户的投入产出思考，目前是否有足够多的AI应用需求，能够为客户带来合理的回报，并支撑他们继续投入？

A：首先，市场已经充分认识到通用计算并不是有效的资源配置方案，配置到加速计算是更有效率的方式，能够节省资金和能源。

数据中心、CSP客户已经有了这个趋势，GenAI提供了提高生产力的方式、提供了新的客户服务方式，而加速计算可以帮助资金、能源的节约，很多客户都已经准备好进行部署，公司相信世界各地的数据中心都会认识到这个趋势。

公司也看到企业希望这么做，但为了帮助他们转型，必须要支持管理系统、操作系统和安全软件，这是公司与VMware合作的原因，这种合作将使VMware不仅支持CPU的虚拟化，还将支持GPU的虚拟化及分布式计算，并支持公司的BlueField高性能网络，这个新的SKU被称为 VMware Private AI Foundation。

结合合作伙伴惠普、戴尔和联想将推出L40S的解决方案，任何企业都可以拥有一个AI数据中心。

尽管很难预判每个季度将如何发展，但这种计算平台的转型趋势非常明显。

Q：公司网络产品和计算产品是1:1发货的吗？公司是否会优先交付选择英伟达网络方案的计算产品？

A：不会，公司希望客户自主选择他们想要的方案。

此外，对于超大规模客户而言，Infiniband是很有效率的方案，能够为客户节省大量的传输损耗，因此对于他们而言，Infiniband基本是免费的。

最后，如果客户想要非Infiniband的方案，公司也有Spectrum-X、Bluefield等网络产品可供选择，这些产品组合将通过软件实现网络计算的概念。

Q：DGX Cloud的发展情况？公司软件业务的发展情况？对公司利润率有多大帮助？

A：DGX Cloud有以下目标：

1）与各地CSP建立紧密联系，公司与3万家公司合作，其中1.5万家是初创公司，其中数千家是Gen AI公司，这些客户都希望能够将产品部署于世界领先的云上，DGX Cloud将成为中间的桥梁；

2）DGX Cloud有助于公司自身与CSP客户的深度合作，双方的工程师将携手合作，进一步提升网络和计算性能；

3）公司自己也有庞大的基础设施需求，用于自动驾驶团队、GenAI团队，如果没有DGX系统，公司的优化编译器就无法实现，公司的工程部门也正通过AI进行芯片设计。

软件业务方面，软件几乎是所有产品的一部分，无论是游戏、数据中心还是汽车，当然，公司也有销售独立的软件产品。软件每年可能有数亿美元的收入，公司正在考虑将AI Enterprise纳入更多产品中（如DGX等）。