登录注册
英伟达交流纪要
八卦猫
公社达人
2023-05-25 15:12:42

管理层陈述英伟达创始人兼首席执行官Jensen Huang说:“计算机行业正在同时经历两个转变——加速计算和生成式 AI。随着公司竞相将生成式人工智能应用于每一种产品、服务和业务流程,价值1万亿美元的全球数据中心基础设施将从通用用途转向加速计算。我们的整个数据中心产品系列——H100、Grace CPU、Grace Hopper Superchip、NVLink、Quantum 400 InfiniBand 和 BlueField-3 DPU——都在生产中。我们正在大幅增加供应,以满足对它们激增的需求


FY2024Q1(对应CY2023Q1)业绩:

  • 营收:第一季度收入为收入 71.9 亿美元,同比下降 13%,同比增长 19%创纪录的数据中心收入达到 42.8 亿美元。本季度 GAAP 每股摊薄收益为 0.82 美元,同比增长 28%,环比增长 44%。非 GAAP 每股摊薄收益为 1.09 美元,同比下降 20%,环比上升 24%。

  • 毛利率:第三季度毛利率为66.8%,同比下降0.3pts,环比上升0.7pts。

  • 受惠于云计算平台和大型科技公司对GPU芯片(训练AI)的需求,数据中心业务实现创纪录的42.8亿美元营收。

  • 游戏业务实现营收22.4亿美元,同比下降38%,但较前一季度回升22%。

  • 汽车业务方面,英伟达在第一财季录得2.96亿美元营收,环比上升1%,同样也是历史新高。

  • 专业可视化业务收入同比下降53%至2.95亿美元,高于分析师预期的2.466亿美元,环比增长31%。滑反映出渠道去库存影响,环比增长受到台式机和移动工作站GPU的需求增长推动。

FY2024Q2业绩展望:

  • 收入预计为 110 亿美元,上下浮动 2%。

  • GAAP 和非 GAAP 毛利率预计分别为 68.6% 和 70.0%,上下浮动 50 个基点。

  • GAAP 和非 GAAP 运营费用预计分别约为 27.1 亿美元和 19 亿美元。

  • GAAP 和非 GAAP 其他收入和支出预计收入约为 9000 万美元,不包括非附属投资的收益和损失。

  • GAAP 和非 GAAP 税率预计为 14.0%,上下浮动 1%,不包括任何离散项目。

Q&A

Q:本季度收入的绝大部分来自数据中心,想了解一些细节,能否谈一谈从四月到七月的关键驱动因素?更重要的是,您提到对下半年有很高的可见度,从七月季度开始,您的供应链可以支持这样连续的增长?

A:当我们谈到预期的季度增长时,我们的生成式人工智能大型语言模型正在推动这一需求激增。这是一个广泛的趋势,涵盖了我们的消费者互联网公司、云服务提供商、企业和人工智能初创公司。对于我们的两种架构,即我们的最新架构Hopper和Ampere,都存在兴趣。

这些是我们在提供第二季度指引时考虑的关键因素。我们在开场白中也提到,我们正在为本季度的供应工作,并已为下半年采购了大量的供应。我们在不同的客户群体中看到他们正在为一些最大的企业构建平台,同时在云服务提供商和大型消费者互联网公司中建立设施。因此,我们目前对数据中心需求有一定的可见度,这使我们迅速采购了下半年的大量供应。


Q:在推动加速服务器以支持人工智能方面的进展如何?在与台积电和其他合作伙伴处理较长周期时间时,您如何考虑管理方式,以便在未来几年中管理好交货时间,以最佳匹配供需?

当我进行Chat GPT时,我们已经全面生产了Ampere和Hopper。这有助于大家明确如何从大型语言模型的技术过渡到基于聊天机器人的产品和服务。

我们将Guardrails和对齐系统与强化学习、人类反馈、知识向量数据库和搜索相结合,以非常出色的方式实现了整合。我们大规模建造超级计算机,在我们的GPU上,系统板还有其他35,000个组件,还有网络和光纤光学器件、智能适配器和交换机等。为了建立一个数据中心,所有这些都必须配合使用。我们已经全面生产了这些产品。当时机来临时,我们将显著增加对下半年的大量采购。

为什么全球所有的数据中心都在向加速计算迈进?加速计算是一个全栈问题,一个包含12个层面的挑战,如果你能够成功地在大量应用领域实现加速计算,从而可以将数据中心的能耗和成本大幅降低一个数量级。这需要花费很多钱,因为你必须开发所有的软件和系统等。

但是我们已经进行了15年的努力,当生成式人工智能出现时,这个计算平台已经准备了一段时间,所以现在我们正处于两个同时进行的过渡中。全球价值1万亿美元的数据中心几乎完全由CPU组成,在过去的4年里,它已经安装了价值约1万亿美元的基础设施,完全基于CPU和智能网卡。未来,它将转向加速计算。尽管全球数据中心的资本支出预算有限,但我们看到了重塑全球数据中心的令人难以置信的订单。将其称为为期10年的过渡的开端,将全球数据中心进行改造,构建为加速计算。数据中心的支出将从传统计算转向智能网卡、智能交换机和GPU等加速计算,工作负载主要将以生成式人工智能为主。


Q:可见度是否意味着数据中心销售在第三季度和第四季度可以继续增长?还是维持在第二季度的水平?鉴于当前非常强劲的需求环境,这对竞争格局有何影响?它是否会引发更多关于智能网卡的竞争?是否会引发其他GPU解决方案或其他种类解决方案的竞争?您如何看待未来两三年竞争格局的变化?

A:我们认为,下半年的供应量将比上半年大得多。因此,我们预计不仅会有上个季度和第二季度需求的持续增长,而且在下半年我们也会看到一些需求,我们计划在下半年大幅增加供应量。

关于竞争,我们面临来自各个方向的竞争,有很多非常资金充裕和富有创新精神的初创公司,遍布全球。我们有来自现有半导体公司的竞争,我们有来自云服务提供商的内部项目的竞争,我们时刻关注竞争。

我们是成本最低的解决方案,原因是加速计算是一个全栈挑战,必须在所有软件、库、算法方面进行工程设计,将其整合并针对整个数据中心的架构进行优化,不仅仅是一颗芯片的架构,而是整个数据中心的架构,从框架到模型,所有的工程和分布式计算、基础计算机科学工作都非常出色,它是我们所知道的最难的计算方式。所以首先,它是一个全栈挑战,你必须在整个过程中进行优化,并在令人惊叹的多个堆栈上进行优化。我们有400个加速库,加速的库和框架的数量非常惊人。


第二部分是生成式人工智能是一个大规模问题,是一个数据中心规模的问题。它以一种新的方式思考,即计算机是数据中心,或者数据中心是计算机,而不是芯片,而是数据中心,以前从未出现过这种情况,在这个特殊环境中,你的网络操作系统、分布式计算引擎、对网络设备、交换机和计算系统的架构的理解,整个系统就是你的计算机,而你正试图运行的是这个整个系统。为了获得最佳性能,你必须全面了解和理解数据。



在这个特定的环境下,您的网络操作系统、分布式计算引擎、对网络设备架构的理解,包括交换机和计算系统、计算架构,整个系统构成了您的计算机。这就是您所尝试操作的内容。为了获得最佳性能,您必须理解全栈并了解数据中心规模。这就是加速计算的含义。

  • 第二个问题是利用率,这涉及到您可以加速的应用类型和架构的多样性,以保持利用率的高水平。如果您只能做一件事情,并且只能以极快的速度完成,那么您的数据中心在很大程度上就没有充分利用,很难扩展。英伟达的通用GPU实际上使我们的利用率非常高。

  • 第三个问题是数据中心专业知识。我们建立了5个自己的数据中心,并帮助全球各地的公司建立数据中心。我们将我们的架构整合到全球所有云端中。

从产品交付到部署的时间,可以衡量数据中心的运营时间。搭建一个超级计算机可能需要数月时间,产品交付到运营大约需要一年的时间并不罕见,而我们的交付到运营时间只需几周。我们将数据中心和超级计算机转化为产品,并且团队在这方面的专业知识令人难以置信。


Q:如何看待软件的变现效应,考虑到云服务协议的扩展持续增长?AI企业软件和其他软件收入的推动因素目前处于什么水平?

A:软件对我们的加速平台非常重要。我们的最新架构和所有产品中都包含了大量的软件。我们采用多种模式帮助客户在生成式人工智能和加速竞争方面开展工作。我们提供DGX云平台来提供这些服务,帮助他们构建模型。随着我们的架构和基础设施的发展,软件的可用性以及我们对其进行变现的能力都会继续增长。可以看到生成式人工智能和云服务提供商的增长,用于训练模型、优化模型和部署模型。企业市场和工业市场是需要新型软件的两个领域。

对于企业市场,我们有Nvidia AI基础,帮助您创建自定义模型。我们还有Nvidia AI企业。Nvidia企业是世界上唯一一个经过企业认证和支持的GPU加速软件堆栈。Nvidia AI企业由4000个不同的软件包组成,代表了整个AI工作流程的端到端操作引擎,是独一无二的。首先,要数据处理;其次是模型的训练和优化;第三个方面是模型的部署和推理。Nvidia AI企业持续提供和修补所有这些4000个软件包,包括安全修补。


对于机器人技术来说,需要将人工智能与物理原理相结合,并通过强化学习等技术来进行调整。在工业应用和机器人技术中,强化学习是人类反馈的重要组成部分,而Omniverse是软件定义的关键引擎。Omniverse也需要成为一个云服务平台。我们的软件堆栈,包括AI基础、AI企业和Omniverse,运行在我们与Azure、gcp和Oracle等云供应商的云中。我们与这些云供应商的销售、市场营销和领导团队合作,以将AI的应用范围扩展到云之外的企业和工业领域。


Q:另外,对于股票回购方面,还有大约70亿美元的授权股票回购金额,但本季度并没有进行股票回购,只是时间上的原因吗?

A:关于股票回购的问题,还有70亿美元的授权金额可供回购。但在上个季度我们没有进行任何回购,我们会根据机会进行回购。

Q:关于InfiniBand和以太网的争论,能否谈谈这个以及您对其发展的看法?对于人工智能来说,需要InfiniBand的低延迟,但能谈谈InfiniBand解决方案在核心计算方面的应用率吗?是否挤压了以太网?

A:InfiniBand和以太网是面向数据中心不同应用的技术。InfiniBand在最近一个季度表现出色,有着出色的技术路线图,它是为人工智能工厂设计的。如果数据中心运行着一些应用程序,为特定的用户持续运行,并且基础设施的成本达到了5亿美元,那么InfiniBand和以太网的整体吞吐量可能会相差15%到20%,成本几乎可以忽略不计,这就是人们使用InfiniBand的原因。

然而,如果您的数据中心是一个云数据中心,数百万人在使用,在这种情况下,以太网是正确的选择,云正变成一个生成式人工智能云,是一个这个新的细分市场是一个很好的机会。在Computex上,我在上一次的GTC(GPU技术大会)上提到过它。 我们将为这个市场建立一个主要产品线,专注于以太网的生成式人工智能应用云。


Q:在推理方面,大型语言模型是一个非常大的机会,云客户也在谈论试图大幅降低每个查询的成本。您能谈一下这对您们的影响吗?您在GTC推出的一些特殊推理产品是否起到了作用?将如何帮助客户降低每个查询的成本?

A:这是一个很好的问题。无论您是从构建大型语言模型开始,还是使用这个大型语言模型的不同版本(中型、小型和微型),它们都有各自的优势,它们都能完成相同的任务,但显然,大型语言模型的适用性更高,可以教导较小的模型如何成为优秀的人工智能;生成提示,以调整较小的模型等。因此,您首先构建非常大的模型,然后还需要训练一系列较小的模型。

这也是为什么我们拥有多种不同尺寸的推理产品的原因。您已经看到我宣布了L4、L40、H100、NVL8等型号,其中还包括H100和H100 HGX,并且我们还有带有NVLink的H100多节点版本。您可以根据需要选择任何型号的模型尺寸。

这些模型最终与应用程序相连。应用程序可能具有图像输入、视频输出,文本输出,未来可能还有三维输出和视频输入等。因此,输入和输出需要进行大量的预处理,预处理过程不能被忽视。这也是大多数专用芯片论证失效的原因之一,因为模型本身只占推理总体处理量的25%。其余的工作涉及预处理、后处理、安全性、解码等各种操作。

因此,推理的多模态特性、多样性将在云端、本地部署和多云环境中实现,这也是为什么我们在所有云端都拥有AI企业的原因,也是为什么我们与戴尔有着良好合作关系的原因。我们刚刚宣布了一个名为"Project Helix"的项目,将集成到第三方服务中;这也是为什么我们与ServiceNow和Adobe有着良好合作关系的原因,因为它们将创建一系列生成式人工智能能力。


Q:数据中心网络业务每个季度的收入大约为10亿美元左右,相较于3年前(即收购Mellanox时)增长了2.5倍,增长非常强劲。但考虑到你们的InfinityBand以太网解决方案与加速计算平台的高度关联,网络业务的增长是否与计算设备的出货量保持一致?同时,团队将如何进一步提高网络带宽,以适应计算复杂性、数据集的显著增加、对更低延迟和更好流量可预测性的要求?

A:几乎所有思考人工智能的人都会考虑加速器芯片,实际上他们基本完全忽视了核心问题。加速计算涉及整个技术栈,包括软件和网络,我们早期推出了一个名为DOCA的网络技术栈,还有一个叫做Magnum IO的加速库,正是这些技术使我们能够连接数万个GPU。Mellanox是世界上性能最高、无可争议的高性能网络领域的领导者,这也是我们两家公司合并的原因。

我们的网络技术从NVLink开始扩展,它是一种具有超低延迟的计算架构,使用的是内存引用而不是网络数据包进行通信。我们将NVLink连接到多个GPU内部,并在计算单元之间扩展,将在几天后的Computex展览会上详细介绍。它与InfiniBand相连接,包括网卡、智能网卡和我们正在全面生产的SmartNIC BlueField-3以及经过优化的光纤交换机等。我们还将在Computex上发布一种全新类型的以太网。我们并未单独列出网络业务,因为我们将整个体系视为一个计算平台,将其作为组件销售给世界各地的数据中心,使其能够根据自己的需求和架构进行集成。虽然我们的方式更加复杂,但这使得英伟达的计算架构能够整合到全球任何数据中心中,无论是各种类型的云端还是本地,甚至是5G边缘计算。


Q:DGX云服务,你们将硬件卖给超大规模合作伙伴,然后回租给自己的业务,伙伴们是如何对此进行使用的?此外,在数据中心的巨大增长中,有多少是通过销售支持DGX云服务的系统所带来的?

A:没法具体给出数字,但理想的情况是Nvidia DGX云占10%,云服务提供商(CSP)的云占90%。DGX是纯粹的Nvidia技术栈,按照我们的设计构建,以实现最佳性能。

  • 首要目标:能够与云服务提供商进行深入合作,打造最高性能的基础设施,并为客户提供在各处运行Nvidia的灵活性,包括本地部署。

  • 其次,能够与云服务共同创建市场。例如,我们正在与Azure合作,将Omniverse云带给全球各行业。世界上从未有过像这样的系统,它具备生成式人工智能、3D技术、物理模拟、大规模数据库以及高速低延迟网络等特点。我们与微软合作,在Azure云中创建Omniverse云,并共同开发新的应用和市场。另外,Azure、GCP和OCI提供的海量数据、安全服务等也能通过Omniverse云即时获得。这是一个巨大的成功。

  • 对于客户而言,Nvidia的云服务可以在任何地方进行。客户可以在云服务提供商的云中自行运行和管理自己的软件。我们与三家云服务提供商的合作非常成功,在他们的销售团队、市场团队和领导团队中,我们都取得了很好的合作。


结尾:生成式人工智能正从实验室走向工业应用。随着我们与云和互联网服务提供商的合作规模扩大,我们还在为全球最大的企业构建平台,无论是与我们的云服务提供商合作伙伴之一合作,还是在戴尔的Helix平台上部署,无论是在像ServiceNow和Adobe这样的领先企业平台上,还是根据需求使用Nvidia AI Foundations,我们都可以帮助企业安全有效地利用自己的领域专业知识和数据来应用生成式人工智能。

在接下来的几个季度中,我们将推出一系列产品,包括H100、我们的Grace和Grace Hopper超级芯片,以及我们的Blue 3、Blue Field 3和Spectrum 4网络平台。它们都已经投产。它们将帮助实现数据中心规模的计算,同时具备高能效和可持续性。

作者利益披露:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
鸿博股份
工分
1.83
转发
收藏
投诉
复制链接
分享到微信
有用 2
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
评论(2)
只看楼主
热度排序
最新发布
最新互动
  • 只看TA
    2023-05-25 15:33
    鸿博这……想象空间无限啊
    1
    0
    打赏
    回复
    投诉
    于2023-05-25 21:33:55更新
    查看1条回复
  • 1
前往