【英伟达新型AI超级计算机集成256个GH200芯片,谷歌云、Meta和微软将为首批客户】5月29日,英伟达发布新型大内存AI超级计算机——NVIDIA DGX超级计算机,由英伟达GH200 Grace Hopper超级芯片和NVLink交换机系统提供支持,旨在为生成型AI语言应用、推荐系统和数据分析工作负载开发新一代巨型模型。据介绍,英伟达DGX GH200的巨大共享内存空间使用NVLink互连技术与NVLink交换系统,将256个GH200超级芯片组合在一起,使它们能够像单个GPU一样运行。谷歌云、Meta和微软是首批预计将获得DGX GH200访问权的客户,以探索其在生成型AI工作负载方面的能力。
英伟达和软银宣布:将共同合作使用grace hopper超级芯片用于生成式人工智能和5G/6G技术
简单解释就是英伟达将256个GH200超级芯片组合在一起,使它们能够像单个GPU一样运行。而使得256个超级芯片能够像单个GPU一样运行,就必须使用NVLink互连技术与NVLink交换系统,也就是英伟达的连接技术和英伟达交换技术。
我们通过英伟达官方网站查询了一下最新的NVLink交换系统
新兴的 exascale HPC 和万亿参数人工智能模型(用于超人类对话人工智能等任务)需要数月的训练,即使是在超级计算机上。将这种延长的培训时间从几个月压缩到几天,以便对企业更有用,需要服务器集群中每个 GPU 之间进行高速、无缝的通信。 PCIe 带宽有限,造成了瓶颈。为了构建最强大的端到端计算平台,需要更快、更可扩展的 NVLink 互连。
NVLink 是NVIDIA 的高带宽、节能、低延迟、无损 GPU 到 – GPU 互连,包括弹性特性,如链路级错误检测和数据包重放机制,以保证数据的成功传输。新的第四代 NVLink 在 H100 GPU 中实现,与NVIDIA A100 张量核心 GPU 中使用的第三代 NVLink 相比,提供 1.5 倍的通信带宽。
对于多 GPU I / O 和共享内存访问,新的 NVLink 以 900 GB / s 的总带宽运行,提供的带宽是 PCIe Gen 5 的 7 倍。 A100 GPU 中的第三代 NVLink 在每个方向上使用四个差分对(通道),以创建单个链路,在每个方向上提供 25 GB / s 的有效带宽。相比之下,第四代 NVLink 在每个方向上仅使用两个高速差分对来形成单个链路,在每个方向上也提供 25 GB / s 的有效带宽。
在第四代 NVLink 的基础上, H100 还引入了新的 NVLink 网络互连,这是 NVLink 的一个可扩展版本,使 GPU 能够跨多个计算节点在多达 256 个 GPU 节点之间进行 GPU 通信。
与常规 NVLink 不同, NVLink 网络引入了一个新的网络地址空间,所有 GPU 共享一个公共地址空间,请求直接使用 GPU 物理地址路由。 H100 中的新地址转换硬件支持将所有 GPU 地址空间彼此隔离,并与网络地址空间隔离。这使得 NVLink 网络能够安全地扩展到更大数量的 GPU 。
由于 NVLink 网络端点不共享公共内存地址空间,因此不会在整个系统中自动建立 NVLink 网络连接。相反,与 InfiniBand 等其他网络接口类似,用户软件应该根据需要明确地在端点之间建立连接。
新型 NVLink 交换系统
结合新的 NVLINK 网络技术和新的第三代 NVSwitch , NVIDIA 能够以前所未有的通信带宽水平构建大规模 NVLINK 交换系统网络。每个 GPU 节点暴露出节点中 GPU 的所有 NVLink 带宽的 2:1 锥形级别。这些节点通过 NVLink 交换机模块中包含的第二级 NVSwitch 连接在一起, NVLink 交换机模块位于计算节点之外,并将多个节点连接在一起。
NVLink 交换机系统最多支持 256 GPU 。连接的节点可以提供 57.6 TB 的全对全带宽,并可以提供令人难以置信的 FP8 稀疏人工智能计算的 1 倍。
图 21 显示了基于 A100 和 H100 的 32 节点 256 GPU DGX 叠加的比较。基于 H100 的 SuperPOD 使用新的 NVLink 交换机互连 DGX 节点。
结论就是英伟达将256个GH200超级芯片组合在一起,使用NVLink互连技术与NVLink交换系统,也就是英伟达的连接技术和英伟达最新交换机,使它们能够像单个GPU一样运行,从而形成英伟达AI超级计算机。
电连技术:英伟达芯片连接器和交换机供应商,受益英伟达巨型GPU超级AI计算机发布
5月5日电,电连技术在互动平台表示,公司对英伟达有公司相关产品的研发送样。是什么产品呢?公司主营几乎100%就是连接器和交换机,主要运用于路由器、交换机和相关连接器,就是英伟达NVLink互连技术与NVLink交换系统的关键产品。
然我们看看电连技术的官网是如何描述的产品。电连技术为有线通讯设备主要是路由器,交换机等连接设备提供产品和解决方案。电连技术:市场上极度稀缺的英伟达6g技术
英伟达和软银宣布:将共同合作使用grace hopper超级芯片用于生成式人工智能和5G/6G技术。而电连技术相关产业已经送样给英伟达,电连技术2月17日在投资者互动平台表示,关于公司毫米波相关技术的的研发情况您可查阅定期报告中“研发投入”相关章节有详细披露。目前海外5G毫米波及模组类产品需求显著增长,公司以射频BTB为主包括LCP连接线等模组产品出货量将会随着毫米波的深入稳定增长。5月15日电,电连技术在业绩说明会上表示,公司射频类的产品可以广泛应用于人工智能在内的泛5G的相关领域。6G技术的底层技术为5G毫米波技术,公司将会紧密跟随6G技术演进的节奏,随着6G市场的不断成熟,适时推出适应市场需求的相关产品。
电连技术作为英伟达芯片连接器和交换机供应商,且公司互动平台表示相关连接器产品已经送样。而这次英伟达巨型GPU超级AI计算机发布的关键技术,就是将256个GH200超级芯片组合在一起,使它们能够像单个GPU一样运行的英伟达连接技术和英伟达交换机,因此随着英伟达新型AI超级计算机集成256个GH200芯片的大力推广,电连技术作为供应商之一,受益巨大。