登录注册
英伟达巨型GPU超级AI计算机产品合作伙伴
美索不达米亚
2023-05-29 15:41:56
英伟达今天出手了一个杀手级的算力产品,英伟达巨型GPU通过连接打造AI超级计算机

【英伟达新型AI超级计算机集成256个GH200芯片,谷歌云、Meta和微软将为首批客户】5月29日,英伟达发布新型大内存AI超级计算机——NVIDIA DGX超级计算机,由英伟达GH200 Grace Hopper超级芯片和NVLink交换机系统提供支持,旨在为生成型AI语言应用、推荐系统和数据分析工作负载开发新一代巨型模型。据介绍,英伟达DGX GH200的巨大共享内存空间使用NVLink互连技术与NVLink交换系统,将256个GH200超级芯片组合在一起,使它们能够像单个GPU一样运行。谷歌云、Meta和微软是首批预计将获得DGX GH200访问权的客户,以探索其在生成型AI工作负载方面的能力。

英伟达CEO黄仁勋:GH200 Grace Hopper芯片为“巨型GPU”

英伟达和软银宣布:将共同合作使用grace hopper超级芯片用于生成式人工智能和5G/6G技术

简单解释就是英伟达将256个GH200超级芯片组合在一起,使它们能够像单个GPU一样运行。而使得256个超级芯片能够像单个GPU一样运行,就必须使用NVLink互连技术与NVLink交换系统,也就是英伟达的连接技术和英伟达交换技术

我们通过英伟达官方网站查询了一下最新的NVLink交换系统

第四代 NVLink 和 NVLink 网络

新兴的 exascale HPC 和万亿参数人工智能模型(用于超人类对话人工智能等任务)需要数月的训练,即使是在超级计算机上。将这种延长的培训时间从几个月压缩到几天,以便对企业更有用,需要服务器集群中每个 GPU 之间进行高速、无缝的通信。 PCIe 带宽有限,造成了瓶颈。为了构建最强大的端到端计算平台,需要更快、更可扩展的 NVLink 互连。

NVLink 是NVIDIA 的高带宽、节能、低延迟、无损 GPU 到 – GPU 互连,包括弹性特性,如链路级错误检测和数据包重放机制,以保证数据的成功传输。新的第四代 NVLink 在 H100 GPU 中实现,与NVIDIA A100 张量核心 GPU 中使用的第三代 NVLink 相比,提供 1.5 倍的通信带宽。

对于多 GPU I / O 和共享内存访问,新的 NVLink 以 900 GB / s 的总带宽运行,提供的带宽是 PCIe Gen 5 的 7 倍。 A100 GPU 中的第三代 NVLink 在每个方向上使用四个差分对(通道),以创建单个链路,在每个方向上提供 25 GB / s 的有效带宽。相比之下,第四代 NVLink 在每个方向上仅使用两个高速差分对来形成单个链路,在每个方向上也提供 25 GB / s 的有效带宽。

  • H100 包括 18 个第四代 NVLink 链路,可提供 900 GB / s 的总带宽。
  • A100 包括 12 个第三代 NVLink 链路,可提供 600 GB /秒的总带宽。

在第四代 NVLink 的基础上, H100 还引入了新的 NVLink 网络互连,这是 NVLink 的一个可扩展版本,使 GPU 能够跨多个计算节点在多达 256 个 GPU 节点之间进行 GPU 通信。

与常规 NVLink 不同, NVLink 网络引入了一个新的网络地址空间,所有 GPU 共享一个公共地址空间,请求直接使用 GPU 物理地址路由。 H100 中的新地址转换硬件支持将所有 GPU 地址空间彼此隔离,并与网络地址空间隔离。这使得 NVLink 网络能够安全地扩展到更大数量的 GPU 。

由于 NVLink 网络端点不共享公共内存地址空间,因此不会在整个系统中自动建立 NVLink 网络连接。相反,与 InfiniBand 等其他网络接口类似,用户软件应该根据需要明确地在端点之间建立连接。

新型 NVLink 交换系统

结合新的 NVLINK 网络技术和新的第三代 NVSwitch , NVIDIA 能够以前所未有的通信带宽水平构建大规模 NVLINK 交换系统网络。每个 GPU 节点暴露出节点中 GPU 的所有 NVLink 带宽的 2:1 锥形级别。这些节点通过 NVLink 交换机模块中包含的第二级 NVSwitch 连接在一起, NVLink 交换机模块位于计算节点之外,并将多个节点连接在一起。

NVLink 交换机系统最多支持 256 GPU 。连接的节点可以提供 57.6 TB 的全对全带宽,并可以提供令人难以置信的 FP8 稀疏人工智能计算的 1 倍

图 21 显示了基于 A100 和 H100 的 32 节点 256 GPU DGX 叠加的比较。基于 H100 的 SuperPOD 使用新的 NVLink 交换机互连 DGX 节点。

结论就是英伟达将256个GH200超级芯片组合在一起,使用NVLink互连技术与NVLink交换系统,也就是英伟达的连接技术和英伟达最新交换机,使它们能够像单个GPU一样运行,从而形成英伟达AI超级计算机。

电连技术:英伟达芯片连接器和交换机供应商,受益英伟达巨型GPU超级AI计算机发布

5月5日电,电连技术在互动平台表示,公司对英伟达有公司相关产品的研发送样。是什么产品呢?公司主营几乎100%就是连接器和交换机,主要运用于路由器、交换机和相关连接器,就是英伟达NVLink互连技术与NVLink交换系统的关键产品。

 然我们看看电连技术的官网是如何描述的产品。

电连技术为有线通讯设备主要是路由器,交换机等连接设备提供产品和解决方案

电连技术:市场上极度稀缺的英伟达6g技术

英伟达和软银宣布:将共同合作使用grace hopper超级芯片用于生成式人工智能和5G/6G技术。而电连技术相关产业已经送样给英伟达,电连技术2月17日在投资者互动平台表示,关于公司毫米波相关技术的的研发情况您可查阅定期报告中“研发投入”相关章节有详细披露。目前海外5G毫米波及模组类产品需求显著增长,公司以射频BTB为主包括LCP连接线等模组产品出货量将会随着毫米波的深入稳定增长。5月15日电,电连技术在业绩说明会上表示,公司射频类的产品可以广泛应用于人工智能在内的泛5G的相关领域。6G技术的底层技术为5G毫米波技术,公司将会紧密跟随6G技术演进的节奏,随着6G市场的不断成熟,适时推出适应市场需求的相关产品。

电连技术作为英伟达芯片连接器和交换机供应商,且公司互动平台表示相关连接器产品已经送样。而这次英伟达巨型GPU超级AI计算机发布的关键技术,就是256个GH200超级芯片组合在一起,使它们能够像单个GPU一样运行的英伟达连接技术和英伟达交换机,因此随着英伟达新型AI超级计算机集成256个GH200芯片的大力推广,电连技术作为供应商之一,受益巨大。
作者在2023-05-29 16:32:32修改文章
作者利益披露:原创,不作为证券推荐或投资建议,截至发文时,作者不持有相关标的。
声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
电连技术
S
金百泽
S
奥士康
工分
106.36
转发
收藏
投诉
复制链接
分享到微信
有用 88
打赏作者
无用
真知无价,用钱说话
3个人打赏
同时转发
评论(65)
只看楼主
热度排序
最新发布
最新互动
  • 只看TA
    2023-05-29 19:00
    内存扩大了500倍,GPU扩大32倍,创益通做的是存储连接,电连技术做的是gpu连接,创益通弹性更大吧?
    3
    0
    打赏
    回复
    投诉
    于2023-05-29 20:20:42更新
    查看6条回复
  • 只看TA
    2023-05-29 23:59
    连接器和NVlink技术完全两码事
    3
    0
    打赏
    回复
    投诉
    于2023-05-30 06:24:56更新
    查看1条回复
  • 只看TA
    2023-05-29 17:25
    这个牛
    1
    0
    打赏
    回复
    投诉
    于2023-05-29 17:43:07更新
    查看1条回复
  • 韭菜园丁丁
    明天一定赚的萌新
    只看TA
    2023-05-29 16:14
    感谢分享
    1
    0
    打赏
    回复
    投诉
    于2023-05-29 17:33:54更新
    查看1条回复
  • 三七二十一
    绝不追高的老韭菜
    只看TA
    2023-05-29 22:21
    感谢分享
    1
    0
    打赏
    回复
    投诉
  • 华生
    老股民
    只看TA
    2023-05-29 22:19
    感谢分享
    1
    0
    打赏
    回复
    投诉
  • 乱云飞渡
    中线波段的散户
    只看TA
    2023-05-29 22:02
    感谢分享
    1
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-05-29 21:43
    感谢分享
    1
    0
    打赏
    回复
    投诉
  • 热点逻辑123
    不要怂的游资
    只看TA
    2023-05-29 21:39
    感谢分享
    1
    0
    打赏
    回复
    投诉
  • 只看TA
    2023-05-29 18:44
    与英伟达深度合作的好
    0
    0
    打赏
    回复
    投诉
    于2023-05-29 18:51:46更新
    查看1条回复
  • 1
  • 2
  • 3
  • 4
前往