摘要:英伟达升级H100 AI处理器,以巩固在AI计算市场的主导地位。英伟达推出名为H200的新款图形处理器(GPU),具备使用HBM3e高带宽内存的能力,H200集成141 GB内存,在推理或生成问题答案时,性能较H100提高60%-90%。
北京时间周一晚,英伟达发布下一代人工智能超算芯片。
英伟达对其火爆的H100 人工智能GPU进行了重磅升级,最新款高端芯片名为H200,基于英伟达的“Hopper”架构,是该公司第一款使用HBM3e高带宽内存的芯片,这种内存速度更快、容量更大,因此更适合处理大型数据集,而这是开发大型语言模型所必需的。
英伟达公司表示,基于HBM3e,H200以每秒4.8 TB的速度提供141GB的内存,与A100相比,容量几乎是其两倍,带宽增加了2.4 倍。
在备受瞩目的人工智能领域,英伟达提到,H200将带来进一步的性能飞跃。在Llama 2(700亿参数的LLM)上的推理速度比H100快了一倍。未来的软件更新预计会给H200带来额外的性能领先优势和改进。
H200将在具有四路和八路配置的英伟达HGX H200服务器主板中提供,并与HGX H100系统的硬件和软件兼容。
亚马逊的AWS、Alphabet公司的谷歌云和甲骨文的云基础设施,都承诺从明年开始使用这款新芯片。
英伟达早盘一度追随美股大盘小幅下跌,盘中急速拉涨,上涨约1.4%,有望连续第九个交易日上涨。
伴随着人工智能的火爆,英伟达的高端GPU需求量极大。这也令其他芯片制造商瞄准这一利润丰厚的市场,加快推出高品质的AI芯片,整个AI芯片市场竞争相当激烈。英伟达此举旨在巩固其在AI计算市场的主导地位。
AMD将于本季度推出MI300芯片,AMD透露,已有多家超大规模云服务商承诺将部署MI300芯片产品。华尔街见闻网站此前提及,业内人士透露,拥有更大显存的MI300,在部署32K上下文窗口的GPT-4模型时效果更好。具体来说,与H100相比,MI300的性能优势在20%-25%,具体取决于上下文长度和提示长度/每次查询输出的token数量。
此外,英特尔公司声称其AI芯片Gaudi 2比H100更快。