NVDA H200专家交流简记20231115

Q：H200较H100明显的边际变化是什么？
A：H200的推理速度比H100提高了2倍，处理高性能计算的应用程序上有20%以上的提升，采用HBM3e，完成了1.4倍内存带宽和1.8倍内存容量的升级。

Q：HBM提升性能的原理是什么？
A：提升内核的效率边际递减，在应用芯片进行推理训练时，实际发挥算力远低于标称算力，这里就要考虑算力利用率，H100只有20%左右，H200提升后能接近40%。

Q：有什么其他方式提升算力的利用率么？
A：简单说，就是提高数据的读写速度和传输速度，即存储环节和通信环节，存储如HBM，通信如PCIE、光模块的升级。

Q：H200售价，后续能否卖给大陆云厂商？
A：预计在6w到8w美元，因禁令影响，即使明年Q1量产后也没可能供给大陆，目前算力还是十分短缺，云厂商普遍搭配NVDA和国产卡一起使用，国产替代趋势是肯定的。

Q：昇腾可能的升级方向？
A：内核、HBM升级都有制程和工艺的限制，最直接的方法还是扩充内部线缆和光模块，但较海外仍有差距。

推荐关注：
1）HBM：联瑞新材、壹石通、华海诚科
2）连接线束：金信诺、华丰科技、兆龙互连
3）算力调度：恒为科技、思特奇、中科金财