为解决高速运算下,存储器传输速率受限于DDR SDRAM带宽而无法同步成长的问题,高带宽存储器(High Bandwidth Memory,HBM)应运而生,其革命性传输效率是让核心运算元件充分发挥效能的关键。据TrendForce集邦咨询研究显示,
目前高端AI服务器GPU搭载HBM已成主流,预估2023年全球HBM需求量将年增近六成,来到2.9亿GB ,2024年将再成长三成。
TrendForce集邦咨询预估到2025年,全球若以等同ChatGPT的超大型AIGC产品5款、Midjourney的中型AIGC产品有25款,以及 80款小型AIGC产品估算,上述所需的运算资源至少为145,600~233,700颗NVIDIA A100 GPU,再加上新兴应用如超级计算机、8K影音串流、AR/VR等,也将同步提高云端运算系统的负载,高速运算需求高涨。