01

GPU旨在最大化吞吐，而CPU则注重于延迟和并发。

GPU通过并行处理多个数据流来提高计算效率，但也面临着多线程等额外开销。GPU在设计上会考虑资源约束和线程安全，以实现更高效的计算。

在使用 GPU 进行计算时，我们需要将计算任务分解成多个线程，并将这些线程分配给 GPU 的处理器单元进行并发计算。GPU 的处理器单元可以同时处理多个线程，每个线程都可以独立地执行计算任务，从而实现高并发的计算。

HBM与主芯片(CPU/GPU)的位置靠的很近,理论上可以获得更高的传输效率。 高带宽、高延迟这个特性,决定了HBM是非常适用于作为GPU显存的.

HBM（Hi-gh Ba-n-d-w-i-d-th Me-m-o-ry，高带宽内存）是一款新型的CPU/GPU 内存芯片，其实就是将很多个DDR芯片堆叠在一起后和GPU封装在一起，实现大容量，高位宽的DDR组合阵列。

之前的AI 服务器多采用图形双倍数据速率存储器 GD-DR 来满足 GPU 带宽要求，对比来看的哈，HBM2E 的芯片密度达到其 7 倍，芯片面积节省 87.5%，而海力士新推出的 HBM3 产品带宽在上一代 HBM2E产品的基础上又翻一倍。

02

为什么AI训练使用GPU，而不是cpu?

GPU硬件架构与CUDA如何对应？

04

AI训练和推荐

GPU有上千个计算核心，拥有并行计算能力，因此GPU既擅长训练也擅长推理，NVIDIA也根据实际应用中需求的不同，推出了不同规格的GPU，例如适用于AI训练的NVIDIA A100。

训练是通过数据集，通过深度学习和卷积算法，训练出大模型

推理是向现有的大模型输入数据，进行快速的推导

05

小作文

总结：

①L4：提供增强的视频解码和转码功能、视频流、增强现实、生成 AI 视频等。可实现比CPU高120倍的AI视频性能，同时能源效率提高 99% 

②L40：主要用于图像生成，并对图形和支持 AI 的 2D、视频和 3D 图像生成进行了优化。 

③H100 NVL：主要用于大型语言模型部署，非常适合大规模部署 ChatGPT 等大型 LLM。 

④Grace Hopper：主要用于图形推荐模型、矢量数据库和图形神经网络等领域。

新版H100 提高训练速度10倍，主流的AI训练一般采用英伟达的A100或H100芯片，这次大会上，公司推出针对大模型优化过的新训练芯片H100 NVL，和过去的A100相比，训练速度提高10倍成本降低一个数量级。

— 这是训练大模型的，主训练和推理

目前，AI推理上，一般采用2018年发布的T4芯片，这次公司发布出面向视频生成和图像生成的新推理芯片L4和L40，其中L40推理性能是T4的10倍。目前国内AI芯片厂商在推理芯片已有一定市占率，但受CUDA等软件影响，训练芯片上差距仍较大。

— L40 以及L40s 主推理