英伟达二季度售出了900吨 H100 GPU

来源:半导体产业纵横发布时间:2023-09-182922浏览

本文由半导体产业纵横（ID：ICVIEWS）综合Omdia预计，英伟达在第二季度出货量超过30万台H100。

当英伟达表示其在 2024 财年第二季度销售了价值 103 亿美元的数据中心硬件时，我们可以想象该公司销售了大量的高端 H100 计算 GPU，但市场研究公司 Omdia 表示英伟达 2023 年第二季度实际上销售了 900 吨H100 处理器。

Omdia估计，英伟达在第二季度出货量超过900吨的H100计算GPU，用于人工智能（AI）和高性能计算（HPC）应用。Omdia认为，一个配备散热片的Nvidia H100计算GPU的平均重量超过3公斤，因此Nvidia在第二季度出货量超过30万台H100。

英伟达H100 具有三种不同的外形尺寸，并且都有不同的重量。英伟达H100 PCIe 卡重 1.2 公斤，虽然英伟达H100 SXM 模块的重量未知，但带散热器的 OAM 模块的重量 — 其尺寸和 TDP 与 H100 大致相同SXM ，最高重 2 公斤。假设英伟达H100出货量80%是模组，20%是卡，那么单台H100的平均重量应该在1.84公斤左右。Omdia 表示，其重量是根据英伟达在第二季度出货的 H100 数量来估算的，因此实际重量可能不到 900 吨，但我们仍然可以说英伟达在第二季度供应了数吨 H100。

Omdia 表示，预计英伟达在未来几个季度将销售大致相同数量的 GPU，因此该公司预计今年将销售约 3,600 吨的 H100 GPU。如果增长速度保持不变，那么每年大约有 120 万个 H100 GPU。

这是一个粗略的估计，但一个季度内售出超过 30 万个 H100 GPU 已是一项巨大的成就。虽然我们想象 H100 数字包括面向中国的 H800 处理器，但我们还应该记住，该公司向已经将其用于人工智能的公司运送了大量上一代 A100、A800 和 A30 计算 GPU推理和技术计算，因此英伟达每季度实际销售的计算GPU数量远高于30万个，总量远远超过900吨。

这显然不足以满足全球对 GPU 永不满足的需求——英伟达的 AI GPU 在今年年底后就已售罄。因此，随着英伟达从生成式人工智能热潮中获利，我们预计未来一年的出货量将会加速。

为了让读者能更准确的知道900吨的概念，这里还有一些其他重达 900 吨的东西：

4.5个波音 747；11 架航天飞机轨道飞行器；215,827 加仑水；299 福特 F150-闪电；181,818 台 PlayStation 5；32,727 只金毛猎犬。

英伟达GH200超级芯片首秀MLPerf v3.1，碾压H100

近日，英伟达发布了在全球最快的 AI GPU（例如Hopper H100、GH200和L4）上运行的官方 MLPerf Inference v3.1 性能基准测试。

两组新的基准测试包括 DLRM-DCNv2 和 GPT-J 6B。第一个是真实推荐器的更大的多热数据集表示，它使用新的跨层算法来提供更好的推荐，并且参数数量是之前版本的两倍。另一方面，GPT-J 是一种小型 LLM，其基础模型是开源的，于 2021 年发布。此工作负载专为摘要任务而设计。

英伟达还展示了应用程序的概念性现实工作负载管道，该应用程序利用一系列 AI 模型来实现所需的查询或任务。所有型号都将在 NGC 平台上提供。

在性能基准方面，英伟达H100 在整个 MLPerf v3.1 推理集（离线）上与来自英特尔 (HabanaLabs)、高通 (Cloud AI 100) 和谷歌 (TPUv5e) 的竞争对手进行了测试。英伟达在所有工作负载中提供了领先的性能。

英伟达表示这些基准是在大约一个月前实现的，因为 MLPerf 需要至少 1 个月的提交时间才能发布最终结果。从那时起，英伟达提出了一项名为TensorRT-LLM 的新技术，该技术将性能进一步提升了 8 倍。

回到基准测试，英伟达的 GH200 Grace Hopper Superchip 也在 MLPerf 上首次提交，与 H100 GPU 相比，性能提高了 17%。这种性能提升主要来自更高的 VRAM 容量（96 GB HBM3 与 80 GB HBM3）和 4TB/s 带宽。

Hopper GH200 GPU 采用与 H100 相同的核心配置，但有助于提升性能的一个关键领域是 Grace CPU 和 Hopper GPU 之间的自动动力转向。由于 Superchip 平台在同一板上为 CPU 和 GPU 提供电力传输，因此客户基本上可以在任何特定工作负载中将电力从 CPU 切换到 GPU，反之亦然。GPU 上的额外能量可以使芯片时钟更快、运行速度更快。英伟达还提到这里的 Superchip 运行的是 1000W 配置。

英伟达表示：“英伟达GH200 Grace Hopper Superchip 在 MLPerf 行业基准测试中首次亮相，它运行了所有数据中心推理测试，扩展了英伟达H100 Tensor Core GPU 的领先性能。总体结果显示了英伟达AI 平台从云端到网络边缘的卓越性能和多功能性。”

“GH200 将 Hopper GPU 与 Grace CPU 连接在一个超级芯片中。该组合提供了更多内存、带宽以及在 CPU 和 GPU 之间自动转移功率以优化性能的能力。另外，配备 8 个 H100 GPU 的 H100 系统在本轮的每个 MLPerf 推理测试中提供了最高的吞吐量。”

“Grace Hopper Superchips 和 H100 GPU 在 MLPerf 的所有数据中心测试中处于领先地位，包括计算机视觉推理、语音识别和医学成像，以及要求更高的推荐系统用例和生成 AI 中使用的大型语言模型 (LLM)。总体而言，这些结果延续了英伟达自 2018 年推出 MLPerf 基准测试以来在每一轮人工智能训练和推理方面表现出领先地位的记录。”

基于Ada Lovelace GPU架构的英伟达L4 GPU也在MLPerf v3.1中强势亮相。它不仅能够运行所有工作负载，而且运行效率非常高，在 FHFL 外形尺寸下，TDP 为 72W，运行速度比现代 x86 CPU（英特尔 8380 双路）快 6 倍。L4 GPU 还将视频/AI 任务（例如解码、推理、编码）提高了 120 倍。最后，得益于软件更新，英伟达Jetson Orion 的性能提升了高达 84%。

*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系后台。