NVIDIA新一代Blackwell GPU在MLPerf基准测试中首次亮相，展现出卓越性能，相比前代Hopper架构H100，推论效能提升高达4倍。

Blackwell在MLPerf Inference v4.1中运行Meta Llama 2 70B模型，每秒处理token数达10,756个，归功于其第二代Transformer AI引擎和FP4 Tensor Cores。

此外，Blackwell的存储器带宽高达每秒8TB，远超Hopper H200的4.8TB，支持多达18条NVLink连接，总带宽达每秒1.8TB。Hopper H200 GPU也持续优化，推论效能较半年前提升27%。

尽管量产因设计调整及封装产能问题延迟，NVIDIA预计Blackwell将在2024年第四季度放量出货。MLPerf作为评估AI硬件与软件效能的权威基准，本次测试引入MoE架构模型，反映行业趋势。多家大厂新品如AMD MI300x、Google TPU v6e等也参与测试，竞争激烈。