英特尔Gaudi2 AI推论效能紧追H100

最新基准测试结果显示，Gaudi2 AI推论运算效能与NVIDIA H100 Hopper GPU表现接近。英特尔

机器学习技术创新与应用推动组织MLCommons最新公布的MLPerf基准竞赛结果显示，NVIDIA借着2022年9月推出的Hopper H100 GPU芯片，再次在AI效能基准测试中位居其他各业者之冠。

然令人惊讶的是，英特尔（Intel）旗下Habana Labs于2022年9月推出的Habana Gaudi2深度学习处理器，在大型语言模型（LLM）推论运算上的效能表现，紧追在H100之后。

AI硬件与云端服务分析与谘询业者Cambrian-AI Research表示，英特尔AI芯片产品依应用市场的不同，区分为两大类型。一类是专门针对AI基础设施市场的产品，而Gaudi正是该市场中的强而有力竞争者。另一类则是定位在众多工作负载运算需求，如Xeon系列处理器。

根据MLPerf Inference 3.1基准测试结果显示，Gaudi2 AI推论运算效能为NVIDIA前代A100的2.4倍（服务器）和2倍（离线），与H100 Hopper GPU表现接近。

根据先前英特尔公布的数据，Gaudi2在AI训练上的效能表现也相当出色。英特尔日前表示，会于2023年第3季对Habana Gaudi2进行FP8精度量化更新。预期更新后，Gaudi2在AI训练中的表现有可能会超越H100。

Cambrian-AI Research表示，就目前而言，Gaudi2会是NVIDIA AI芯片的可靠代用品。

面对Habana系列芯片来势汹汹，NVIDIA也于日前推出，能够对生成式AI推论运算进行最佳化的TensorRT-LLM软件。NVIDIA表示，经由该软件，H100在推论运算上的效能会再提高1倍。

Habana Labs发言人先前表示，采5纳米节点制程生产的新一代Gaudi3芯片很快就会推出。再加上超微（AMD）MI300在2023年底前推出；Google第五代TPU v5e也已于2023年8月底推出，预期未来AI芯片竞争精彩可期。

数据显示，NVIDIA H100 GPU采台积电4N制程技术生产，内含800亿颗晶体管，及最高达80GB的HBM3或HBM2e存储器。Habana Gaudi2则采台积电7纳米节点制程生产，内含24个张量处理器核心与96GB HBM2e存储器。

责任编辑：朱原弘