英特尔公司近日宣布推出新一代Gaudi 3 AI加速器，专为大规模生成式人工智能工作负载设计。与上一代产品相比，Gaudi 3在进行LLaMa 2 70B模型推理时，吞吐量提高了20%，性价比也实现了翻倍。

Gaudi 3 AI加速器拥有64个张量处理器核心（TPC）和8个矩阵乘法引擎（MME），这些特性使其在深度神经网络计算方面表现出色。该加速器配备了128GB HBM2E内存，提供高达3.67TB/s的带宽，相较于Gaudi 2的24个TPC、两个MME和96GB HBM2E内存有了显著提升。

此外，Gaudi 3还集成了24个200 GbE网络接口和14个媒体引擎，支持H.265、H.264、JPEG和VP9等多种视觉处理格式。Gaudi 3与PyTorch框架以及Hugging Face的先进变压器和扩散器模型兼容，为用户提供了灵活的应用支持。

目前，IBM已经在IBM Cloud上部署了Gaudi 3人工智能加速器，而戴尔科技也正在利用Gaudi 3和Xeon 6共同设计基于检索增强生成的解决方案。这表明Gaudi 3 AI加速器已经获得了行业内重要企业的认可和应用。

英特尔Gaudi 3 AI加速器的推出，不仅提升了AI工作负载的处理能力，也为AI技术的发展和应用提供了更强大的硬件支持。随着AI技术的不断进步，Gaudi 3有望在多个领域发挥关键作用，推动人工智能的创新和应用。