英特尔面向中国市场发布Gaudi2处理器，加速大模型训练和推理

来源:电子发烧友网发布时间:2023-07-171028浏览

电子发烧友网报道（文/李弯弯）日前，英特尔AI产品战略暨Gaudi2新品发布会在京举行。会上，英特尔正式于中国市场推出第二代Gaudi深度学习加速器——Habana Gaudi2。英特尔在中国市场推出的Gaudi2 AI加速器，将通过其合作伙伴浪潮提供给中国客户。

Gaudi2在训练和推理上的出色表现

英特尔此次推出的Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B，以第一代Gaudi高性能架构为基础，以多方位性能与能效比提升，加速高性能大语言模型运行。该加速器具备：

24个可编程Tensor处理器核心（TPCs）
21个100Gbps（RoCEv2）以太网接口
96GB HBM2E内存容量
2.4TB/秒的总内存带宽
48MB片上SRAM
集成多媒体处理引擎

相比于国际版本，面向中国市场的Gaudi2每张芯片集成的专用于内部互联的100Gbps（RoCEv2 RDMA）以太网接口，从24个减至21个。英特尔Habana Labs首席运营官Eltan Medina对媒体表示，根据模型的不同，特供版Gaudi2性能会有轻微的影响，但在很多数据训练扩展中，并不是用这三个端口，整体性能差别不大。根据英特尔的展示，相比于上一代产品，在ResNet-50模型测试中，Gaudi2训练吞吐量提高了3倍，BERT模型的训练吞吐量提高了4.7倍。目前，单个Gaudi 2在ResNet-50模型可达到非常稳定的5800个图像/每秒的吞吐量。与英伟达相比，Gaudi2运行ResNet-50的每瓦性能约是英伟达A100的2倍，性价比相较于AWS云中基于英伟达的解决方案高出40%。英特尔表示，接下来到9月，采用FP8软件的Gaudi 2预计能够提供比H100更高的性价比。根据此前的报道，在测试GPT-3方面，Gaudi2也表现出了强劲性能，384个加速器上的训练时间为311分钟，从256个加速器到384个加速器实现近线性95%的扩展效果。Gaudi2在大规模的多模态和语言模型的推理方面也表现出色。HuggingFace评估中，Gaudi2在运行Stable Diffusion、70亿以及1760亿参数BLOOMz模型时，在行业内都保持领先水平。

英特尔在AI领域的布局

AI计算包括训练和推理，目前而言，在训练方面，英伟达的GPU长期占据主导地位。近段时间，大模型的热潮四起，英伟达的GPU明显供不应求。这让AMD、英特尔以及一些AI芯片初创企业看到了新的机会。事实上英特尔在AI领域早有布局。2019年12月，英特尔斥资约20亿美元重金收购了成立于2016年的以色列人工智能（AI）芯片初创企业Habana Labs。在此之前，英特尔还收购了FPGA厂商Altera、AI芯片公司Nervana。在收购Habana Labs后的几年中，英特尔加紧使Habana团队与英特尔内部业务整合。在2022年Intel Vision活动上，英特尔推出第二代深度学习芯片Habana Gaudi 2和Habana Greco，分别用于AI训练和AI推理。也就是说，英特尔此次面向中国市场推出的新Gaudi 2，也是在此前收购了Habana Labs的基础上完成的。面向AI领域的应用，英特尔有全面的芯片组合，包括CPU、GPU、FPGA、AI专用芯片等。英特尔公司执行副总裁数据中心与人工智能事业部总经理Sandra Rivera表示，Gaudi 2作为用于AI加速的专用处理器，是英特尔产品组合适用于大模型负载中，性能最优的产品。除了硬件方面，英特尔也非常注重在软件方面的优化，Sandra Rivera表示，英特尔致力于通过客户提供广泛的硬件选择，并支持开放的软件环境，加速人工智能技术的发展。据英特尔介绍，为支持客户轻松构建模型，或将当前基于GPU的模型业务和系统迁移到基于全新Gaudi2服务器，并帮助保护软件开发投入，SynapseAI软件套件针对Gaudi平台深度学习业务进行了优化，旨在与广泛的软件生态系统一起，帮助简化模型的开发和迁移。SynapseAI集成了对TensorFlow和PyTorch框架的支持，并提供众多流行的计算机视觉和自然语言参考模型，能够满足深度学习开发者的多样化需求。对于英特尔来说，中国是一个很重要的市场，根据2022年数据，英特尔在中国的营收占到总营收的27%。如今中国的大模型发展如火如荼，而英伟达的A100/H100在中国禁售，特供版的A800/H800也需要获得许可才能出售。这对于英特尔来说，是一个很好的机会。据悉，目前英特尔正与浪潮信息合作，打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7，该服务器集成8颗Gaudi2加速卡HL-225B，还包含双路第四代英特尔至强可扩展处理器。此外，新华三、超聚变等公司，预计也将推出搭载Gaudi 2的服务器。