性能超H100！中国可售卖！英特尔针对中国发布！
来源:半导体行业联盟发布时间:2023-07-131412浏览
询问 AI
AI 已经进入了“大模型”时代，而中国也进入了百模大战时代，但人工智能最终比拼的是算力，我认为，人工智能时代，做模型的公司类似今天的fabless公司，而提供算力的公司类似半导体晶圆代工厂，么有算力支持，再好的模型也难以发挥作用。
所以，中国要发展人工智能，就要借助更出色的处理器来提升算力，根据《IDC 中国服务器市场季度跟踪报告》及 CPU 双精度（FP64）运算能 力数据，测算了中国通用算力规模。2021 年中国通用算力规模达 47.7EFLOPS， 预计到 2026 年通用算力规模将达到 111.3 EFLOPS。
但在中美人工智能竞赛中，美国通过封杀高级工艺代工堵死了中国人工智能处理器采用高级工艺的发展之路，但我们也可以通过“他山之石攻玉”，通过购买先进人工智能处理器实现算力提升！
今天，英特尔专门针对中国市场推出第二代Gaudi深度学习加速器——Habana®Gaudi®2。作为英特尔从云到端产品组合的重要组成，Gaudi2致力于以领先的性价比优势，加速AI训练及推理，为中国用户提供更高的深度学习性能和效率，从而成为大规模部署AI的更优解。
英特尔于中国市场推出Gaudi2深度学习加速器
英特尔执行副总裁兼数据中心与人工智能事业部总经理Sandra Rivera在发布上表示：“英特尔致力于通过为客户提供广泛的硬件选择，并支持开放的软件环境，加速人工智能技术的发展。凭借包括至强可扩展处理器和Gaudi2深度学习加速器在内的产品组合，英特尔正在降低人工智能的准入门槛，并强化客户在云端通过网络和智能边缘部署这一关键业务技术的能力，从而帮助构建中国人工智能的未来。”
2019 年年底，英特尔宣布以 20 亿美元收购总部位于以色列的 AI 创业公司 Habana Labs，英特尔新一代 AI 处理器便出自 Habana Labs 之手。
据介绍，与第一代Gaudi相比，Habana Gaudi 2处理器制程工艺从16纳米跃升至7纳米；在矩阵乘法（MME）和Tensor处理器核心计算引擎中引入了FP8在内的新数据类型；Tensor处理器的核心数量由8个增至24个；芯片上集成多媒体处理引擎，实现从主机子系统的卸载；片内封装的内存容量提升了3倍，从32GB提升到带宽2.4TB/秒的96GB HBM2E；两倍48MB的板载SRAM存储器以及基于RDMA (RoCE2) 的集成以太网从10个增至21个，在标准网络上实现高效的纵向和横向扩展。
此外，Gaudi 2大幅提高了训练性能。客户在训练或者部署的功耗降低一半，每瓦性能是NVA100的2倍，测试时其训练完成时间短于NV的H100。在云端运行Amazon EC2 DL1实例以及本地运行Supermicro Gaudi训练服务器时，其性价比比现有GPU解决方案提升了40%，
为深度学习而生的
全新Gaudi2训练加速器
该Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B，以第一代Gaudi高性能架构为基础，以多方位性能与能效比提升，加速高性能大语言模型运行。该加速器具备：●24个可编程Tensor处理器核心（TPCs）
● 21个100Gbps（RoCEv2）以太网接口
●96GB HBM2E内存容量
●2.4TB/秒的总内存带宽
●48MB片上SRAM
●集成多媒体处理引擎
Habana®Gaudi®2深度学习加速器
Gaudi2加速器的出色性能在6月公布的MLCommons®MLPerf®基准测试1中得到了充分认证，其在GPT-3模型、计算机视觉模型ResNet-50（使用8个加速器）、Unet3D（使用8个加速器），以及自然语言处理模型BERT（使用8个和64个加速器）上均取得了优异的训练结果。与市场上其他面向大规模生成式AI和大语言模型的产品相比，Gaudi2拥有卓越的性能与领先的性价比优势，能够帮助用户提升运营效率的同时，降低运营成本。
此外，Gaudi2可为大规模的多模态和语言模型提供出色的推理性能。在最近的Hugging Face评估中，其在大规模推理方面的表现，包括在运行Stable Diffusion2（另一个用于从文本生成图像的最先进生成式AI模型之一）、70亿以及1760亿参数BLOOMz3模型时，在行业内保持领先。现场，英特尔还进行了演示，只要输入应用需求 就可以快速生成程序代码！而且支持多种语言！
满足大语言和多模态模型的需求
据介绍，Gaudi2深度学习加速器的架构旨在高效扩展，以满足大规模语言模型及生成式AI模型的需求。其每张芯片集成了21个专用于内部互联的100Gbps（RoCEv2 RDMA）以太网接口，从而实现低延迟服务器内扩展。
在Stable Diffusion训练上，Gaudi2展示了从1张卡至64张卡近线性99%的扩展性。此外，MLCommons刚刚公布的MLPerf训练3.0结果4，亦验证了Gaudi2处理器在1750亿参数的GPT-3模型上，从256个加速器到384个加速器可实现令人印象深刻的接近线性的95%扩展效果。
具备成熟的软件支持，
Gaudi2产品在中国市场正式上市
伴随日益增长的生成式AI及大语言模型需求，英特尔亦致力于打造领先、成熟的软件支持，充分释放Gaudi2深度学习加速器性能。
为支持客户轻松构建模型，或将当前基于GPU的模型业务和系统迁移到基于全新Gaudi2服务器，并帮助保护软件开发投入，SynapseAI®软件套件针对Gaudi平台深度学习业务进行了优化，旨在与广泛的软件生态系统一起，帮助简化模型的开发和迁移。SynapseAI集成了对TensorFlow和PyTorch框架的支持，并提供众多流行的计算机视觉和自然语言参考模型，能够满足深度学习开发者的多样化需求。
目前，英特尔正与浪潮信息合作，打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。该服务器集成了8颗Gaudi2加速卡HL-225B，还包含双路第四代英特尔至强可扩展处理器。
基于Gaudi2加速器的浪潮NF5698G7服务器
携手中国产业生态
共启人工智能新篇
多年来，借助强大的AI软硬件基础，英特尔一直致力于为AI领域的各类工作负载提供业界领先的卓越性能，并通过开放的生态、丰富多样的产品选择不断降低AI部署的门槛，并为中国的AI发展提供坚定支持。
据介绍，为支持客户将当前基于GPU的模型业务和系统迁移到Gaudi 2服务器，并帮助保护软件开发投入，Habana SynapseAI软件栈针对深度学习业务进行优化，旨在简化模型的开发和迁移。SynapseAI集成了TensorFlow和PyTorch框架，并提供30多个流行的计算机视觉和自然语言参考模型，能够满足深度学习开发者的多样化需求。开发者可以在Habana开发者网站上获得文档和工具、操作指南和社区支持，并在Habana GitHub上获得参考模型和模型路线图。
在本次发布会上，百度与浪潮信息等生态伙伴分别分享了其基于英特尔软硬件产品组合的多样化智能业务进展。百度智能云服务器高级经理何永占表示，集成英特尔®AMX加速引擎的第四代英特尔®至强®可扩展处理器为ERNIE-Tiny模型带来了多倍的性能优化，百度将持续构建领先的AI全栈能力和全面的开放生态，并期待与英特尔在未来的AI领域展开更为广泛、深入的合作。
浪潮信息高级产品经理王磊强调，NF5698G7是专为面向生成式AI市场创新开发的新一代AI服务器，支持8颗OAM高速互联的Gaudi2加速器，具备高性能、高扩展、高能效和开放生态等优点，将为AI客户提供强大的大模型训练和推理能力。未来，浪潮信息将继续携手英特尔，为行业打造创新、领先的产品方案。
此外，多家本土生态伙伴亦表明了与英特尔在当下及未来产品合作上的坚定立场与长远展望。新华三集团计算存储产品线副总裁刘宏程指出，新华三智慧计算秉持内生智能的技术理念，基于硬件使能、前瞻技术、绿色低碳等全方位能力，助力AI产业的高速发展。基于英特尔Gaudi2 AI加速器，新华三正与英特尔紧密合作，开发适合大模型训练和推理的高性能AI服务器，推动智能算力的普惠创新。与此同时，超聚变数字技术有限公司算力基础设施领域总裁唐启明表示，非常荣幸见证英特尔Gaudi2的发布。作为英特尔的长期战略合作伙伴，超聚变将一如既往地携手英特尔，共同推出基于Gaudi2的全新产品与解决方案，助力企业的AI场景成熟商用和规模落地。
据悉，未来，英特尔将持续引领产品技术发展，进一步加速大规模深度学习部署，助力中国本地AI市场发展。
新闻来源：半导体行业联盟，文中所述为作者独立观点，不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议，请联系微信客服specltkj。
