蚂蚁集团用本土AI芯片训练大模型,成本降低20%
来源:李智衍 发布时间:2025-03-26 分享至微信
据法新社报道,蚂蚁集团近日发布了一项重要研究成果,其研发团队利用中国本土AI芯片成功训练出参数规模达3000亿的混合专家(MoE)大模型,训练效能媲美采用NVIDIA H800芯片的方案,同时成本降低了20%。这一突破展现了中国在AI基础设施领域的自主创新能力。

蚂蚁集团的Ling技术团队在预印本平台Arxiv上发表论文《每一个FLOP都至关重要:无需高级GPU即可扩展3000亿参数混合专家LING大模型》,详细介绍了这一成果。由于高性能GPU供应受限且成本高昂,蚂蚁团队通过算法优化与硬件兼容结合的方式,使用中国本土低端芯片完成了大规模模型训练。

研究中,蚂蚁推出了两款不同规模的MoE模型:羽量级的“百灵Ling-Lite”(168亿参数)和高效能的“百灵Ling-Plus”(2900亿参数)。其中,Ling-Plus模型在9万亿token预训练中表现出色,花费仅508万元人民币,相比传统方案节省127万元,成本降低约20%。在多项基准测试中,该模型的表现与采用NVIDIA芯片训练的同类模型如阿里巴巴的通义Qwen2.5-72B和深度求索的DeepSeek-V2.5不相上下。

这一成果的核心在于通过动态路由优化、梯度压缩和计算架构重构等技术,克服了中国本土芯片在算力和带宽上的局限。这种方法“以算法补硬件不足”,为中国AI产业在外部限制下提供了新的可能性。

首先,该研究验证了中国本土AI芯片承载大模型训练的可行性,为华为升腾、阿里平头哥等芯片厂商提供了重要发展路径。其次,训练成本的降低将使更多中小企业得以参与大模型研发,推动AI应用的多元化发展。

蚂蚁集团还宣布将开源相关技术,优先应用于医疗、金融等民生领域,推动AI技术的普惠化。业内人士分析,若这一技术得到广泛应用,中国AI产业对NVIDIA等国际芯片厂商的依赖度有望显著下降,为中国AI技术在全球竞争中赢得更多主导权。

[ 新闻来源:李智衍,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!