ARM架构CPU实现AI任务处理,无需GPU或NPU
来源:ictimes 发布时间:1 天前 分享至微信

随着AI技术迅速发展,GPU与NPU需求不断增长。然而,ARM架构CPU如今已逐渐具备处理AI任务的能力,无需依赖GPU或NPU。


据Android Authority报道,使用ARM v8、v9、Cortex-A、Cortex-X或Neoverse技术的CPU,因支持强大的矩阵乘法效能,能够加速ML工作。ARM处理器整合Neon技术、SVE和SME,使CPU可执行矩阵运算,无需GPU或NPU辅助。


此外,ARM的Kleidi技术为移动设备和服务器提供AI处理能力,涵盖高效能机器学习核心数据库KleidiAI,优化采用硬件加速器的ARM架构CPU,支持从传统机器学习到生成式AI的各种任务。


ARM已将Kleidi技术整合至PyTorch和ExecuTorch等AI架构,为开发人员提供高达12倍的效能提升。


使用ARM架构CPU运行AI任务,开发人员可轻松将大型语言模型部署至手机或其他边缘装置,无需GPU、NPU或云端辅助。ARM架构AI模型具备可移动、可扩充的特性,只需一次优化,即可部署至不同平台,为开发人员带来便利。


[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!