ARM架构CPU实现AI任务处理,拓展AI应用新领域
来源:ictimes 发布时间:2 天前 分享至微信

随着人工智能技术的快速发展,GPU与NPU的需求日益增长。然而,ARM架构CPU如今已逐渐具备处理AI工作任务的能力,无需搭配GPU和NPU。


据Android Authority报道,使用ARM v8、v9、Cortex-A、Cortex-X或Neoverse技术的CPU,因支持更强大的矩阵乘法效能,已具备运行加速机器学习工作的能力。


此外,ARM的Neon技术、可扩充矢量扩充(SVE)以及可扩充矩阵扩充(SME)等指令集,也让CPU能够执行加入矩阵运算的工作。


ARM的Kleidi技术进一步提升了移动设备和服务器用ARM平台的AI处理能力。该技术涵盖一系列资源与合作协定,包括高效能的机器学习核心数据库KleidiAI,可协助优化采用各类硬件加速器的ARM架构CPU,支持从传统机器学习到生成式AI的各种任务。


如今,开发人员只需使用ARM架构CPU,就能将大型语言模型轻松部署至手机或其他边缘装置上,无需GPU、NPU或云端辅助。


ARM架构运行的AI模型还具备可移动、可扩充的特性,只需进行一次优化,即可部署至各类不同平台,无需另行修改设定,为开发人员带来了更多便利。

[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!