ARM架构CPU实现AI任务处理,无需GPU或NPU
来源:ictimes 发布时间:1 天前 分享至微信
随着AI技术迅速发展,GPU与NPU需求不断增长。然而,ARM架构CPU如今已逐渐具备处理AI任务的能力,无需依赖GPU或NPU。
据Android Authority报道,使用ARM v8、v9、Cortex-A、Cortex-X或Neoverse技术的CPU,因支持强大的矩阵乘法效能,能够加速ML工作。ARM处理器整合Neon技术、SVE和SME,使CPU可执行矩阵运算,无需GPU或NPU辅助。
此外,ARM的Kleidi技术为移动设备和服务器提供AI处理能力,涵盖高效能机器学习核心数据库KleidiAI,优化采用硬件加速器的ARM架构CPU,支持从传统机器学习到生成式AI的各种任务。
ARM已将Kleidi技术整合至PyTorch和ExecuTorch等AI架构,为开发人员提供高达12倍的效能提升。
使用ARM架构CPU运行AI任务,开发人员可轻松将大型语言模型部署至手机或其他边缘装置,无需GPU、NPU或云端辅助。ARM架构AI模型具备可移动、可扩充的特性,只需一次优化,即可部署至不同平台,为开发人员带来便利。
[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
ictimes
聚焦于半导体行业芯闻
查看更多
相关文章
d-Matrix推出AI芯片Corsair,无需GPU与HBM辅助加速推论
2024-11-26
AI运行:CPU与GPU的选择,关键在于需求
2024-11-12
英伟达进军PC CPU市场,研发基于ARM架构的新产品
2024-11-09
热门搜索