ARM跟进Llama 3.2,赋能云端与边缘AI新纪元
来源:ictimes 发布时间:2 小时前 分享至微信
ARM迅速响应Meta发布的开源多模态AI模型Llama 3.2,宣布所有ARM CPU即刻兼容此模型,融合开源创新与自身运算优势,应对AI时代挑战。
通过Kleidi与PyTorch的无缝整合,ARM CPU在边缘及云端均展现卓越AI性能,加速产品上市进程。
针对小型LLM如Llama 3.2 1B和3B,ARM CPU优化显著提升文本处理速度,减少AI负载延迟,提升用户体验并节能降本。
大型模型如11B和90B则完美适配云端CPU推论,高效生成文本与图像。AWS Graviton4上ARM架构的测试结果显示,其处理速度远超人类阅读速度,引领AI应用新高度。
ARM Kleidi助力开源社群快速部署新LLM,无需额外整合,最大化CPU效能。在AWS Graviton处理器上,Llama 3词元响应速度大幅提升。
移动设备上,结合Cortex-X925与llama.cpp库,更是实现了惊人的性能飞跃。ARM正以实际行动,构建云端与边缘AI的竞争优势。
[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
ictimes
聚焦于半导体行业芯闻
查看更多
相关文章
动见科技:边缘AI赋能,车队管理新纪元
2024-09-02
Meta开源Llama 3.1,力推AI开放新纪元
2024-08-06
耐能神通合作新纪元:共创边缘AI未来
2024-08-14
AI赋能,FOPLP引领半导体封装新纪元
2024-09-02
MCU引领边缘AI新纪元:多元应用与技术创新
2024-09-02
热门搜索