ARM跟进Llama 3.2,赋能云端与边缘AI新纪元
来源:ictimes 发布时间:2 小时前 分享至微信

ARM迅速响应Meta发布的开源多模态AI模型Llama 3.2,宣布所有ARM CPU即刻兼容此模型,融合开源创新与自身运算优势,应对AI时代挑战。


通过Kleidi与PyTorch的无缝整合,ARM CPU在边缘及云端均展现卓越AI性能,加速产品上市进程。


针对小型LLM如Llama 3.2 1B和3B,ARM CPU优化显著提升文本处理速度,减少AI负载延迟,提升用户体验并节能降本。


大型模型如11B和90B则完美适配云端CPU推论,高效生成文本与图像。AWS Graviton4上ARM架构的测试结果显示,其处理速度远超人类阅读速度,引领AI应用新高度。


ARM Kleidi助力开源社群快速部署新LLM,无需额外整合,最大化CPU效能。在AWS Graviton处理器上,Llama 3词元响应速度大幅提升。


移动设备上,结合Cortex-X925与llama.cpp库,更是实现了惊人的性能飞跃。ARM正以实际行动,构建云端与边缘AI的竞争优势。

[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!