Meta推出压缩版Llama AI模型,提升终端算力
来源:ictimes 发布时间:6 天前 分享至微信
Meta近日宣布开发出可在智能手机上使用的AI模型,该模型采用压缩技术,处理速度明显提升,有望将AI处理转移至个人终端装置。
据报道,压缩版的Llama 3.2 1B与3B模型执行速度最高可提升4倍,同时使用的存储器不到先前版本的一半,表现几乎与大型版本相当。
Meta采用量化技术简化AI模型运算,结合QLoRA维持准确性和SpinQuant提高可携性,使得执行先进AI无需依赖大量运算能力。
实测显示,即使模型规模小56%、使用存储器少41%,处理文字速度仍能提高两倍,且可处理高达8000个文字,满足绝大多数移动应用需求。
与Google和苹果谨慎整合AI与操作系统的做法不同,Meta选择开源这些压缩模型,并与高通、联发科等芯片制造商合作,让开发人员无需等待操作系统更新即可推出AI应用。
此举有助于Meta的AI模型在不同价位手机上运行,覆盖更广泛的用户群体,包括新兴市场。
此外,Meta的做法也预示着AI发展将从集中式运算转向个人运算。未来,云端AI将继续处理复杂任务,但手机也能快速且独自处理敏感信息,为用户提供更便捷、安全的AI体验。
[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
ictimes
聚焦于半导体行业芯闻
查看更多
相关文章
Meta积极推动政府采用Llama AI模型
2024-11-01
联想与Meta合作推出基于Llama大模型的AI助手AI Now
2024-10-17
Meta发布Llama 3.2多模态模型,Zuckerberg力推开源趋势
2024-09-28
热门搜索