Meta推出压缩版Llama AI模型,提升终端算力
来源:ictimes 发布时间:2024-11-06 分享至微信

Meta近日宣布开发出可在智能手机上使用的AI模型,该模型采用压缩技术,处理速度明显提升,有望将AI处理转移至个人终端装置。


据报道,压缩版的Llama 3.2 1B与3B模型执行速度最高可提升4倍,同时使用的存储器不到先前版本的一半,表现几乎与大型版本相当。


Meta采用量化技术简化AI模型运算,结合QLoRA维持准确性和SpinQuant提高可携性,使得执行先进AI无需依赖大量运算能力。


实测显示,即使模型规模小56%、使用存储器少41%,处理文字速度仍能提高两倍,且可处理高达8000个文字,满足绝大多数移动应用需求。


与Google和苹果谨慎整合AI与操作系统的做法不同,Meta选择开源这些压缩模型,并与高通、联发科等芯片制造商合作,让开发人员无需等待操作系统更新即可推出AI应用。


此举有助于Meta的AI模型在不同价位手机上运行,覆盖更广泛的用户群体,包括新兴市场。


此外,Meta的做法也预示着AI发展将从集中式运算转向个人运算。未来,云端AI将继续处理复杂任务,但手机也能快速且独自处理敏感信息,为用户提供更便捷、安全的AI体验。

[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!