边缘AI升级关键:小模型推理能力
来源:ictimes 发布时间:2024-10-31 分享至微信

前Google台湾董事总经理简立峰在ARM科技论坛上指出,随着小模型推理能力的进步,边缘AI将迎来新的发展机遇。


他指出,云端与边缘AI各有优势,而台湾硬件实力强大,半导体产业更是日益壮大,应把握软硬整合的良机,推进边缘AI的发展。


目前,强大的生成式AI应用仍主要依赖云端运算,但OpenAI、Google等巨头正在不断提升模型的推理能力。小模型若能降低成本、提升效能,将吸引更多开发者开发新应用,推动边缘AI的普及。


简立峰还分享了边缘AI在照护、工厂监控及会议记录等方面的应用需求。通过AI推理功能,摄影机可以解读老人家的行动轨迹、钥匙遗忘位置等,设计相应解决方案,缓解照护者压力。


在智能工厂中,AI推理能力可以发展更多决策型应用。此外,在多人会议中,利用手机录音和AI处理,可以生成更准确的会议记录。


他提醒业者,在发展软硬整合应用时,应避免绑定单一模型,保持适用多元模型的弹性,以避免模型迭代时影响运维。而应绑定自家的数据和提示指令。

[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!