边缘AI升级关键:小模型推理能力
来源:ictimes 发布时间:2024-10-31 分享至微信
前Google台湾董事总经理简立峰在ARM科技论坛上指出,随着小模型推理能力的进步,边缘AI将迎来新的发展机遇。
他指出,云端与边缘AI各有优势,而台湾硬件实力强大,半导体产业更是日益壮大,应把握软硬整合的良机,推进边缘AI的发展。
目前,强大的生成式AI应用仍主要依赖云端运算,但OpenAI、Google等巨头正在不断提升模型的推理能力。小模型若能降低成本、提升效能,将吸引更多开发者开发新应用,推动边缘AI的普及。
简立峰还分享了边缘AI在照护、工厂监控及会议记录等方面的应用需求。通过AI推理功能,摄影机可以解读老人家的行动轨迹、钥匙遗忘位置等,设计相应解决方案,缓解照护者压力。
在智能工厂中,AI推理能力可以发展更多决策型应用。此外,在多人会议中,利用手机录音和AI处理,可以生成更准确的会议记录。
他提醒业者,在发展软硬整合应用时,应避免绑定单一模型,保持适用多元模型的弹性,以避免模型迭代时影响运维。而应绑定自家的数据和提示指令。
[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
ictimes
聚焦于半导体行业芯闻
查看更多
相关文章
阿里云发布AI推理模型QwQ,推理能力媲美OpenAI o1
2024-12-01
阿里巴巴发布新AI模型Marco-o1,强化推理能力
2024-12-05
OpenAI o1模型升级,欺骗能力引担忧
2024-12-12
热门搜索