AI运行:CPU与GPU的选择,关键在于需求
来源:ictimes 发布时间:2024-11-12 分享至微信
随着人工智能(AI)应用的爆发性增长,市场开始探讨用CPU取代GPU完成低端AI任务的可行性。
尽管CPU运行AI任务的成本较高,但在某些情况下,CPU确实有能力完成AI任务。例如,Google利用英特尔第四代Sapphire Rapids架构Xeon核心CPU运行大型语言模型,取得了不错的效果。
然而,业界目前仍倾向于选择GPU来处理AI应用需求,主要原因是成本效益。虽然CPU本身价格没有GPU高,但从生成或处理固定数量Token所需花费的成本来看,GPU更具优势。
市面上有些业者提供的方案,针对40亿~160亿参数模型每生成百万个Token,收取的费用远低于CPU。
尽管如此,从发挥硬件最大价值、减少硬件闲置的角度出发,企业仍有可能在未来通过CPU协助处理较低端的AI任务。英特尔也推出了具备一定程度AI功能的第六代Granite Rapids架构Xeons核心CPU,以满足这类需求。
[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
ictimes
聚焦于半导体行业芯闻
查看更多
相关文章
燧原科技张亚林:AI发展关键在于技术创新与场景落地
2024-11-07
AI发展聚焦终端需求,软硬整合与服务成关键
2024-11-07
GMI Cloud看好AI代理需求,提供GPU算力租赁
2024-11-15
AI与HPC驱动GPU市场迈向千亿规模
2024-12-03
热门搜索