AI运行:CPU与GPU的选择,关键在于需求
来源:ictimes 发布时间:2024-11-12 分享至微信

随着人工智能(AI)应用的爆发性增长,市场开始探讨用CPU取代GPU完成低端AI任务的可行性。


尽管CPU运行AI任务的成本较高,但在某些情况下,CPU确实有能力完成AI任务。例如,Google利用英特尔第四代Sapphire Rapids架构Xeon核心CPU运行大型语言模型,取得了不错的效果。


然而,业界目前仍倾向于选择GPU来处理AI应用需求,主要原因是成本效益。虽然CPU本身价格没有GPU高,但从生成或处理固定数量Token所需花费的成本来看,GPU更具优势。


市面上有些业者提供的方案,针对40亿~160亿参数模型每生成百万个Token,收取的费用远低于CPU。


尽管如此,从发挥硬件最大价值、减少硬件闲置的角度出发,企业仍有可能在未来通过CPU协助处理较低端的AI任务。英特尔也推出了具备一定程度AI功能的第六代Granite Rapids架构Xeons核心CPU,以满足这类需求。

[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!