AI PC效能飞跃,存储器带宽需求激增
来源:ictimes 发布时间:2024-07-24 分享至微信

AMD正加速推出North Star芯片,预计每秒能处理100个300亿参数的大型语言模型Token,其效能飞跃对存储器带宽提出更高要求。相较之前的Ryzen AI 300系列,North Star需升级至15GB存储器和超过1.5TBps带宽,以支撑高效能运算。


AMD面临存储器效能瓶颈,正探索多种解决方案。一方面,采用混合专家模型(MoE)降低带宽需求,如Mistral AI的Mixtral,通过子模型分工降低总体带宽压力。另一方面,利用推测解码技术,在牺牲一定准确性的前提下,维持大参数模型运行。


然而,随着AI技术不断进步,存储器需求将持续攀升。AMD需不断创新,扩大带宽与容量,或优化模型设计,以应对未来挑战。

[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!