AI PC效能飞跃,存储器带宽需求激增
来源:ictimes 发布时间:2024-07-24 分享至微信
AMD正加速推出North Star芯片,预计每秒能处理100个300亿参数的大型语言模型Token,其效能飞跃对存储器带宽提出更高要求。相较之前的Ryzen AI 300系列,North Star需升级至15GB存储器和超过1.5TBps带宽,以支撑高效能运算。
AMD面临存储器效能瓶颈,正探索多种解决方案。一方面,采用混合专家模型(MoE)降低带宽需求,如Mistral AI的Mixtral,通过子模型分工降低总体带宽压力。另一方面,利用推测解码技术,在牺牲一定准确性的前提下,维持大参数模型运行。
然而,随着AI技术不断进步,存储器需求将持续攀升。AMD需不断创新,扩大带宽与容量,或优化模型设计,以应对未来挑战。
[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
ictimes
聚焦于半导体行业芯闻
查看更多
相关文章
谱瑞看好AI PC市场,USB 4 Retimer需求激增
2024-08-08
AI服务器兴起,锂电池BBU需求激增
2024-07-29
国产存储技术助力AI飞跃,分布式存储市场实现"清场"
2024-08-09
大联大存储器价格飙升,边缘AI展望2025
2024-08-21
热门搜索