摩尔线程发布KUAE 1.2版本,提升大模型训练效率与稳定性
来源:ictimes 发布时间:2024-08-23 分享至微信
摩尔线程最新发布的夸娥智算集群KUAE 1.2版本带来了多维度的性能与功能升级,显示出其在大模型训练领域的强大推动力。通过软硬件层面的综合优化,新版不仅提升了效率,更大大增强了系统的稳定性和生态友好性,为AI和大模型领域带来了更多创新机会。
KUAE 1.2版本的亮点包括MFU效率提升了10%,稠密模型集群训练的MFU最高可达55%。此外,整合了MUSA SDK和Flash Attention2优化技术,使得训练周期大幅缩短,并有效降低了成本。新版本还支持64K长文本处理,极大提升了文档处理任务的能力。
另一个显著改进是针对混合专家模型MoE的支持,以及训练中断后的续训功能,写入时间缩短至不到2秒,进一步提高了训练的效率。该版本还通过引入DeepSpeed与Ulysses适配,强化了国内外大模型的兼容性,并通过性能监控系统PerfSight帮助用户实时监控资源消耗。
摩尔线程不仅通过稳定可靠的软硬件支持为大模型训练提供保障,还在提升效率、扩展兼容性方面不断创新,展示出其在AI领域持续发展的强大潜力。
[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论
暂无评论哦,快来评论一下吧!
ictimes
聚焦于半导体行业芯闻
查看更多
相关文章
摩尔线程正式开源音频,理解大模型MooER
2024-08-28
MT6816 磁编码 IC:提升工业精度与稳定性的全能新星
2024-08-21
摩尔线程与东华软件携手:共筑AI大模型推理新篇章
2024-08-01
直线轴承与直线导轨:负载能力与稳定性分析
2024-08-07
滚珠丝杆与丝杆支撑座:稳定性与精度的双重保障
2024-08-03
热门搜索