摩尔线程发布KUAE 1.2版本,提升大模型训练效率与稳定性
来源:ictimes 发布时间:2024-08-23 分享至微信

摩尔线程最新发布的夸娥智算集群KUAE 1.2版本带来了多维度的性能与功能升级,显示出其在大模型训练领域的强大推动力。通过软硬件层面的综合优化,新版不仅提升了效率,更大大增强了系统的稳定性和生态友好性,为AI和大模型领域带来了更多创新机会。


KUAE 1.2版本的亮点包括MFU效率提升了10%,稠密模型集群训练的MFU最高可达55%。此外,整合了MUSA SDK和Flash Attention2优化技术,使得训练周期大幅缩短,并有效降低了成本。新版本还支持64K长文本处理,极大提升了文档处理任务的能力。


另一个显著改进是针对混合专家模型MoE的支持,以及训练中断后的续训功能,写入时间缩短至不到2秒,进一步提高了训练的效率。该版本还通过引入DeepSpeed与Ulysses适配,强化了国内外大模型的兼容性,并通过性能监控系统PerfSight帮助用户实时监控资源消耗。


摩尔线程不仅通过稳定可靠的软硬件支持为大模型训练提供保障,还在提升效率、扩展兼容性方面不断创新,展示出其在AI领域持续发展的强大潜力。


[ 新闻来源:ictimes,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!