IT之家 10-28
摩尔线程开源Megatron-MUSA-Titan,聚焦万卡级集群的万亿参数MoE模型训练
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 10 月 28 日消息,摩尔线程今日宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。该项目基于摩尔线程全功能 GPU,聚焦万卡级集群的万亿参数 MoE 模型训练需求,覆盖预训练与强化学习两大场景,为开发者提供面向 MUSA 平台的训练适配与系统优化能力。

据介绍,Megatron-MUSA-Titan 已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用,经过长时间训练实践检验,实现高 MFU(模型算力利用率)与长稳训练,同时支持与 slime、miles 强化学习框架协同,结合 Megatron 训练与 SGLang 样本生成,构建贯通万亿参数 MoE 预训练与强化学习的训练基础。

IT 之家注意到,Megatron-MUSA-Titan 支持 blockwise FP8 训练,将摩尔线程全功能 GPU 的低精度计算能力引入训练流程,提升大规模训练的计算效率。还可结合 DeepEP 与 ACE 异步通信引擎,加速 MoE 中的 Token 分发与结果合并,并实现专家并行(EP)与计算的通算重叠,让数据交换与计算任务协同执行,提升端到端训练效率。

参考:

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

摩尔 开源 it之家 gpu 基础设施
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…