摩尔线程开源Megatron-MUSA-Titan，瞄准万卡级集群万亿参数MoE训练
摩尔线程于 10 月 28 日宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，代码托管在 GitHub。项目面向其 MUSA 平台全功能 GPU，聚焦万卡级集群上的万亿参数 MoE 模型训练，覆盖预训练与强化学习两个场景：支持 blockwise FP8 训练，可结合 DeepEP 与 ACE 异步通信引擎实现专家并行的通算重叠，并可与 slime、miles 强化学习框架及 SGLang 样本生成协同。公司称该项目已在自身万卡级集群的万亿参数 MoE 预训练中持续应用并实现高 MFU 与长稳训练，但报道和公告均未给出具体性能数据，也没有对应的公开模型或第三方验证。该项目需要 MUSA 平台的万卡级集群才能使用，普通开发者难以复现其宣称的效果。
rss · IT之家 · 10月28日 10:16
「为何现在值得注意」 仓库今日已公开，技术栈（Megatron、slime、SGLang、DeepEP、blockwise FP8 等）与主流训练生态的对应关系可以即时逐项核实，这是可验证的新事实；但“国产 GPU 能稳定训练万亿参数 MoE”这一影响目前只有公司口径，尚无具体 MFU 数值或稳定性数据佐证，解读时需要把两者分开。
「可做角度」 可做角度：把这次开源当作观察国产 GPU 训练软件栈的窗口，逐项核对仓库公开的代码与技术栈和主流生态的对应关系，说明哪些环节已经公开、哪些关键数字（MFU、训练稳定性、模型规模）仍未给出，不把公司宣传直接写成已验证的结论。
做AI项目，先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →