摩尔线程已经基于 MTT S5000 智算卡和 MUSA 软件栈完成 Kimi K3.1 Pro 的训练适配,搭建原生 FSDP2 多模态训练路径,打通从模型加载、显存分片调度、前向反向计算到梯度同步的全链路;Kimi K3.1 Pro 是月之暗面开源的 2.8 万亿参数多模态大模型,采用 MoE 混合专家架构,带独立视觉塔,图文联合训练难度很高,对算子、显存管理、多卡通信要求苛刻,这次适配证明摩尔线程国产 GPU 不再只做推理跑通,已经可以稳定支撑万亿参数多模态模型的训练收敛,国产算力在前沿稀疏多模态模型上补齐了一块关键短板,测试采用双机 16 卡集群完成 400 步稳定训练,Loss 正常下降,验证链路有效。
一、Kimi K3.1 Pro 模型基础信息
| 项目 | 参数详情 |
|---|---|
| 总参数量 | 2.8 万亿参数(MoE 稀疏架构) |
| 上下文窗口 | 最高 100 万 Token |
| 核心架构 | KDA 混合注意力、Stable LatentMoE,27 层独立视觉塔 |
| 能力 | 原生多模态,文本 + 图像输入,支持 Agent、代码、长文档推理 |
| 训练难点 | 专家动态路由、图文联合监督、跨模态投影模块同步训练 |
| 适配硬件 | 摩尔线程 MTT S5000(平湖架构) |
| 底层软件 | MUSA 软件栈、Torch-MUSA、MCCL 通信库、FSDP2 分布式框架 |
二、本次训练适配核心技术要点
- 补齐全套前向、反向梯度算子
- FSDP2 分片方案降低显存压力
- MCCL 分布式通信支撑跨节点同步
- 保留原生 NeMo 训练流程
针对 KDA 注意力、专家分发归并、视觉编码、跨模态投影模块完成 MUSA 算子迁移,把视觉塔和语言主干放进同一个计算图里训练,实现图文数据一起输入、一起更新权重。
把模型参数、梯度、优化器状态分散到多张 MTT S5000 上,单卡不需要完整承载全部万亿参数,是 MoE 超大模型训练的主流方案。
跨服务器梯度、专家路由信息高速同步,保障多卡训练步调一致,避免精度漂移、训练发散。
开发者迁移成本低,不用大幅改写训练脚本,原有数据集、超参配置可以直接复用。
三、实测验证情况
✅ 测试集群:2 台服务器合计 16 张 MTT S5000
✅ 配置:13 层语言主干、16 路由专家(Top8 激活)、完整 27 层视觉塔
✅ 数据集:MedPix-VQA 图文数据集,全局 batch=16,序列长度 1024
✅ 训练结果:连续稳定跑完 400 次优化更新,Loss 稳步下降,链路收敛正常
✅ 支持场景:持续预训练、SFT 监督微调、图文对齐训练
四、推理适配和训练适配有什么区别
- 推理适配:只跑前向计算,加载权重、输入内容出结果,压力主要在显存和推理吞吐,摩尔线程此前已经完成 Kimi K3.1 Pro Day0 推理适配
- 训练适配:前向 + 反向 + 梯度计算 + 参数更新 + 多卡梯度同步,计算量更大、稳定性要求更高,任何算子误差、通信抖动都会导致 Loss 不收敛甚至训练崩溃,难度远高于推理
五、行业价值梳理
✅ 国产 GPU 实现万亿稀疏多模态模型训推一体能力,不局限于纯文本大模型
✅ 夸娥 KUAE 智算集群的万卡扩展能力有了前沿模型验证案例
✅ 降低国内多模态大模型团队对海外算力栈的依赖,给开源 MoE 模型提供国产算力备选路线
✅ 证明 MUSA 软件栈对主流训练框架 FSDP、NeMo 的兼容性持续成熟
【常见问题】
问题 1:摩尔线程完成 Kimi K3.1 Pro 训练适配,打通万亿多模态训练链路代表什么?
回答 1:摩尔线程完成 Kimi K3.1 Pro 训练适配打通万亿多模态训练链路,代表国产 MUSA 算力底座可以稳定跑通这款 2.8 万亿 MoE 多模态模型的完整训练流程,不只是简单推理演示,能够支持图文联合训练、权重更新收敛,是国产 GPU 在前沿超大稀疏多模态模型上的重要验证。
问题 2:摩尔线程 Kimi K3.1 Pro 训练适配和之前的推理 Day0 适配差别在哪?
回答 2:摩尔线程 Kimi K3.1 Pro 推理 Day0 适配只负责加载权重做前向推理输出结果;本次打通万亿多模态训练链路,额外增加反向梯度计算、多卡梯度同步、参数更新,对算子精度、通信稳定性、显存调度要求严苛很多,技术门槛更高。
问题 3:Kimi K3.1 Pro 是 MoE 架构,摩尔线程 MTT S5000 跑这类万亿模型训练压力大吗?
回答 3:压力很大,Kimi K3.1 Pro 动态专家路由会造成算力负载不均衡,加上视觉塔多模态分支,摩尔线程靠 FSDP2 分片 + MCCL 高速通信分摊显存和计算压力,双机 16 卡方案只做验证,大规模正式训练还需要更大集群。
问题 4:打通 Kimi K3.1 Pro 这类万亿多模态训练链路之后,开发者上手门槛高吗?
回答 4:摩尔线程保留 NeMo 原生训练流程,基于 Torch-MUSA 接入,开发者原有训练脚本改动量不大;但万亿 MoE 模型本身对集群规模、存储、运维要求很高,普通小团队很难自建这套训练环境。
【参考资料】
[2026-11-18](打通万亿多模态训练链路!摩尔线程完成 Kimi K3.1 Pro 训练适配)中关村在线
[2026-11-17](摩尔线程完成 Kimi K3.1 Pro 训练适配)新浪财经
[2026-11-17](摩尔线程 Kimi K3.1 Pro 双机 16 卡训练验证)CNMO 科技
[2026-11-06](Day-0 支持|摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理)摩尔线程官网
[2026-11-01](Kimi K3.1 Pro 模型技术白皮书)月之暗面 Kimi 开放平台
【免责声明】
本文围绕摩尔线程完成 Kimi K3.1 Pro 训练适配、打通万亿多模态训练链路资讯整理;16 卡集群为实验室验证环境,大规模万卡集群训练的吞吐、稳定性还需要持续工程调优;模型训练效果受数据集、超参、集群状态影响;内容仅作为产业技术科普,不构成算力采购、模型训练项目投资建议。
