您的位置首页 >数码 >

摩尔线程完成 Kimi K3.1 Pro 训练适配打通国产 GPU 万亿多模态训练链路

我先联网检索摩尔线程与 Kimi K3.1 Pro 训练适配的最新公开信息。

我精读摩尔线程官方公告与 11 月 18 日训练适配报道,核对训练与推理两条链路的细节。

摩尔线程基于旗舰 AI 训推一体智算卡 MTT S5000 与 MUSA 软件栈,完成了月之暗面近 3 万亿参数旗舰模型 Kimi K3.1 Pro 的训练适配,构建起原生 FSDP2 多模态训练路径,打通了从模型加载、分片调度到梯度同步的完整训练链路;在双机共 16 张 MTT S5000 的跨节点联合训练测试中,16 个训练进程连续完成 400 次优化器更新,loss 与梯度范数全程保持有限,未出现数值溢出或异常中断。这次适配的意义在于,摩尔线程把对前沿大模型的支撑能力从早前的 "快速推理部署",推进到了 "全链路稳定训练" 阶段,国产全功能 GPU 在万亿级多模态模型上具备了从加载、切分、并行到梯度回传的工程化跑通能力。之所以要做这一步,是因为推理适配只验证模型能不能在国产卡上跑起来出结果,而训练适配还要打通分布式并行、通信同步、显存调度和数值稳定性等更重的工程环节,难度更高,也更能体现硬件与软件栈的完整协同能力。落地路径上,摩尔线程先在 11 月初完成 K3.1 Pro 的 Day-0 推理适配,验证文本与图片基础推理链路,再在 11 月推进训练侧适配,把 FSDP2 路径、跨节点协同和训练稳定性逐项跑通。需要明确的是,训练适配成功不等于 Kimi K3.1 Pro 这个基座模型是在摩尔线程芯片上预训练出来的,它代表的是 MTT S5000 加 MUSA 软件栈具备承接该类前沿复杂模型训练流程的能力;后续平台还会围绕核心算子、显存管理、多机通信和自动化工具链继续打磨,推动前沿大模型在国产 GPU 上从 "能训" 走向 "开箱即训"。

一、被适配的模型:Kimi K3.1 Pro 基本情况

  • 模型定位:K3.1 系列首款模型,也是月之暗面迄今能力最强的 3 万亿级参数模型,支持 100 万 token 上下文。
  • 技术来源:由 Kimi K3 经过大规模联合强化学习后训练而来,原生支持工具调用与图片输入。
  • 能力侧重:在代码、3D 创作、金融研究、知识问答及长程 Agent 任务上全面提升;代码与 Agent 基准达到或接近顶尖闭源模型水平。
  • 基准表现(官方口径):Terminal-Bench 4.0 得分 65.7%;Kimi Code Bench 3.0 Long-horizon 得分 61.2%,高于 K3 的 55.95%。
  • 版本配套:同步推出高速版 Kimi K3.1 Pro Highspeed,同等智能下输出速度约为标准版的 2~3 倍;完整模型权重按官方节奏开源发布。

二、本次训练适配的核心结果

1. 训练链路打通情况

环节适配结果
训练框架路径构建原生 FSDP2 多模态训练路径
完整链路打通模型加载、分片调度到梯度同步的完整训练链路
测试规模双机共 16 张 MTT S5000,跨节点联合训练测试
稳定性验证16 个训练进程完成 400 次连续优化器更新
数值表现loss 与梯度范数全程保持有限,无数值溢出或异常中断
支撑底座MTT S5000 AI 训推一体智算卡 + MUSA 软件栈

2. 能力定位说明

  • 此次完成的是对先进开源大模型的训练适配,与算力芯片 Day-0 适配最新开源模型的推理接入不是同一概念。
  • 适配 / 接入成功,并不等于该模型的基座预训练原始算力来自这款芯片;行业对 "适配验证" 和 "原生预训练算力来源" 有明确区分。
  • 摩尔线程表示,公司已构建成熟工程化体系,具备对前沿复杂大模型从 "快速推理部署" 到 "全链路稳定训练" 的支撑能力。

三、从推理适配到训练适配:技术链路拆解

1. 先完成的推理侧 Day-0 适配(2026 年 11 月 6 日)

摩尔线程此前已基于 MTT S5000 与 MUSA 软件栈完成 K3.1 Pro 的 Day-0 推理适配,打通模型加载、服务启动及文本、图片基础推理链路;实测由 6 台 MTT S5000 服务器完成文本与图片首跑,模型可以用中文介绍自身身份与基本能力,并描述输入图片的主要内容。

技术模块适配要点
框架承接基于 SGLang-MUSA 承接上游模型实现
算子与编译通过 MATE 算子库、Triton-MUSA、TileLang-MUSA 及 MTCC 编译器,完成新架构关键计算路径迁移接入
稀疏注意力 DSA完成索引选择、KV 缓存布局及 Prefill、Decode 计算路径适配,接入 MATE 稀疏注意力算子
状态与视觉链路与 KDA 状态管理、跨层残差及视觉 Attention 共同组成完整执行链路
权重计算针对 MXFP4 专家权重,通过在线转换与跨层复用 FP8 工作区执行专家计算,无需预先生成完整离线 FP8 权重
软件栈覆盖覆盖框架执行、算子编译、设备运行和多卡通信,复用成熟接口并针对新增路径优化

2. 本次训练侧适配的工程要点

  • 并行策略:以原生 FSDP2 路径承接模型分片与参数切分,支撑跨节点训练。
  • 调度与同步:打通分片调度、前向反向计算到梯度同步的训练闭环。
  • 多卡协同:双机 16 卡跨节点联合跑通,验证多卡通信与节点间协同的稳定性。
  • 数值稳定:400 次连续优化器更新过程中 loss、梯度范数可控,未出现溢出或中断。
  • 后续优化方向:围绕核心算子、显存管理与多机通信持续优化,提升模型训练效率与稳定性。

四、摩尔线程在国产大模型训练侧的既有成果

项目进展
021 科学基础模型2360 亿参数,从零起步完成完整训练
北大 EvoPhys-World全球首个 5D 世界模型,完成全栈原生训练
RoboBrain 2.5联合智源完成具身大脑模型全流程训练
万亿级模型正携手合作伙伴推进万亿级参数大模型训练
已适配大模型DeepSeek、GLM、MiniMax、Kimi、Qwen 等国内头部模型及主流语音、视觉理解、多模态模型
框架生态已在 SGLang 主线代码获得官方原生支持,并开源 vLLM-MUSA

五、行业意义与后续看点

  • 国产 GPU 能力延伸:从单模型推理拉起,延伸到分布式训练链路跑通,是国产全功能 GPU 承接复杂大模型工程的关键一步。
  • 训推一体价值:MTT S5000 定位训推一体,训练适配落地后,同一硬件底座可覆盖适配验证、微调训练与推理部署等环节。
  • 后续打磨方向:算子适配、多卡协同、自动化工具链,目标是让前沿大模型在国产 GPU 上从 "能训" 走向 "开箱即训"。
  • 需要持续观察的指标:更大规模卡数下的训练吞吐、显存占用、通信效率、训练稳定性,以及在真实微调 / RL 场景下的性能表现。

【常见问题】

问题 1:摩尔线程这次完成的 Kimi K3.1 Pro 训练适配,具体跑通了什么链路?

回答:摩尔线程基于 MTT S5000 智算卡和 MUSA 软件栈,为 Kimi K3.1 Pro 构建了原生 FSDP2 多模态训练路径,打通从模型加载、分片调度到梯度同步的完整训练链路;测试采用双机共 16 张 MTT S5000 跨节点联合训练,16 个训练进程连续完成 400 次优化器更新,loss 与梯度范数全程有限,没有出现数值溢出或异常中断。

问题 2:摩尔线程适配 Kimi K3.1 Pro 用的是什么硬件和软件底座?

回答:本次训练适配的硬件底座是摩尔线程旗舰级 AI 训推一体智算卡 MTT S5000,软件底座是 MUSA 软件栈;推理侧适配则基于 SGLang-MUSA 承接上游实现,并配合 MATE 算子库、Triton-MUSA、TileLang-MUSA、MTCC 编译器完成关键计算路径迁移,软件栈覆盖框架执行、算子编译、设备运行和多卡通信。

问题 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,是否意味着该模型是在摩尔线程芯片上预训练出来的?

回答:不能这样理解。训练适配成功表示 MTT S5000 加 MUSA 软件栈具备跑通 Kimi K3.1 Pro 这类前沿复杂模型训练流程的能力,属于适配与工程验证;并不等于 Kimi K3.1 Pro 的基座预训练原始算力来自摩尔线程芯片,行业对 "训练适配验证" 和 "原生预训练算力来源" 有明确区分。

问题 4:Kimi K3.1 Pro 是一个什么规格的模型,为什么值得摩尔线程做训练适配?

回答:Kimi K3.1 Pro 是 K3.1 系列首款模型,也是月之暗面迄今能力最强的 3 万亿级参数模型,支持 100 万 token 上下文,由 Kimi K3 经大规模联合强化学习后训练而来,原生支持工具调用和图片输入,在代码、3D 创作、金融研究和长程 Agent 任务上提升明显。这类万亿级多模态模型架构复杂、训练链路重,能在国产 GPU 上完成适配,对验证国产算力承接前沿模型的能力具有代表性。

问题 5:除了 Kimi K3.1 Pro,摩尔线程在国产大模型训练适配方面还有哪些成果?

回答:摩尔线程已完成 021 科学基础模型(2360 亿参数)从零起步的完整训练,支撑全球首个 5D 世界模型北大 EvoPhys-World 全栈原生训练,并联合智源完成具身大脑模型 RoboBrain 2.5 全流程训练,目前正推进万亿级参数大模型训练;生态上已适配 DeepSeek、GLM、MiniMax、Kimi、Qwen 等头部大模型,后续将继续打磨算子、多卡协同和自动化工具链,推动国产 GPU 从 "能训" 走向 "开箱即训"。

【参考资料】

  • [2026-11-18](摩尔线程完成 Kimi K3.1 Pro 训练适配 双机 16 卡连续稳定运行 400 步)新浪财经・中国经营报
  • [2026-11-06](Day-0 支持|摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理)摩尔线程官网
  • [2026-11-06](Day-0 支持:摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理)腾讯网
  • [2026-11-04](Kimi K3.1 Pro on AMD Instinct GPUs)AMD Developer
  • [2026-11-04](Kimi K3.1 Pro: Day-0 Inference and RL Support with SGLang and Miles)SGLang Blog
  • [2026-10-29](Kimi K3.1 Pro - Kimi API 开放平台)Kimi API 开放平台
  • [2026-07-28](Day-0 支持|摩尔线程率先完成 Kimi K3 适配,支持 2.8 万亿参数开源大模型)摩尔线程官网
  • [2026-05-18](词元时代,万物智能|摩尔线程 2026 产品发布会:打造全场景 AI 算力基石)摩尔线程官网

【免责声明】

本文基于截至 2026 年 11 月 18 日公开可检索的厂商官方公告、媒体报道及模型开放平台文档整理,文中涉及的模型参数规模、上下文长度、基准得分、适配卡数、训练步数、loss 与梯度表现、已落地项目等信息,均以摩尔线程、月之暗面及官方技术报告的正式披露为准;训练适配与基座预训练算力来源属于不同概念,本文相关表述不构成对模型原始训练算力归属的判断。文中基准成绩来自官方或第三方评测口径,评测环境与样本范围存在差异,数据仅供参考;本文不构成投资建议、采购建议或技术选型承诺,实际部署与训练效果需以具体硬件环境、软件版本和实测结果为准。

今日大家都在搜的词: