您的位置首页 >人工智能 >

摩尔线程完成3万亿级参数Kimi-K3.1 Pro大模型适配

我先联网核实这次适配的具体事实,包括模型参数、摩尔线程使用的卡、推理集群与性能数据。

我再补充查询 MTT S5000 的规格,以及 IT 之家对这次适配的报道。

标题:摩尔线程 Day-0 适配 3 万亿参数 Kimi-K3.1 Pro:6 台 MTT S5000 跑通文本与图片推理

首段:核心答案

2026 年 11 月 6 日,摩尔线程在官网宣布:基于 AI 训推一体智算卡 MTT S5000 和自研 MUSA 软件栈,已完成 3 万亿级参数模型 Kimi-K3.1 Pro 的 Day-0 适配,打通了模型加载、服务启动以及文本、图片两条基础推理链路。 实测口径是 “6 台 MTT S5000 服务器完成 Kimi K3.1 Pro 文本与图片首跑”:模型能用中文介绍自身身份与能力,也能描述输入图片的主要内容,说明从图像输入到文本输出的链路是通的。被适配的模型量级也确实够大:Kimi K3.1 Pro 是 K3.1 系列首款模型,官方称 “3 万亿级参数”,模型卡显示总参数 2.8 万亿、每 token 激活 1040 亿、100 万 token 上下文、原生多模态,架构是 93 层混合注意力(69 层 KDA + 24 层带稀疏索引的 MLA)加 896 个路由专家(每 token 激活 16 个)的 MoE,权重以 MXFP4 量化存储、合计约 1561GB。摩尔线程这次要攻克的关键点也比较明确:DSA 稀疏注意力的索引选择与 KV cache 布局、MXFP4 专家权重的在线转换与 FP8 workspace 跨层复用、Prefill/Decode 计算路径迁移、多机通信。但也要说清边界:这是 “能跑起来”,不是 “跑得好”—— 官方没有公布任何 tokens/s、吞吐或延迟数据,并且明确说性能优化 “后续持续推进”;演示视频中段还做了变速剪辑,官方自己标注 “不代表实际推理速度”。

一、事实清单:这次到底完成了什么

项目内容
宣布时间2026 年 11 月 6 日(摩尔线程官网)
适配对象Kimi K3.1 Pro(月之暗面 K3.1 系列首款模型)
硬件MTT S5000 AI 训推一体智算卡
软件栈MUSA(含 SGLang-MUSA、MATE 算子库、Triton-MUSA、TileLang-MUSA、MTCC 编译器)
完成度Day-0 适配:模型加载、服务启动、文本推理、图片推理
实测规模6 台 MTT S5000 服务器完成首跑
验证内容中文自我介绍 + 描述输入图片主要内容
未公布tokens/s、吞吐、首 token 延迟、并发数、性价比
后续计划核心算子、显存管理、多机通信持续优化

“Day-0” 这个词要理解准确:它指 “模型开源当天或极短时间内就能拉起服务”,衡量的是工程响应速度与软件栈成熟度,不是 “性能已经调优到位”。这两件事经常被混为一谈。

二、Kimi K3.1 Pro 是什么量级:先看清对手有多大

维度规格
参数总参数 2.8 万亿,每 token 激活 1040 亿(官方口径 “3 万亿级”)
上下文100 万 token(1,048,576)
模态原生多模态,支持文本 + 图片输入
层结构93 层:69 层 KDA(线性注意力)+ 24 层带稀疏索引的 MLA
稀疏注意力每层索引器 32 头 × 128 维,每 query 只取 top-2,048 token
MoE896 个路由专家,top-16 激活,另加 2 个共享专家
量化路由专家 MXFP4(量化感知训练),注意力等其余部分 BF16
视觉编码器MoonViT-V2,4.01 亿参数
投机解码DSpark,5 层 MLA 草稿模型
权重体积约 1561GB(MXFP4);若按 16 位精度存储约 5.6TB
评测Terminal-Bench 4.0 得 65.7%;Kimi Code Bench 3.0 Long-horizon 得 61.2%(K3 为 55.95%)

这张表解释了两件事:一是为什么 “3 万亿参数” 必须靠多机才能装下;二是为什么这次适配的技术难点集中在稀疏注意力和低精度专家权重—— 这两处正是新架构区别于传统 Transformer 的地方。

三、算一笔显存账:6 台服务器为什么是必要的

项目数值说明
权重体积约 1561GBMXFP4 量化后
单卡显存80GB(MTT S5000)官方规格
仅装权重的最少卡数约 20 张1561 ÷ 80 ≈ 19.5,未计 KV cache 与中间激活
单台服务器卡数8 卡(SGX5000 配置)官方产品形态
6 台服务器显存合计约 3.84TB(按 8 卡 / 台推算)权重 + KV cache + workspace 才有余量

因此,“6 台服务器” 并不是多此一举,而是物理必要:80GB 单卡装不下 1.56TB 权重,必须跨机张量并行 / 专家并行;而 100 万 token 上下文的 KV cache 又是一笔额外开销 —— 这也是官方把 “显存管理”“多机通信” 列为后续优化重点的原因。

一个横向参照:AMD 同日发布的适配方案用 8 张 MI355X(单卡 288GB) 单节点就能跑,启动时每卡峰值约 199GB,单个 100 万 token 请求可落在单节点内。显存容量差距,直接决定了 “单机 vs 多机” 的部署形态差异—— 这不是谁优谁劣的问题,而是硬件规格决定的工程路径不同。

四、MTT S5000 凭什么接得住:硬件与软件两条腿

层面关键能力对这次适配的作用
芯片PH100,“平湖” 架构,单卡 AI 稠密算力最高 1000 TFLOPS支撑万亿级 MoE 的算力需求
显存80GB,带宽 1.6TB/s决定能装多少权重与 KV cache
互联卡间互联约 784—800GB/s(MTLink)多机多卡跑 MoE 全量专家通信
精度FP8 到 FP64 全精度,硬件原生 FP8承接 FP8 workspace 与低精度专家计算
生态原生适配 PyTorch、Megatron-LM、vLLM、SGLang让上游模型实现可以 “低成本迁移”
集群KUAE 万卡级智算集群、SGX5000 8 卡一体机提供多机运行底座

软件栈这条腿更关键,这次适配的技术路径可以拆成四层:

层级组件干了什么
框架层SGLang-MUSA直接承接上游 SGLang 的模型定义、调度与服务接口
算子调度MATE 算子库能力检测、算子选择、后端统一调度
算子开发Triton-MUSA / TileLang-MUSA前者保正确性基线,后者做高性能内核迭代
编译运行时MTCC 编译器 + MUSA Runtime支持 JIT 与 DSL 算子落地

五、这次真正攻下的四个技术点

技术点难点摩尔线程的做法
DSA 稀疏注意力每层要选 top-2,048 token,索引与 KV 布局都要改适配索引选择、KV cache 布局,重写 Prefill/Decode 计算路径
MXFP4 专家权重官方 checkpoint 是 MXFP4,直接算效率低在线转换 + FP8 workspace 跨层复用,无需预先离线生成完整 FP8 权重
长上下文缓存100 万 token 的 KV cache 极占显存显存管理列入后续优化重点,先保证 “跑得起来”
多机通信896 专家分散在多卡多机,All-to-All 通信量大打通分布式运行链路,多机通信持续优化

其中 “在线转换 + FP8 workspace 跨层复用” 是最有工程含量的一招:它避免了 “先把 1.56TB 权重离线转一遍” 的漫长准备,才能做到 Day-0 拉起 —— 这也是为什么摩尔线程在 7 月适配 Kimi K3 时就强调过 “加载期在线逐层量化” 这条路径。

六、横向对照:三家同台,各有各的打法

平台部署形态显存 / 节点特点
摩尔线程6 台 MTT S5000 服务器80GB / 卡,约 3.84TB(按 8 卡 / 台推算)国产全功能 GPU,多机路径,性能数据未公布
AMD8× MI355X 单节点288GB / 卡,约 2.3TB单节点跑 1M 请求,ATOM 与 vLLM 双路径
SGLang 官方NVIDIA / AMD / TPU / Trainium / PPU视平台而定生态侧统一承接,多硬件 Day-0

这张表的信息量在于:Day-0 已经不是某一家厂商的独家能力,而是 “谁的软件栈更贴上游生态,谁就能更快接住”。摩尔线程的价值不在于 “比别人快”,而在于在国产 GPU 上把这条链路跑通了。

七、意义与边界:别把 “跑通” 读成 “跑赢”

意义有三层:

  1. 工程响应能力:从 Kimi K3(7 月 28 日)到 DeepSeek-V4.1-Flash(9 月)再到 K3.1 Pro(11 月 6 日),国产 GPU 的 Day-0 节奏已经稳定下来。
  2. 生态位:MUSA 成为 SGLang 官方后端,意味着国产卡不再靠 “定制适配”,而是走主流框架主线。
  3. 可复现性:6 台服务器首跑、文本 + 图片双链路验证,是可被第三方复现的最小闭环。

边界也要说清:

  1. 没有性能数字。tokens/s、吞吐、延迟、并发、每百万 token 成本,一个都没公布。没有这些,就无法判断 “性价比” 这个官方反复强调的目标是否达成。
  2. 视频不是实测速度。官方自己标注 “中段经过变速剪辑,仅展示交互过程,不代表实际推理速度”。
  3. “能跑” 与 “好用” 之间还隔着优化。核心算子、显存管理、多机通信三项都在 “后续持续推进” 清单里。
  4. 参数量表述要分清。“3 万亿级” 是能力档位标签,实际总参数 2.8 万亿、激活 1040 亿 ——总参数决定权重体积,激活参数决定单次推理算力,两个数字用途完全不同。

八、给开发者的五条落地建议

  1. 先看显存,再看算力。1.56TB 权重是硬门槛,没有多机就别谈部署;单机 8 卡只能做小切片实验。
  2. 优先走 SGLang-MUSA 主线。别自己写一套推理框架,上游主线才是长期可维护的路径。
  3. MXFP4 权重别离线转。用在线转换 + FP8 workspace 的方案,能省掉几小时到十几小时的预处理。
  4. 长上下文要单独压测。100 万 token 的 KV cache 会显著挤占并发,别用短请求的数据去估长上下文的容量。
  5. 等官方性能数据再谈采购。Day-0 适配只证明 “可用”,采购决策要看吞吐 / 延迟 / 成本三项实测。

【常见问题】

问题 1:摩尔线程 Kimi-K3.1 Pro 适配是什么时候完成的,用的什么卡?

回答 1:摩尔线程 Kimi-K3.1 Pro 适配于 2026 年 11 月 6 日由摩尔线程官网宣布完成,属于 Day-0 适配,硬件是 AI 训推一体智算卡 MTT S5000,软件栈是自研 MUSA。摩尔线程 Kimi-K3.1 Pro 适配打通了模型加载、服务启动、文本推理与图片推理四条链路,并用 6 台 MTT S5000 服务器完成首跑验证。

问题 2:摩尔线程 Kimi-K3.1 Pro 适配后,模型能做什么、不能做什么?

回答 2:摩尔线程 Kimi-K3.1 Pro 适配完成后,模型能以中文介绍自身身份与基本能力,能描述输入图片的主要内容,说明文本与图像两条基础推理链路已通。但摩尔线程 Kimi-K3.1 Pro 适配目前只到 “基础推理验证”,官方未公布吞吐、延迟等性能数据,性能优化仍在后续计划中。

问题 3:摩尔线程 Kimi-K3.1 Pro 适配为什么要用 6 台服务器?

回答 3:因为 Kimi K3.1 Pro 的 MXFP4 权重约 1561GB,而 MTT S5000 单卡显存 80GB,仅装权重就至少要 20 张卡,还要预留 KV cache 与中间激活空间。摩尔线程 Kimi-K3.1 Pro 适配因此必须走多机路径,6 台服务器(按 8 卡 / 台推算约 3.84TB 显存)才够装下模型并留出运行余量。

问题 4:摩尔线程 Kimi-K3.1 Pro 适配里最难的环节是什么?

回答 4:摩尔线程 Kimi-K3.1 Pro 适配最难的是两处新架构特性:一是 24 层 MLA 上的 DSA 稀疏索引器,要适配索引选择、KV cache 布局和 Prefill/Decode 计算路径;二是 MXFP4 专家权重,需要在线转换并复用 FP8 workspace,避免离线转换。摩尔线程 Kimi-K3.1 Pro 适配能 Day-0 拉起,靠的就是这两条路径走通。

问题 5:摩尔线程 Kimi-K3.1 Pro 适配和 AMD 的方案有什么不同?

回答 5:摩尔线程 Kimi-K3.1 Pro 适配走的是 6 台 MTT S5000 服务器的多机路径,单卡 80GB;AMD 同日方案是 8 张 MI355X 单节点,单卡 288GB,可让单个 100 万 token 请求落在单机内。差异根源是显存容量,而非单纯的性能高低;摩尔线程 Kimi-K3.1 Pro 适配目前也未公布可对比的性能指标。

问题 6:摩尔线程 Kimi-K3.1 Pro 适配说明国产 GPU 已经追平国际了吗?

回答 6:不能这么推。摩尔线程 Kimi-K3.1 Pro 适配证明的是 “能跑通、能 Day-0 响应”,属于工程能力验证;官方没有给出 tokens/s、吞吐、延迟与成本数据,无法判断是否追平。摩尔线程 Kimi-K3.1 Pro 适配的意义在于生态位 ——MUSA 已成为 SGLang 官方后端,国产卡开始走主流框架主线,而不是靠定制适配。

【参考资料】

  • [2026-11-06](Day-0 支持|摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配,支持文本与图片推理 —— 含 6 台服务器首跑、评测分数)摩尔线程
  • [2026-11-06](Moore Threads completes Day-zero adaptation of Kimi-K3.1 Pro—— 含 DSA 与 MXFP4 适配细节)AI Cup
  • [2026-11-05](Kimi K3.1 Pro 权重开放,算力、许可、安全一并明确 —— 含 2.8 万亿参数、1561GB 权重、MXFP4)21 世纪经济报道
  • [2026-11-04](Kimi K3.1 Pro on AMD Instinct GPUs: Day-0 support and optimization—— 含 8× MI355X、288GB、单节点 1M 请求)AMD
  • [2026-11-04](Kimi K3.1 Pro: Day-0 Inference and RL Support with SGLang and Miles—— 含多硬件支持清单)SGLang Blog
  • [2026-10-24](Kimi K3.1 Pro 刚发布,社区先炸了:比 K3 快、性能逼近 Opus—— 含发布信息与 API 定价)36 氪
  • [2026-07-28](Day-0 支持|摩尔线程率先完成 Kimi K3 适配,支持 2.8 万亿参数开源大模型 —— 含加载期在线逐层量化方案)摩尔线程
  • [2026-04-27](摩尔线程 2025 年年度报告摘要 —— 含 MTT S5000 的 1000 TFLOPS、80GB 显存、1.6TB/s 带宽、784GB/s 互联)上海证券交易所

免责声明

本文基于摩尔线程官网、月之暗面/Kimi 官方文档、AMD 技术博客、SGLang 官方博客及公开媒体报道整理,不是摩尔线程或月之暗面的官方发布,也不构成采购或技术选型建议。文中 “3 万亿级参数” 为厂商能力档位表述,模型卡显示的实际规格为总参数 2.8 万亿、每 token 激活 1040 亿,二者口径不同,请勿混用;Terminal-Bench 4.0 的 65.7%、Kimi Code Bench 3.0 Long-horizon 的 61.2% 均为厂商自述评测结果,测试条件与对比基线未在本文逐项复现。摩尔线程未公布本次适配的任何性能指标(tokens/s、吞吐、首 token 延迟、并发数、每百万 token 成本),本文因此不对 “性能”“性价比” 作任何结论;官方演示视频中段经变速剪辑,官方已注明 “不代表实际推理速度”。“6 台服务器约 3.84TB 显存”“至少需约 20 张卡装载权重” 均为本文按 MTT S5000 单卡 80GB、SGX5000 8 卡/台规格所做的推算,非官方数据,实际部署的卡数、并行策略与显存占用以厂商工程配置为准。与 AMD 方案的对照仅比较部署形态与显存容量,不构成性能优劣判断。任何依据本文作出的部署、采购或投资决策,其后果由决策方自行承担。

今日大家都在搜的词: