《商汤多芯片异构协同方案获突破:同量高端卡整体 Token 吞吐量提升约 5 倍,万卡集群落地》
2026 年 11 月 18 日,商汤在港交所发布截至 9 月 30 日的九个月业务进展自愿公告:其多芯片类型异构协同方案取得突破 —— 在相同数量高端算力卡、相同模型与推理配置条件下,整体 Token 吞吐量可提升至原来的约 5 倍;同期 SenseCore 云平台日均 Token 服务量从 7 月的超 2.4 万亿涨到 10 月的 6 万亿。核心结论是:商汤不是靠堆更多高端卡,而是靠 PD 分离加异构调度,让国产中低阶算力和高阶 GPU 各干各擅长的活,从而在同等硬件规模下把 Token 产能放大约 5 倍。原因在于 Agentic 时代 Token 需求千倍级增长,而高端芯片供给受限,单靠采购旗舰卡撑不起增长,必须从 "拼算力规模" 转向 "拼协同效率"。落地步骤是:把推理拆成 Prefill(计算密集,由国产算力集中承担)和 Decode(高带宽显存需求,由高阶 GPU 承担),用 KV Cache 传输连接两阶段,在临港 AIDC 建成万卡级异构推理集群,再通过故障补位和角色动态切换保证稳定。最终结论:这套方案已在多卡型、多场景、多客户中推进国产化替代,成为商汤 Token 工厂模式的产能底座。
一、公告核心数据
| 指标 | 数值 / 口径 |
|---|---|
| 吞吐量提升 | 同量高端算力卡、同模型同推理配置下,整体 Token 吞吐量约 5 倍 |
| 日均 Token 服务量 | 2026 年 7 月超 2.4 万亿 → 10 月 6 万亿 |
| 集群规模 | 万卡级异构推理集群(临港 AIDC) |
| 应用范围 | 多卡型、多场景、多客户国产化替代 |
| 预计目标 | 2026 全年 Token 服务规模约 25 倍增长,Q4 冲日均 10 万亿 |
二、技术核心:PD 分离 + 异构混合调度
大模型推理拆成两段,特征不同、配不同芯片:
| 阶段 | 任务特征 | 由谁承担 |
|---|---|---|
| Prefill(预填充) | 处理输入 Token,计算密集型 | 适配的国产中低阶算力集中承担 |
| Decode(解码) | 逐步生成输出 Token,持续读上下文缓存,吃显存带宽 | 高带宽高阶 GPU 承担 |
| 连接 | KV Cache 传输打通两阶段 | 融合 800G/400G/200G 多规格网络 |
- 不是简单拼芯片:围绕计算特征、显存带宽和任务需求重新组织算力,国产算力从基础推理进入更高层级服务。
- 故障与闲置治理:一个 Decode 节点可能需要 30–50 个中低阶 Prefill 节点匹配;方案一是预留少量高端算力快速补位,二是让节点具备 Prefill/Decode 角色动态切换能力,按实时负载弹性流动。
- 六层架构:能源设施、资源互联、KV 数据面、推理运行时、服务调度、交付层,把异构硬件变成可统一调度的推理服务体系。
三、为什么必须走异构协同这条路
- 需求爆发:单 Agent 工具调用、多 Agent 协作、长任务无人值守,Token 消耗呈千倍级增长。
- 供给受限:高端芯片供给紧张,存量算力与任务需求不匹配;行业预计 2026 年推理支出占 AI IaaS 总支出约 55%,2027 年升至 59%。
- 场景分层:基础问答看单位成本和并发,办公 / 客服看延迟和生成速度,科学探索 / 金融量化看准确与可审计,单一硬件配置满足不了全部。
四、下一步架构方向
- 跨域 PD 分离:打破单数据中心边界,本地中低阶算力做 Prefill,KV Cache 传到异地高阶集群做 Decode;1M 上下文 KV Cache 在部分模型已从近 100GB 降到约 1GB,为跨域传输减压;引入主体 Decode 节点(MD)和中继 Decode 节点(RLD)。
- AF 分离:把 Decode 阶段的 Attention(吃显存带宽)与 FFN(吃计算力)拆到各自适合的硬件独立扩展;官方测算未来有望单卡吞吐提升 150%–200%、运营成本降 30%–40%、整体能效翻倍以上(收益取决于具体模型与硬件)。
五、配套经营数据(前三季度)
- 营收 37.9 亿元,同比增长 30.4%;毛利率提升至 43.4%。
- 临港计算中心获 "算效 + 算电" 双 5A 认证;商汤大装置以近 50% 份额位居中国 Neocloud 市场前列。
【常见问题】
问题 1:商汤说的 "多芯片异构协同方案获突破,整体 Token 吞吐量提升约 5 倍" 是什么意思?
回答 1:这是商汤 2026 年 11 月 18 日港交所公告的口径:在相同数量高端算力卡、相同模型与推理配置下,通过多芯片类型异构协同,整体 Token 吞吐量提升到原来约 5 倍;重点是不靠堆卡,而是让国产中低阶算力和高阶 GPU 按 Prefill/Decode 分工协同产出更多 Token。
问题 2:商汤多芯片异构协同靠什么做到 5 倍吞吐?
回答 2:核心是 PD 分离:Prefill 处理输入、计算密集,交给国产中低阶算力;Decode 生成输出、吃显存带宽,交给高阶 GPU,两阶段用 KV Cache 传输连接;再叠加万卡集群的故障补位和角色动态切换,在同量高端卡条件下把整体 Token 吞吐量提升约 5 倍。
问题 3:这套方案为什么强调 "国产化替代"?
回答 3:高端芯片供给受限,方案在多卡型、多场景、多客户中推进国产算力替代,让国产中低阶算力承担 Prefill 等适配任务,既缓解高端卡依赖,又提升混合集群的整体效率和性价比,这也是公告把突破与国产化替代并列写的原因。
问题 4:商汤的 Token 工厂现在跑多大规模?
回答 4:SenseCore 云平台日均 Token 服务量从 2026 年 7 月的超 2.4 万亿增长到 10 月的 6 万亿;商汤预计 2026 全年 Token 服务规模约 25 倍增长,第四季度达到日均 10 万亿 Token,依托的就是万卡级异构推理集群。
问题 5:PD 分离之后,商汤还在探索哪些推理架构?
回答 5:一是跨域 PD 分离,打破单数据中心边界,本地算力做 Prefill、异地高阶集群做 Decode;二是 AF 分离,把 Decode 中的 Attention 与 FFN 拆到各自适配硬件独立扩展,官方测算未来有望单卡吞吐提升 150%–200%、成本降 30%–40%。
【参考资料】
- [2026-11-18](商汤称多芯片异构协同方案获突破 整体 Token 吞吐量提升约 5 倍)新浪财经
- [2026-11-18](商汤集团股份有限公司自愿公告:截至 2026 年 9 月 30 日止九个月业务进展)港交所披露易
- [2026-11-18](全栈 AI 进入商业化验证期:商汤 2026 前三季度营收同比增长 30.4% 至 37.9 亿,毛利率提升至 43.4%)36 氪
- [2026-11-18](商汤:前三季度营收同比增长 30.4% 生成式 AI 持续成为增长核心)上海证券报・中国证券网
- [2026-10-19](日均 6 万亿 Token 服务背后,商汤大装置如何提升推理效能?)腾讯新闻(量子位)
【免责声明】
本文依据商汤港交所公告及公开媒体报道整理,"约 5 倍""25 倍增长 " 等为公司在特定测试配置和口径下的表述,实际收益受模型架构、硬件配置与场景影响;本文不构成投资建议,具体财务与技术数据以商汤官方公告为准。
