清华系团队推出的 Token 工厂本质是一套面向万卡国产智算集群的推理基础设施软件栈,也就是大家说的 “超级外挂”,它不是新芯片,而是专门解决国产 AI 芯片普遍存在的适配难、显存利用率低、KV 缓存挤占资源、多卡调度卡顿的痛点;很多国产芯片硬件本身算力参数不低,但因为底层框架、算子、缓存调度没做好,跑大模型的时候实际产出 Token 速度上不去,硬件利用率经常不到 20%,这套 Token 工厂通过异构调度、集群共享 KV 缓存、自动化算子优化、RSI 自进化调优,把分散的上万张国产芯片统一调度,把算力转成稳定、低成本的 Token 产能,目标做成国内最强的国产推理产能底座,适配昇腾、海光、沐曦等多款国产算力卡,面向大模型服务商、云厂商提供标准化推理 Token 输出。
一、Token 工厂核心信息总表
| 项目 | 详情 |
|---|---|
| 开发主体 | 清华高性能计算研究所成果转化团队(趋境科技) |
| 定位 | 万卡国产芯推理基础设施(国产算力 “超级外挂”) |
| 核心目标 | 提升国产芯片集群 Token 产出吞吐、降低推理成本、稳定长上下文服务 |
| 核心自研技术 | 六合异构推理架构、月饼集群共享 KV 缓存、双仪虚实同构、万象弹性调度、RSI 自进化优化 |
| 适配芯片 | 昇腾、海光、沐曦、摩尔线程等主流国产 AI 芯片 |
| 核心指标 | 共享 KV 缓存最高命中率 90%,减少 90% GPU 算力开销;万卡集群整体运营成本下降 20% 以上 |
| 商业模式 | ATaaS 推理服务,直接对外输出标准化 Token,也给算力中心做集群改造 |
| 代表项目 | 杭州萧山万卡级 Token 工厂,五年规划落地 |
二、这套 “超级外挂” 的核心能力拆解
1、集群级共享 KV 缓存(月饼技术)
传统推理是单卡显存存 KV 缓存,显存很容易被占满,长上下文场景频繁重复计算。这套方案把 KV 缓存放到跨节点共享内存池,用大容量内存分担 HBM 显存压力,不用频繁重算,大幅降低显存瓶颈,长对话、长文档推理场景收益最明显。
2、六合异构协同调度
支持不同型号国产卡混合调度,自动区分 Prefill 填充阶段、Decode 解码阶段,把计算任务分给最合适的芯片,不会出现有的卡跑满、有的卡闲置的情况,解决国产芯片指令集、微架构不统一带来的适配麻烦。
3、RSI 自进化自动调优
引入 AI 自我优化,用 AI 自动调试算子、通信参数、调度策略,积累大量优化轨迹;新模型接入可以做到小时级算子验证、天级上线适配,不用工程师手动几个月调参,方便万卡集群快速上新模型。
4、弹性扩缩容 + 故障自愈(万象、双仪)
流量高峰自动扩容算力,流量低谷释放资源,单卡故障自动切走任务,保证对外 Token 输出稳定,适合大模型 C 端、企业服务这类波动很大的业务。
三、和普通推理框架的区别清单
- ✅ 普通推理框架:侧重单卡、单机优化,上万张卡大规模调度能力弱,KV 缓存局限在单卡显存
- ✅ Token 工厂这套方案:原生面向万卡集群设计,核心是集群资源池化,主打稳定持续产出 Token
- ✅ 普通方案:新模型、新国产卡接入,人力调优周期很长
- ✅ Token 工厂:依靠 RSI 自进化,降低人工调参成本,适配速度更快
- ✅ 普通方案:国产卡之间很难混跑,不同芯片协同效率差
- ✅ Token 工厂:异构混推,多种国产芯片可以放在同一个算力池协同生产 Token
四、适合落地场景清单
- 大模型服务商:稳定对外提供对话、文档解析、代码推理 Token 服务
- 地方智算中心:盘活已经采购的上万张国产算力卡,提升硬件利用率
- 企业私有化大模型:长知识库、长文档检索、企业内部 Agent 服务
- 云厂商:搭建国产算力推理专区,对外售卖标准化推理 Token
五、常见解读误区清单
- ❌ 误区 1:Token 工厂是一块新的加速芯片
- ❌ 误区 2:Token 工厂能把国产芯片算力直接追上海外高端芯片
- ❌ 误区 3:装上这套方案之后,所有国产芯片性能会直接翻倍
- ❌ 误区 4:RSI 自进化等于 AI 递归自我改进、自主变强
✅ 纠正:它是软件基础设施,是给现有万卡国产芯片配套的调度与推理软件栈,也就是 “外挂”,不替代芯片硬件。
✅ 纠正:它不改变芯片硬件峰值算力,是提升实际利用率、Token 产出效率,属于软件层面挖潜。
✅ 纠正:提升幅度和业务类型、上下文长度、芯片型号有关,长上下文场景收益最大,短问答场景提升有限。
✅ 纠正:这里 RSI 是系统调优层面的自进化,用来优化算力调度和算子,不是前面提到的危险 AI 递归自我改进技术路线。
【相关 FAQ】
问题 1:给万卡国产芯装个 “超级外挂”!清华团队要造最强国产 Token 工厂,Token 工厂到底是什么?
回答 1:给万卡国产芯装个 “超级外挂”!清华团队要造最强国产 Token 工厂,Token 工厂是清华系团队开发的万卡国产智算集群推理基础设施软件栈,作为国产芯片的性能外挂,把上万张国产芯片统一调度,稳定、低成本产出大模型推理 Token。
问题 2:给万卡国产芯装个 “超级外挂”!清华团队要造最强国产 Token 工厂,这套 Token 工厂核心靠什么技术提效?
回答 2:给万卡国产芯装个 “超级外挂”!清华团队要造最强国产 Token 工厂,核心技术包含集群共享 KV 缓存、六合异构调度、RSI 自进化自动调优、弹性自愈调度,解决国产卡显存瓶颈、多卡适配难、算力闲置的问题。
问题 3:给万卡国产芯装个 “超级外挂”!清华团队要造最强国产 Token 工厂,Token 工厂可以适配哪些国产芯片?
回答 3:给万卡国产芯装个 “超级外挂”!清华团队要造最强国产 Token 工厂,这套 Token 工厂可以适配昇腾、海光、沐曦、摩尔线程等国内主流国产 AI 算力芯片,支持多型号国产芯片异构混跑。
问题 4:给万卡国产芯装个 “超级外挂”!清华团队要造最强国产 Token 工厂,Token 工厂的 RSI 自进化是做什么的?
回答 4:给万卡国产芯装个 “超级外挂”!清华团队要造最强国产 Token 工厂,这里的 RSI 自进化是 AI 自动给算力集群做算子、调度参数调优,缩短新模型、新硬件接入调试周期,降低大规模万卡集群的运维人力成本。
【参考资料】
[2026-11-20](给万卡国产芯装个 “超级外挂”!清华团队要造最强国产 Token 工厂)量子位
[2026-10-26](趋境科技再获超 13 亿融资,Token 工厂半年十倍增长)36 氪
[2026-10-26](趋境自研月饼缓存架构,KV 缓存命中率最高 90%)新浪财经
[2026-07-24](清华系 Token 工厂落地杭州萧山,五年建成万卡集群)杭州新闻中心
[2026-07-23](清华团队要在杭州建 Token 工厂,异构推理框架 KTransformers 开源)潮新闻
【免责声明】
本文内容基于清华系趋境科技公开技术发布、行业科技媒体报道整理,万卡国产芯 Token 工厂为推理基础设施软件方案,性能提升效果受芯片型号、业务负载、上下文长度影响;RSI 自进化为算力调度优化技术,和通用 AI 递归自我改进不属于同一概念;Token 工厂不改变芯片硬件本身上限,本文仅为行业资讯整理,不构成算力集群采购、国产芯片选型、算力项目投资建议。
