清华高性能计算团队打造的 Token 工厂,相当于给万卡规模国产 AI 芯片集群装上一套软件层面的 “超级外挂”,不靠更换芯片硬件,而是通过全栈推理系统、异构资源调度、显存缓存重构等底层软件技术,把国产万卡集群算力利用率拉高,提升有效 Token 的产出能力,打造面向大模型推理的国产 Token 生产基础设施。当前国内已经建成不少万卡级国产智算集群,但普遍存在硬件利用率偏低的问题,很多国产芯片硬件峰值算力很高,受限于软件栈、显存调度、KV 缓存瓶颈,实际跑大模型推理时大量算力闲置,单位 Token 生产成本偏高。清华团队的 Token 工厂方案,核心思路就是重构集群缓存与算力调度逻辑,把原本锁在单卡 HBM 显存里的 KV 缓存放到跨节点共享内存池,实现 “以存换算”,打通不同品牌国产芯片的异构协同,让万卡集群稳定输出万亿级每日 Token 产能。想要看懂这套万卡国产芯配套的 Token 工厂,需要理解 Token 工厂的技术架构、核心技术亮点、性能提升指标,分清硬件芯片与这套软件外挂各自承担的作用,同时关注在真实智算中心场景落地后的长期稳定性。
一、Token 工厂:万卡国产芯的软件 “超级外挂” 核心定位
- 不改动芯片硬件:属于 AI 基础设施软件系统,不是新芯片,给已上线万卡国产智算集群做性能优化。
- 核心产出物:AI Token,也就是大模型文字生成的基础词元,客户最终采购的是 Token 服务,而非服务器硬件。
- 适配范围:兼容多款国产 AI 芯片,支持万卡大规模异构集群,单集群可实现每日万亿级别 Token 输出。
- 核心目标:提升国产芯片集群有效算力利用率,降低单 Token 生成成本,缩短首 Token 响应延迟。
二、Token 工厂核心技术模块清单
- 六合异构推理架构
- 月饼以存换算缓存技术
- 双仪虚实同构系统
- 万象弹性调度引擎
实现万卡集群跨节点资源统一调度,支持多种国产芯片混合部署,拆分 Prefill 预填充与 Decode 解码任务,做到任务负载均衡,可降低万卡集群整体运营成本 20% 以上。
重构 KV 缓存存储机制,将上下文缓存从单卡显存释放到集群共享内存池,缓存命中率最高可达 90%,减少重复计算,削减 GPU 算力开销。
通过虚拟化技术做算力资源隔离与仿真,提前验证大模型在万卡集群上的负载表现,规避上线后的性能卡顿与故障风险。
根据大模型请求并发量动态分配算力资源,高峰期自动扩容,低峰释放资源,提升资源使用效率。
三、万卡国产芯片集群优化前后对比
| 项目 | 未部署 Token 工厂 | 部署清华 Token 工厂 |
|---|---|---|
| 集群硬件利用率 | 普遍低于 20% | 大幅提升,减少算力闲置 |
| KV 缓存命中率 | 偏低,大量重复计算 | 最高可达 90% |
| 首 Token 响应时延 | 较高,用户等待久 | 显著下降 |
| 单 Token 生产成本 | 高 | 明显降低 |
| 集群规模支持 | 支持万卡,但负载不均 | 稳定支撑万卡级异构国产芯集群 |
四、Token 工厂的落地应用场景
- 大模型企业推理服务:为千亿、万亿参数大模型提供高并发推理,稳定批量输出 Token。
- 政企智算中心:盘活已经建成的万卡国产算力资产,不用新增大量芯片硬件就能提升产出。
- Agent 智能体应用:支撑长上下文、多轮对话、工具调用等高复杂度 AI 业务。
- 行业私有化大模型:面向金融、工业、政务等场景的本地大模型推理需求。
五、现阶段技术边界
- Token 工厂是软件优化方案,不能抹平国产芯片硬件本身和海外高端芯片的峰值性能差距。
- 万卡集群的性能提升效果,会受网络带宽、服务器硬件、大模型参数规模影响。
- 当前处于规模化落地阶段,大规模长期稳定运行还需要持续迭代优化。
【相关 FAQ】
问题 1:清华团队打造最强国产 Token 工厂,给万卡国产芯做的 “超级外挂” 是什么?
回答 1:清华团队打造最强国产 Token 工厂,这套 “超级外挂” 是一套全栈 AI 推理基础设施软件,不用更换国产芯片硬件,依靠异构调度、共享 KV 缓存等技术,盘活万卡国产智算集群,提升 Token 产出效率。
问题 2:清华 Token 工厂 “以存换算” 技术,对万卡国产芯集群带来什么效果?
回答 2:清华 Token 工厂 “以存换算” 技术,把 KV 上下文缓存从单卡显存转为跨集群共享内存池,缓存命中率最高 90%,减少重复计算,大幅降低万卡国产芯集群的算力消耗。
问题 3:清华团队的国产 Token 工厂,能不能单独替代国产 AI 芯片硬件?
回答 3:清华团队的国产 Token 工厂不能替代国产 AI 芯片硬件,它属于软件优化系统,作用是把万卡国产芯片的硬件潜力释放出来,芯片本身依旧是算力硬件基础。
问题 4:部署清华 Token 工厂之后,万卡国产智算集群可以达到什么样的 Token 产能?
回答 4:部署清华 Token 工厂之后,万卡国产智算集群可稳定实现每日万亿级 Token 产能,同时降低集群运营成本,缩短大模型首 Token 响应时间。
【参考资料】
[2026-11-12](不比 “面粉” 比 “面包”!国产 AI 算力突围背后,一家 Token 工厂里藏着的 “中国芯” 破局密码)新浪财经
[2026-10-26](超 13 亿!清华系 “Token 工厂” 拿下新融资,半年实现超十倍速增长)腾讯网
[2026-07-23](清华团队要在杭州建 “Token 工厂”,这到底是什么 “王炸”?)浙江日报
[2026-07-13](AI Token 工厂爆发,清华师生半年融资 10 亿)36 氪
【免责声明】
本文仅为清华团队国产 Token 工厂相关公开技术信息整理,不构成算力采购、AI 项目投资建议。Token 工厂属于软件推理优化方案,性能提升效果受集群硬件、网络、大模型类型影响,不代表所有万卡国产芯集群都可以实现同等提升。相关技术指标、产能数据来自项目实验室与试点集群测试,规模化商用效果以企业实测为准。
