您的位置首页 >半导体 >

清华团队打造 Token 工厂,给万卡国产芯配套软件 “超级外挂” 提升推理产出

清华孵化的趋境科技团队打造的 Token 工厂,本质是一套面向万卡国产算力集群的推理优化软件栈,相当于国产 AI 芯片的超级外挂,不改动芯片硬件本身,靠自研推理引擎、异构调度、Prefill/Decode 分离、量化优化等软件手段,解决国产芯片普遍存在的算力利用率低、首 Token 延迟高、单 Token 成本贵的痛点,把国产芯片的硬件算力更多转化成有效 Token 输出,这套方案可以适配昇腾、海光、沐曦等多款国产芯片,在万卡规模集群上做统一调度,对外提供 TaaS(Token as a Service)服务,让国产万卡集群从 “硬件堆起来” 变成稳定、低成本批量生产 AI Token 的基础设施,补齐国产算力在推理侧的短板。

Token 工厂核心能力清单

  • 异构算力调度:兼容不同品牌国产芯片,万卡集群统一纳管,动态分配 Prefill 和 Decode 任务
  • 推理引擎优化:针对国产芯片指令集深度适配,支持低位宽量化,降低显存占用
  • PD 分离架构:把预填充和解码任务拆分调度,压低首 Token 延迟,提升并发上限
  • 缓存复用:KV 缓存智能路由与共享,减少重复计算,大幅降低单 Token 成本
  • 运维与弹性扩缩:集群负载监控、故障自动迁移、流量削峰,支撑万亿级日 Token 输出
  • 标准化输出:统一封装 Token 服务接口,上层模型应用不用关心底层是哪款国产芯片

国产芯片硬件 vs Token 工厂软件外挂对比表

项目国产 AI 芯片(硬件)Token 工厂(软件超级外挂)
作用提供基础算力、显存、计算单元调度、优化、盘活硬件算力,提升有效 Token 产出
解决痛点提供算力底座算力闲置、显存墙、调度抖动、推理成本高、延迟不稳
是否需要改硬件硬件固定纯软件方案,不用流片、不用换卡
规模上限单卡、多卡集群支持万卡级大规模异构集群协同
输出指标TOPS 算力Token 产出、首 Token 延迟、单 Token 成本

Token 工厂在万卡国产集群上的落地步骤

  1. 算力集群纳管:接入万卡国产芯集群,识别不同芯片型号、互联拓扑,完成硬件资源画像
  2. 模型适配优化:模型做量化、算子替换,编译适配自研推理引擎,做 KV 缓存策略调优
  3. 调度策略配置:开启 PD 分离,Prefill 任务集中到高算力卡,Decode 任务分摊到大量卡,做负载均衡
  4. 压力测试:注入并发流量,监控 TTFT、吞吐、显存占用,调整缓存池大小与路由规则
  5. 上线 TaaS 服务:对外统一 API 交付 Token,平台自动路由流量,故障节点自动切流
  6. 持续迭代:根据业务流量数据持续优化调度策略,持续降低单 Token 成本

适用场景

  • 大模型推理服务、企业私有 MaaS 平台
  • 智能体、长上下文对话、RAG 知识库高并发场景
  • 国产算力智算中心,盘活存量万卡集群,提升营收效率
  • 政企、金融等需要全国产化闭环的 AI 业务

【相关 FAQ】

问题 1:清华团队给万卡国产芯做的 Token 工厂,这个 “超级外挂” 到底是什么?

回答 1:清华团队打造的 Token 工厂是一套推理优化软件栈,也就是万卡国产芯的软件超级外挂,它不修改芯片硬件,靠调度引擎、PD 分离、量化缓存等技术,把国产芯片的硬件算力转化成更高的有效 Token 产出,提升集群利用率。

问题 2:Token 工厂这套方案,能适配哪些万卡国产芯?

回答 2:清华团队的 Token 工厂支持昇腾、海光、沐曦等主流国产 AI 芯片,能够搭建异构万卡集群,统一调度不同品牌国产芯片协同生产 Token。

问题 3:有了 Token 工厂这个超级外挂,万卡国产芯主要改善了哪些指标?

回答 3:搭配 Token 工厂超级外挂之后,万卡国产芯集群的算力利用率提升、首 Token 延迟下降、KV 缓存复用效率提高,最终实现单 Token 推理成本降低,并发承载能力变强。

问题 4:Token 工厂和普通推理框架有什么区别,为什么专门针对万卡国产芯?

回答 4:普通推理框架大多优先适配海外芯片,Token 工厂面向万卡国产芯集群做深度定制,重点解决国产芯片互联、算子、显存墙、大规模调度这些特有难题,面向 TaaS 规模化 Token 生产设计。

【参考资料】

[2026-11-12](不比 “面粉” 比 “面包”! 国产 AI 算力突围背后,一家 Token 工厂里藏着的 “中国芯” 破局密码)腾讯新闻

[2026-07-24](清华系 “AI Token 工厂” 落子钱江世纪城 萧山在下怎样一盘大棋?)杭州新闻中心

[2026-07-23](清华团队要在杭州建 “Token 工厂”,这到底是什么 “王炸”?)潮新闻

[2026-07-20](清程极智:首创 Token “前店后厂”)中国日报网

【免责声明】

以上内容为清华团队 Token 工厂相关产业资讯整理,仅作为算力基础设施科普参考,不构成算力采购、项目投资建议;Token 工厂的实际吞吐、延迟、成本提升效果,取决于万卡国产芯型号、集群拓扑、业务模型与流量特征;完整技术指标、集群交付方案以趋境科技官方资料为准。

今日大家都在搜的词: