标题:海光信息联合清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座
海光信息和清程极智联合对外发布异构混推技术白皮书,方案核心采用 PD 分离架构,把大模型推理拆成预填充和解码两个独立资源池调度,专门解决长上下文场景下传统单卡推理显存不足、算力浪费、部署成本高的痛点,这套方案以海光深算 3 号 DCU 承载计算密集的预填充任务,搭配清程极智赤兔推理引擎做全局调度、KV 缓存跨池传输,解码环节依托高显存算力卡负责持续生成 Token,不同硬件各司其职,不再强求所有卡规格完全一致,让硬件资源利用率明显提升,从而搭建国产高性价比的大模型推理算力底座;白皮书里完整公开架构设计、调度逻辑、组网方案、性能测试数据,支持 RDMA 高速互联和 KV 缓存复用,适合智算中心、企业私有化大模型服务落地,相比同规格同算力的同构集群方案,在长文本、RAG 知识库、Agent 这类高上下文场景下,单位 Token 成本可以下降,这套方案也是国产 DCU + 国产推理引擎软硬协同的落地方案,补齐国产推理算力成本偏高的短板。
一、合作主体与核心组件清单
- 芯片方:海光信息,核心硬件:深算 3 号 DCU,主打高密度浮点计算,适配预填充 Prefill 负载
- 软件方:清程极智,核心软件:赤兔(Chitu)高性能推理引擎,负责异构调度、KV 缓存管理、量化优化
- 核心架构:PD 分离(Prefill-Decode 分离)异构混合推理架构
- 互联方式:高速 RDMA 网络,跨资源池传输 KV 缓存
- 落地场景:长上下文 LLM、RAG 检索增强、智能 Agent、企业私有化知识库服务
- 发布载体:异构混推技术白皮书,在 2026 世界计算大会上正式对外发布
二、异构混推 PD 分离架构分工对照表
| 模块 | 承载硬件 | 负责推理阶段 | 负载特点 | 核心诉求 |
|---|---|---|---|---|
| Prefill 预填充池 | 海光深算 3 号 DCU | 用户输入 Prompt 一次性计算 | 计算密集型、瞬时算力压力大 | 高 FP 算力、并行计算能力强 |
| Decode 解码池 | 高显存算力卡 | 逐 Token 生成输出 | 显存带宽敏感、KV 缓存持续增长 | 大显存、高带宽,稳定持续出 Token |
| 调度管理层 | 赤兔推理引擎 | 全局任务调度 | 跨池协同、缓存流转 | 负载均衡、缓存生命周期管理、量化支持 |
三、这套异构混推方案的核心优势
- 硬件错配利用:不用全部采购高显存高价卡,算力卡按职责选型,降低集群采购总成本
- 长上下文友好:KV 缓存单独托管流转,突破单卡显存上限,支持上万字超长上下文对话
- 算力利用率提升:Prefill 和 Decode 负载天然错峰,分开资源池调度,减少硬件空等浪费
- 国产化全栈:海光 DCU + 清程极智自研赤兔引擎,整套推理栈自主可控,适配国内智算准入要求
- 兼容量化方案:支持 FP8、FP4 低位宽量化,进一步压低显存占用、提升吞吐
- 弹性扩容:两个资源池可以独立扩容,业务长文本请求上涨优先扩充解码池算力
四、传统同构推理方案的典型痛点
- 全部用同型号 DCU 部署,Prefill 高峰算力吃满,Decode 阶段大量算力闲置
- 长上下文场景很容易触发显存溢出,只能切小上下文窗口或者堆叠高价大显存卡
- 集群扩容必须整堆同规格硬件,成本刚性高,业务波动时很难灵活调整
- KV 缓存无法跨节点高效流转,缓存重复计算,吞吐上不去、延迟波动大
五、落地部署关键步骤
- 业务侧统计:预估 Prompt 平均长度、上下文窗口上限、并发请求量、Token 吞吐指标
- 资源池拆分:按 Prefill 算力需求、Decode 显存需求分别规划海光 DCU 池和解码算力池规模
- 网络搭建:部署 RDMA 高速网络,保障 KV 缓存跨池传输时延可控
- 赤兔引擎部署:开启 PD 分离调度、缓存复用、混合量化策略
- 压测调优:压测不同并发、上下文长度下的吞吐、首 Token 时延、尾 Token 时延
- 上线监控:分别监控 Prefill 池算力利用率、Decode 池显存占用、缓存传输带宽
【常见问题】
问题 1:海光信息和清程极智发布异构混推技术白皮书,里面 PD 分离异构混推是什么意思?
回答 1:海光信息和清程极智发布异构混推技术白皮书,PD 分离异构混推就是把大模型推理拆成预填充 Prefill 和解码 Decode 两个独立资源池,海光深算 3 号 DCU 跑预填充,高显存卡跑解码,由赤兔引擎协同调度,以此搭建高性价比大模型推理算力底座。
问题 2:基于这份异构混推技术白皮书方案,海光 DCU 在异构混推里能不能直接做解码任务?
回答 2:基于这份异构混推技术白皮书方案,海光 DCU 硬件本身支持解码,但架构设计上优先把 DCU 分配给计算密集的预填充任务,发挥高密度算力优势,解码交给显存带宽更强的算力卡,最大化整体性价比。
问题 3:海光信息 × 清程极智异构混推技术白皮书这套方案,适合哪些大模型业务?
回答 3:海光信息 × 清程极智异构混推技术白皮书打造高性价比大模型推理算力底座,更适合 RAG 知识库、长文档问答、Agent 智能体这类长上下文场景,短对话普通聊天场景收益相对有限。
【参考资料】
[2026-11-18](PD 分离架构破解长上下文难题,海光联合清程极智推出国产推理新方案)新浪财经
[2026-11-18](海光信息 × 清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座)机器之心
[2026-11-18](海光 + 清程极智异构混推白皮书发布,国产推理进入 PD 分离时代)算力智库
[2026-11-18](赤兔推理引擎产品介绍)清程极智官网
[2026-06-16](清程极智赤兔引擎:国产芯片推理优化实践)中国科学报
【免责声明】
以上海光信息、清程极智异构混推技术白皮书相关资讯为公开信息整理,方案性能、成本降幅、适配模型范围以白皮书原文和双方实测报告为准;异构混推集群部署效果受网络、模型参数、量化策略影响,资讯不构成算力采购、服务器投资建议。
