海光信息和清程极智联合对外发布异构混推技术白皮书,这套方案采用 PD 分离架构,把大模型预填充、解码两个阶段拆分到不同算力资源池跑,专门解决长上下文大模型推理成本高、算力利用率低的痛点,搭建一套全国产、高性价比的推理算力底座。现在很多企业做大模型私有化部署时,直接用同一种卡同时跑预填充和解码,硬件特性不匹配,要么算力浪费,要么显存不够、长文本卡顿,海光深算 3 号 DCU 擅长高密度计算,负责预填充任务,搭配清程极智赤兔推理引擎做调度,解码环节用侧重显存带宽的算力卡,通过 RDMA 高速网络传输 KV 缓存,让不同硬件各司其职,整体算力利用率明显提升,硬件采购成本也能降下来。整套方案依托海光 DTK 开发栈和清程极智自研调度平台,支持流量隔离、KV 缓存全生命周期管理,适配 Qwen、DeepSeek、GLM 等主流大模型,适合企业知识库、智能客服、长文档分析这类私有化推理场景,给国产算力规模化落地提供新路线。
方案核心组件清单
- 算力芯片:海光深算 3 号 DCU,承接预填充(Prefill)高密度计算任务
- 推理软件:清程极智赤兔推理引擎,负责异构任务调度、KV 缓存管理
- 互联网络:RDMA 高速网络,跨算力池传输 KV 缓存
- 开发工具:海光 DTK 全栈开发平台,算子、编译、迁移工具链
- 组网设计:多平面组网,计算、存储、业务、管理流量物理隔离
同构推理与 PD 分离异构混推对比表
| 模式 | 资源分配方式 | 优势 | 短板 |
|---|---|---|---|
| 传统同构推理 | 同一类算力卡同时跑预填充 + 解码 | 部署简单,运维门槛低 | 硬件错配,算力利用率偏低,长上下文场景显存压力大,成本偏高 |
| PD 分离异构混推 | DCU 负责预填充,高显存算力卡负责解码 | 算力分工匹配负载,利用率提升,硬件投入更省,长文本稳定性更好 | 架构复杂,需要 RDMA 高速网络,调度平台依赖自研软件栈 |
异构混推方案核心优势
- 负载精准匹配:预填充计算密集,交给海光 DCU;解码显存带宽敏感,交给高显存算力卡,扬长避短
- KV 缓存高效流转:RDMA 高速传输,缓存跨池复用,减少重复计算,降低延迟
- 国产化闭环:海光 DCU + 清程极智赤兔引擎,不用依赖海外推理框架
- 适配长上下文:针对长文档、超长对话场景优化,缓解大 KV 缓存带来的显存瓶颈
- 灵活扩容:预填充池、解码池可以独立扩容,企业按需加算力,不用一次性采购大量同规格卡
落地部署步骤
第一步:评估业务特征,统计请求长度、并发量、上下文长度,判断是否适合 PD 分离异构架构。
第二步:集群规划,划分独立的预填充算力池、解码算力池,部署 RDMA 网络,规划多平面隔离组网。
第三步:环境适配,部署海光 DTK 工具链,部署赤兔推理引擎,完成模型量化、算子优化。
第四步:联调压测,测试 KV 缓存跨池传输、负载调度、并发上限,对比同构方案的吞吐和延迟。
第五步:上线运维,接入监控平台,跟踪两个算力池负载,动态调整调度策略。
【常见问题】
问题 1:海光信息联合清程极智发布异构混推白皮书,异构混推的核心 PD 分离架构是什么?
回答 1:海光信息联合清程极智发布异构混推白皮书,PD 分离架构就是把大模型推理拆成预填充 Prefill、解码 Decode 两个阶段,分别放在不同算力池运行,海光 DCU 负责预填充,高显存算力卡负责解码。
问题 2:海光信息联合清程极智发布异构混推白皮书,这套方案靠什么软件实现异构调度?
回答 2:海光信息联合清程极智发布异构混推白皮书,依靠清程极智自研的赤兔推理引擎,实现跨算力池任务调度、KV 缓存全生命周期管理,搭配海光 DTK 开发栈完成适配。
问题 3:海光信息联合清程极智发布异构混推白皮书,这套异构混推方案适合哪些业务场景?
回答 3:海光信息联合清程极智发布异构混推白皮书,适合企业私有化部署场景,包含长文档解析、企业知识库、智能客服、超长对话问答等长上下文大模型推理业务。
【参考资料】
[2026-11-18](PD 分离架构破解长上下文难题,海光联合清程极智推出国产推理新方案)新浪科技
[2026-11-18](海光信息 × 清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座)科创板日报
[2026-11-17](清程极智赤兔推理引擎:支持海光 DCU 异构推理)36 氪
[2026-11-16](海光 DCU 搭配 DTK,适配国产大模型推理集群)C114 通信网
【免责声明】
本文仅为白皮书资讯整理,海光信息与清程极智异构混推方案的性能指标、落地案例、后续迭代计划以双方官方白皮书、现场测试报告为准,异构集群部署存在网络、调度适配成本,不构成算力采购、AI 集群建设投资建议。
