您的位置首页 >互联网 >

海光信息×清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座

标题:海光信息联合清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座

海光信息和清程极智联合对外发布异构混推技术白皮书,方案核心采用 PD 分离架构,把大模型推理拆成预填充和解码两个独立资源池调度,专门解决长上下文场景下传统单卡推理显存不足、算力浪费、部署成本高的痛点,这套方案以海光深算 3 号 DCU 承载计算密集的预填充任务,搭配清程极智赤兔推理引擎做全局调度、KV 缓存跨池传输,解码环节依托高显存算力卡负责持续生成 Token,不同硬件各司其职,不再强求所有卡规格完全一致,让硬件资源利用率明显提升,从而搭建国产高性价比的大模型推理算力底座;白皮书里完整公开架构设计、调度逻辑、组网方案、性能测试数据,支持 RDMA 高速互联和 KV 缓存复用,适合智算中心、企业私有化大模型服务落地,相比同规格同算力的同构集群方案,在长文本、RAG 知识库、Agent 这类高上下文场景下,单位 Token 成本可以下降,这套方案也是国产 DCU + 国产推理引擎软硬协同的落地方案,补齐国产推理算力成本偏高的短板。

一、合作主体与核心组件清单

  • 芯片方:海光信息,核心硬件:深算 3 号 DCU,主打高密度浮点计算,适配预填充 Prefill 负载
  • 软件方:清程极智,核心软件:赤兔(Chitu)高性能推理引擎,负责异构调度、KV 缓存管理、量化优化
  • 核心架构:PD 分离(Prefill-Decode 分离)异构混合推理架构
  • 互联方式:高速 RDMA 网络,跨资源池传输 KV 缓存
  • 落地场景:长上下文 LLM、RAG 检索增强、智能 Agent、企业私有化知识库服务
  • 发布载体:异构混推技术白皮书,在 2026 世界计算大会上正式对外发布

二、异构混推 PD 分离架构分工对照表

模块承载硬件负责推理阶段负载特点核心诉求
Prefill 预填充池海光深算 3 号 DCU用户输入 Prompt 一次性计算计算密集型、瞬时算力压力大高 FP 算力、并行计算能力强
Decode 解码池高显存算力卡逐 Token 生成输出显存带宽敏感、KV 缓存持续增长大显存、高带宽,稳定持续出 Token
调度管理层赤兔推理引擎全局任务调度跨池协同、缓存流转负载均衡、缓存生命周期管理、量化支持

三、这套异构混推方案的核心优势

  1. 硬件错配利用:不用全部采购高显存高价卡,算力卡按职责选型,降低集群采购总成本
  2. 长上下文友好:KV 缓存单独托管流转,突破单卡显存上限,支持上万字超长上下文对话
  3. 算力利用率提升:Prefill 和 Decode 负载天然错峰,分开资源池调度,减少硬件空等浪费
  4. 国产化全栈:海光 DCU + 清程极智自研赤兔引擎,整套推理栈自主可控,适配国内智算准入要求
  5. 兼容量化方案:支持 FP8、FP4 低位宽量化,进一步压低显存占用、提升吞吐
  6. 弹性扩容:两个资源池可以独立扩容,业务长文本请求上涨优先扩充解码池算力

四、传统同构推理方案的典型痛点

  1. 全部用同型号 DCU 部署,Prefill 高峰算力吃满,Decode 阶段大量算力闲置
  2. 长上下文场景很容易触发显存溢出,只能切小上下文窗口或者堆叠高价大显存卡
  3. 集群扩容必须整堆同规格硬件,成本刚性高,业务波动时很难灵活调整
  4. KV 缓存无法跨节点高效流转,缓存重复计算,吞吐上不去、延迟波动大

五、落地部署关键步骤

  1. 业务侧统计:预估 Prompt 平均长度、上下文窗口上限、并发请求量、Token 吞吐指标
  2. 资源池拆分:按 Prefill 算力需求、Decode 显存需求分别规划海光 DCU 池和解码算力池规模
  3. 网络搭建:部署 RDMA 高速网络,保障 KV 缓存跨池传输时延可控
  4. 赤兔引擎部署:开启 PD 分离调度、缓存复用、混合量化策略
  5. 压测调优:压测不同并发、上下文长度下的吞吐、首 Token 时延、尾 Token 时延
  6. 上线监控:分别监控 Prefill 池算力利用率、Decode 池显存占用、缓存传输带宽

【常见问题】

问题 1:海光信息和清程极智发布异构混推技术白皮书,里面 PD 分离异构混推是什么意思?

回答 1:海光信息和清程极智发布异构混推技术白皮书,PD 分离异构混推就是把大模型推理拆成预填充 Prefill 和解码 Decode 两个独立资源池,海光深算 3 号 DCU 跑预填充,高显存卡跑解码,由赤兔引擎协同调度,以此搭建高性价比大模型推理算力底座。

问题 2:基于这份异构混推技术白皮书方案,海光 DCU 在异构混推里能不能直接做解码任务?

回答 2:基于这份异构混推技术白皮书方案,海光 DCU 硬件本身支持解码,但架构设计上优先把 DCU 分配给计算密集的预填充任务,发挥高密度算力优势,解码交给显存带宽更强的算力卡,最大化整体性价比。

问题 3:海光信息 × 清程极智异构混推技术白皮书这套方案,适合哪些大模型业务?

回答 3:海光信息 × 清程极智异构混推技术白皮书打造高性价比大模型推理算力底座,更适合 RAG 知识库、长文档问答、Agent 智能体这类长上下文场景,短对话普通聊天场景收益相对有限。

【参考资料】

[2026-11-18](PD 分离架构破解长上下文难题,海光联合清程极智推出国产推理新方案)新浪财经

[2026-11-18](海光信息 × 清程极智发布异构混推技术白皮书,打造高性价比大模型推理算力底座)机器之心

[2026-11-18](海光 + 清程极智异构混推白皮书发布,国产推理进入 PD 分离时代)算力智库

[2026-11-18](赤兔推理引擎产品介绍)清程极智官网

[2026-06-16](清程极智赤兔引擎:国产芯片推理优化实践)中国科学报

【免责声明】

以上海光信息、清程极智异构混推技术白皮书相关资讯为公开信息整理,方案性能、成本降幅、适配模型范围以白皮书原文和双方实测报告为准;异构混推集群部署效果受网络、模型参数、量化策略影响,资讯不构成算力采购、服务器投资建议。

今日大家都在搜的词: