您的位置首页 >科技要闻 >

Cerebras 与 AMD 推出两段式推理方案,拆分 AI 推理流程优化算力利用

Cerebras 和 AMD 在 AI 推理架构上提出了新思路,把完整的大模型推理拆成前后两段分开执行,不再让单颗芯片从头到尾跑完一次推理全链路,前段负责提示词预处理、上下文处理以及 KV 缓存管理,后段负责 token 生成输出,两套硬件各司其职,搭配 Cerebras 晶圆级引擎和 AMD GPU 协同调度,能够缓解单卡显存压力,提升长上下文场景下的吞吐能力,降低大规模部署大模型推理的硬件成本,目前这套两段式推理方案主要面向企业级大模型服务场景。

一、Cerebras、AMD 选择把推理拆成两段的原因

  1. 大模型长上下文推理时,KV 缓存占用大量显存,单 GPU 很容易被缓存占满,拆分推理可以把缓存负载转移到前段专用硬件。
  2. 两类硬件的优势不一样,Cerebras 芯片擅长超大带宽、海量缓存吞吐,AMD GPU 擅长 token 生成计算,分工之后扬长避短。
  3. 原生单卡推理方案在高并发长请求场景下资源浪费严重,两段拆分调度可以提升硬件整体利用率。
  4. 满足企业客户大批量长文档、Agent 任务的推理需求,在不堆叠更多高端 GPU 的前提下提升服务并发上限。

二、单卡一体式推理 vs Cerebras+AMD 两段式推理对比表

项目传统单卡一体式推理Cerebras、AMD 两段式推理
执行方式单块芯片完成全部流程:上下文处理、KV 缓存、token 生成前段 Cerebras 负责上下文与 KV 缓存;后段 AMD GPU 负责解码生成
显存压力全部 KV 缓存都放在 GPU 显存,长文本容易爆显存缓存放在前段硬件,释放 AMD GPU 显存资源
优势场景短 prompt、低并发场景长上下文、高并发批量推理
硬件依赖通用 GPUCerebras 晶圆级引擎 + AMD GPU 协同
调度复杂度简单,单进程管理需要专门中间调度层对接两段

三、Cerebras、AMD 两段式推理部署落地清单

  1. 部署调度中间件,搭建连接 Cerebras 硬件集群和 AMD GPU 集群的转发通道。
  2. 划分推理链路:将用户输入、上下文加载、KV 缓存维护交给前段 Cerebras。
  3. 当进入 token 生成阶段,调度器把计算任务转发到后端 AMD GPU 执行解码。
  4. 配置缓存同步策略,保证两段之间 KV 状态同步一致,避免输出乱码、断句异常。
  5. 压测不同长度 prompt,调整两段之间负载配比,防止某一端成为瓶颈。
  6. 监控两段硬件的负载、延迟、吞吐指标,动态调整路由策略。

四、最终结论

Cerebras 联合 AMD 把推理拆成两段,本质是一种异构分工的推理架构,用 Cerebras 扛下沉重的 KV 缓存与上下文压力,AMD GPU 专注做 token 生成解码,专门解决长上下文推理显存不足、并发上不去的痛点。这套方案性能上限更高,但架构复杂,需要配套调度系统,更适合有高并发长文本需求的大型 AI 服务商,小规模自用推理场景使用这套方案性价比不高。

【常见问题】

问题 1:Cerebras、AMD 把推理拆成两段之后,推理延迟会不会明显变高?

回答 1:调度转发会带来少量额外开销,但是长上下文场景下,因为缓解了显存溢出、换页等待,Cerebras、AMD 两段式推理整体延迟反而优于单 GPU 方案;短 prompt 场景延迟优势不明显。

问题 2:Cerebras、AMD 两段式推理,能不能用其他品牌芯片替换其中一段?

回答 2:这套方案是 Cerebras 和 AMD 协同优化的定制方案,接口和缓存协议深度适配,直接替换其他厂商芯片很难正常跑通两段推理链路。

问题 3:Cerebras、AMD 拆分推理方案,普通开发者可以本地搭建使用吗?

回答 3:门槛很高,Cerebras 晶圆级硬件成本高昂,两段式推理还要部署专用调度组件,Cerebras、AMD 这套拆分方案主要面向企业云端推理业务,不适合个人本地部署。

【参考资料】

[2026-11-18](Cerebras 联合 AMD,将大模型推理拆分为两段异构执行)The Verge 中文

[2026-11-18](两段式推理架构原理:KV 缓存与解码分离解析)机器之心

[2026-11-17](Cerebras 与 AMD 技术合作发布会要点)HuggingFace 社区

[2026-11-16](长上下文推理显存瓶颈,异构拆分方案测评)InfoQ

[2026-11-15](AI 推理架构演进:一体式与分布式推理对比)AI 前线

【免责声明】

本文基于 Cerebras、AMD 公开的两段式推理技术方案整理;两段式推理的吞吐、延迟效果受模型大小、上下文长度、集群规模影响;该异构推理方案仍在迭代优化,落地成本较高;本文仅做技术科普,不构成算力采购、模型部署选型建议。

今日大家都在搜的词: