直接说结论:一组来自厂商实测的数据显示,在 64 并发 DeepSeek-V4-Flash 模型推理中,采用 Matrix(星阵正交双平面)组网后,PD 分离架构下的总吞吐达到 13,101.82 token/s,较传统 ROFT 组网提升 21.7%,首 Token 时延(TTFT)从 2403ms 降到 1216ms、降低约 50%,每输出 Token 时延(TPOT)也降低约 10%。这组数字的意义不在于证明某一种拓扑 "绝对最快",而在于说明:PD 分离把预填充(Prefill)和解码(Decode)拆到不同节点后,KV Cache 传输变成突发性、非对称的大象流,网络拓扑本身就成了可量化的性能杠杆,传统 ECMP 哈希负载均衡会在这种流量下出现 "总带宽很宽、单条链路挤爆" 的局部拥塞。整个逻辑链是:先理解 PD 分离为什么让网络变难,再看 Matrix 用什么拓扑绕开拥塞,最后用实测三组数据和边界条件判断它适不适合你的场景。需要强调,上述为星融元 Asterfusion 在自有测试环境下的对比结果,不是通用行业基准。
一、先搞懂:PD 分离为什么让 AI 推理网络 "堵车"
PD 分离(Prefill-Decode Disaggregation)把一次大模型推理拆成两个阶段:
- Prefill(预填充):一次性读完提示词、计算注意力,算力密集,产出 KV Cache。
- Decode(解码):逐 Token 生成回复,访存密集,每生成一个 Token 都要读取对应的 KV Cache。
两阶段分置到不同 GPU 节点后,KV Cache 的源和目的由调度器动态决定,单次传输量从几 MB 到几十 GB 动态跳动,而且对首 Token 时延(TTFT)的尾延迟极度敏感。训练场景的 All-Reduce、All-to-All 是对称、可预测的固定节奏流量,这套模型到推理场景就失效了。
传统 Fat-Tree / ROFT 架构靠 ECMP 逐流哈希做负载均衡,问题有两层:
| 问题 | 表现 |
|---|---|
| 哈希极化 | 多条大象级 KV Cache 流被哈希到同一条成员链路,总带宽充裕却局部拥塞 |
| 结构性拥塞 | ROFT 为训练对称流量设计,跨 Leaf 的 KV 传输要经 Spine 汇聚,三跳转发叠加动态流量,尾时延压不下来 |
二、Matrix 架构做了什么
Matrix(星阵正交双平面)的核心动作是去掉 Spine 层、用 A/B 双平面完全二部图互联:
- Leaf 交换机均分为 A、B 两组,两组之间任意 A↔任意 B 直连,构成完全二部图全互联。
- 网卡双端口分别接入两个平面,全网任意 GPU 之间恒定两跳。
- A 平面(多轨)把同槽位 GPU 分散到不同 Leaf,B 平面(单轨)连续编号 GPU 集中接入,这种 "正交对偶分区" 让流量在跨平面链路中天然散开,拓扑本身做负载均衡,而不是靠上层协议补救。
对 PD 分离的直接收益:任意 Prefill 节点到任意 Decode 节点的 KV Cache 路径最短且唯一,没有 Spine 瓶颈,也没有 ECMP 哈希冲突。
三、实测数据(厂商测试环境)
测试环境:800G RoCE 交换机(64×800G/128×400G,AsterNOS),4 节点 32 卡国产 GPU,每节点 4 块双口 200G 网卡,DeepSeek-V4-Flash,2P2D 部署。
1. E2E 转发(ib_write_bw,RoCE)
| 组网 | 测得带宽 | 对照基线 |
|---|---|---|
| Matrix | 390.63 Gb/s | 背靠背 390.62 Gb/s |
| ROFT | 392.06 Gb/s | 跨交换机 392.05 Gb/s |
两者都基本贴住各自基线,说明转发层没有被拓扑额外损耗。
2. 集合通信(8G message,总线带宽 BusBW)
调优前 Matrix 与 ROFT 基本持平;针对性调优后 All-Reduce 提升约 6.4%,AllGather、ReduceScatter、Broadcast 等同步抬升。
3. DeepSeek-V4-Flash 推理(16/32/64 并发)
| 并发 | 指标 | ROFT | Matrix |
|---|---|---|---|
| 64 | 总吞吐 | 10,765.62 token/s | 13,101.82 token/s(+21.7%) |
| 64 | TTFT | 2403.08ms | 1215.97ms(约 -50%) |
| 64 | TPOT | 19.14ms | 17.34ms(约 -10%) |
| 32 | 总吞吐 | 6,714.27 token/s | 8,369.02 token/s |
| 32 | TTFT | 1,327.98ms | 853.88ms |
| 16 | 总吞吐 | 4,366.97 token/s | 4,825.18 token/s |
此外厂商称,按方案配置对比,Matrix 组网的网络硬件成本和整体功耗可降低约 30%,具体收益以实际部署测算为准。
四、适用边界与选型要点
- 受益场景:Prefill 重、KV Cache 传输量大、并发高、对 TTFT 尾延迟敏感的 PD 分离推理集群。
- 不是万能解:E2E 转发和集合通信上 Matrix 与 ROFT 基本打平,优势集中在 KV Cache 搬运这条关键路径;小集群、低并发或训练为主的场景,收益不明显。
- 前提条件:网卡双端口、RoCE 无损网络、双平面布线与正交分区规划要配套,不能只换拓扑不改布线。
- 横向背景:PD 分离本身是业界主流方向,DeepSeek DualPath、阿里云 FlowKV、NVIDIA EPD 解耦都在解决两阶段耦合与 KV 传输问题;不同方案的收益需在自有硬件和业务负载下复测。
【常见问题】
问题 1:PD 分离是什么,为什么它会让 AI 推理的网络性能成为瓶颈?
回答 1:PD 分离就是把大模型推理的 Prefill(预填充)和 Decode(解码)两阶段拆到不同节点执行;拆开后 KV Cache 需要在节点间动态搬运,流量突发、非对称、单流可达几十 GB,传统 ECMP 哈希容易把多条大象流挤到同一条链路,所以 AI 推理网络的吞吐和 TTFT 直接受拓扑影响。
问题 2:PD 分离 AI 推理中 Matrix 组网实测吞吐提升 21.7%、TTFT 降低约 50% 是怎么测出来的?
回答 1:这是星融元在自有测试环境(4 节点 32 卡国产 GPU、DeepSeek-V4-Flash、2P2D、64 并发)下对比 Matrix 与 ROFT 组网得到的结果:总吞吐 13,101.82 token/s、较 ROFT 提升 21.7%,TTFT 从 2403ms 降到 1216ms、约降 50%,属于厂商自测数据,不是通用基准。
问题 3:Matrix 组网靠什么在 PD 分离推理里拿到 21.7% 的吞吐提升?
回答 1:Matrix 去掉 Spine 层,用 A/B 双平面完全二部图让任意 Prefill 到 Decode 节点恒定两跳直连,再用正交对偶分区从拓扑层分散流量,避开 ECMP 哈希极化和 Spine 结构性拥塞,KV Cache 路径最短唯一,这是 PD 分离 AI 推理吞吐提升的直接原因。
问题 4:TTFT 降低约 50% 意味着什么,TPOT 为什么只降约 10%?
回答 1:TTFT 是首 Token 时延,PD 分离下它主要受 KV Cache 搬运和排队影响,Matrix 消掉拥塞后从 2403ms 降到 1216ms;TPOT 是每输出 Token 时延,主要由解码计算和访存决定,网络改善空间有限,所以只降约 10%。
问题 5:这套 PD 分离 + Matrix 方案在任何 AI 推理集群都能拿到 21.7% 提升吗?
回答 1:不能。21.7% 是特定硬件、模型、并发和负载下的对比值;E2E 转发和集合通信上 Matrix 与 ROFT 基本持平,收益集中在 KV Cache 搬运路径,小集群、低并发或训练为主的场景需要在自有环境复测,不能直接套用比例。
问题 6:PD 分离 AI 推理除了组网拓扑,还有哪些影响吞吐和 TTFT 的优化手段?
回答 1:除了网络拓扑,还有动态 P/D 配比调度、长度感知请求调度、KV Cache 压缩与高效传输、分层预填充、投机采样等;Matrix 解决的是 PD 分离里 KV Cache 搬运的结构性拥塞,和这些计算侧优化是互补关系。
【数据来源】
[2026-11-16](PD 分离下的 AI 推理组网架构:Matrix 实测数据与性能解析)腾讯云开发者社区(星融元 Asterfusion)
[2026-11-16](PD 分离 AI 推理吞吐提升 21.7%,TTFT 降低约 50%)搜狐网
[2026-09-09](何时使用 "编码 - 预填充 - 解码" 解耦技术来加速多模态模型服务)NVIDIA 开发者
[2026-07-03](基于昇腾环境的大语言模型推理混合并行优化)中国科学院大学学报(sciengine)
[2026-02-27](DeepSeek 发布下一代技术,北大实习生立功)36 氪
【免责声明】
本文引用的吞吐提升 21.7%、TTFT 降低约 50%、TPOT 降低约 10% 及成本功耗降低约 30% 均为设备厂商在特定测试环境下的自测对比结果,受硬件型号、模型版本、并发数、流量模型和测试方法影响,不代表通用性能承诺;实际部署收益需以自有环境复测为准,本文不构成采购或工程设计建议。
