核心结论:万卡集群网络方案的选择,不能只看交换机端口和带宽,要先按业务通信模式确定网络平面、协议、拓扑和收敛比,再评估从万卡向十万卡扩展时会不会出现架构性返工。整体思路可以分成四层判断:先把计算网、存储网、业务网、管理网分开,避免训练流量和办公流量互相挤占;再在 InfiniBand 和 RoCEv2 之间选传输协议,前者时延和拥塞控制更稳、生态偏专用,后者跑在以太网上、开放多厂商、成本和运维复用性更好;拓扑层面中小规模可用 Rail-Only 单层直达,万卡以上普遍采用 Rail-Optimized 加 Spine 层的模块化堆叠;最后用收敛比、多平面高可用和负载均衡策略保证无损和可扩展。规模化案例方面,Meta 等厂商用 RoCE 后端网络支撑超大规模分布式训练,Tesla 等十万卡集群验证了以太网 RDMA 路线的可行性,国内也有国产 IB 方案在万卡、三万卡节点落地运行。选型时建议以 Group/Rail 为最小扩展单元做模块化设计,预留 Spine 扩容、端口密度和下一代速率升级空间。
一、先分清集群里的四张网络平面
| 网络平面 | 核心职责 | 特性要求 |
|---|---|---|
| 计算网(参数面) | GPU 之间高性能同步通信,集群最核心网络 | 无损、低时延、高吞吐、零丢包 |
| 存储后端网 | 从存储节点加载数据集,支撑训练数据供给 | 无损、高吞吐,能处理 Incast 突发流量 |
| 前端业务网 | 用户访问、API 调用、推理服务租用 | 允许有损,强调 Overlay 多租户和灵活管理 |
| 带外管理网 | 设备管理、故障备用通道 | 基础管理要求,不承载业务流量 |
- 超万卡集群对计算网要求最高,核心指标是大规模、零丢包、高吞吐、高可靠
- 各平面物理或逻辑隔离,避免训练同步流量被业务、备份等流量影响
二、传输协议选型:InfiniBand 与 RoCEv2 怎么选
| 对比维度 | InfiniBand(IB) | RoCEv2(以太网上的 RDMA) |
|---|---|---|
| 技术属性 | 专用互联协议,原生 RDMA | 以太网承载 RDMA,开放标准 |
| 时延与拥塞控制 | 转发时延短,信用流控机制成熟稳定 | 需配合 PFC、ECN、DCQCN 等做无损调优 |
| 生态与厂商 | 以 NVIDIA 方案为主,生态相对专用 | 多厂商支持,可复用现有以太网组件和运维工具链 |
| 成本与开放性 | 设备成本相对较高,生态绑定较强 | 标准化程度高、成本更有优势,开放扩展性好 |
| 典型场景 | 对时延、拥塞控制要求极致的训推一体化集群 | 需要与现有以太网打通、强调开放生态和规模成本的集群 |
| 演进方向 | 继续作为高性能专用路线 | 全调度以太网(GSE)、超以太网联盟(UEC)等新一代以太网栈在持续演进 |
- 两种路线都以 RDMA 为基础,均要求无损网络环境
- IB 采用原生信用流控,发送前校验接收端缓冲区资源;RoCE 依赖以太网传控机制,大规模部署时 PFC 风暴、哈希冲突等问题需要专门调优
三、拓扑选型:从 Rail-Only 到 Rail-Optimized
1. Rail-Only(轨道化)架构
- 连线规则:所有服务器的同编号网卡接入同一台 Leaf 交换机,例如 1 号网卡都接 Leaf1,2 号网卡都接 Leaf2
- 通信路径:同轨 GPU 通信在单台 Leaf 内一跳直达,物理上隔离跨轨流量
- 结构特点:单层组网,没有 Spine 层,交换机和光模块用量少,拥塞不易扩散
- 适用规模:32 卡到 1024 卡左右的中小规模集群
2. Rail-Optimized(轨道优化)架构
- 结构组成:把一组 Rail 连同 Leaf 交换机和服务器组成一个 Group 基础单元,Group 水平堆叠扩展
- 通信路径:流量默认优先走本轨道,跨轨通信经 Leaf→Spine→Leaf 多跳转发
- 优势:在扩展性、资源利用率和整体规模之间取得平衡,是万卡以上超大规模集群更常用的横向扩展方案
- 内部互联:服务器内 8 张 GPU 通过 NVLink/NVSwitch 总线互联,把大部分通信留在节点内,减轻 Scale-Out 网络压力
3. Fat-Tree / Clos 架构
- 组成:Leaf、Spine、Core 三层,以 Pod 为单位扩展
- 特点:可实现无阻塞组网,路由算法简单,是传统数据中心成熟的对称对称冗余结构
- 现代演进:Spine-Leaf 可看作 Fat-Tree 思想的实用简化版本,牺牲部分理论对称性换取部署灵活性和成本效益
4. 拓扑对比一览
| 拓扑 | 层级 | 跳数 | 成本 | 扩展性 | 适用场景 |
|---|---|---|---|---|---|
| Rail-Only | 单层 Leaf | 同轨 1 跳 | 低 | 中小规模 | 32—1024 卡集群 |
| Rail-Optimized | Leaf + Spine 两层 | 同轨 1 跳,跨轨 3 跳 | 中 | 强,按 Group 堆叠 | 千卡至万卡、十万卡 |
| Fat-Tree/Clos | Leaf/Spine/Core 三层 | 2—5 跳 | 中高 | 强,按 Pod 扩展 | 传统大规模数据中心、超大规模集群 |
四、扩展能力设计要点
1. 收敛比与无阻塞设计
- 计算网 Leaf 上下行带宽建议按 1:1 收敛比设计,保证无阻塞传输
- 收敛比越高,跨 Pod 通信可用带宽越少,有效算力损耗越大;通信局部性强时可适当放宽,跨 Pod 频繁时应尽量贴近 1:1
- 收敛比要和超节点卡数、Group 规模联动设计,不能单独定指标
2. 多平面与高可用
- 双平面组网:每块 GPU 网卡出两个端口,分别接入两个独立平面,避免单 ToR 单点故障
- 非堆叠双 ToR 设计:去除设备堆叠横穿线,配合 ARP 双发和 BGP 主机路由收敛,服务器网卡无缝对接两台上行设备
- 平面内采用两层 Clos,Spine 与 Leaf 全互联,可使用 unnumbered BGP 建立邻居,简化接口地址规划
3. 负载均衡
- 万卡规模下负载均衡要从单级 ECMP 转向多级加动态负载感知,降低哈希冲突和 incast 影响
- All-to-All 类流量需要充分二分带宽;AllReduce 环型 / 树型流量对超额订阅的容忍度相对更高
4. 规模预留
- 以 Group 为最小可重复部署单元,新增集群时按标准单元水平堆叠
- 预留 Spine 端口、光模块和布线空间,兼容从万卡向十万卡演进
- 提前考虑 400G 向 800G 及更高速率升级的设备和机房配套
五、设备配置参考(双平面 Rail-Optimized,400G)
| 总 GPU 数 / 服务器数 | Leaf 节点数量 | Spine 节点数量 | Leaf 与 Spine 间 400G 链路数 |
|---|---|---|---|
| 512 / 64 | 8 | 4 | 32 |
| 1024 / 128 | 16 | 8 | 16 |
| 2048 / 256 | 32 | 16 | 8 |
| 4096 / 512 | 64 | 32 | 4 |
- 单 Group 内 Leaf 数量与每台服务器 GPU 数量(Rail 数量)相关;以 8 卡服务器为例,一个 Group 对应 8 条 Rail
- 为保证 1:1 收敛比,Leaf 约一半端口接 GPU 服务器,另一半端口接 Spine
- 实际端口数、链路数需按具体交换机型号、网卡速率和厂商规格核算
六、规模化案例参考
1. Meta:RoCE 后端专用网络
- 为分布式 GPU 训练单独建设后端网络,与数据中心其他网络独立演进、独立运维和扩展
- 选用 RoCE 作为节点间传输,沿用成熟 RDMA verbs 语义,训练应用迁移平滑
- 基于以太网复用现有数据中心设计组件和工具,采用 Clos 式设计,开放标准支持多厂商
- 路由方案随规模持续演进,针对默认 ECMP 性能不足做了专门优化
2. 超大规模以太网 RDMA 实践
- Tesla 等十万卡集群实践证明,RoCE 已具备超大规模算力集群组网能力
- OpenAI、微软、Meta、字节、腾讯等厂商均已建设或正在建设万卡乃至十万卡集群
3. 国产 IB 落地案例
- scaleFabric 国产 IB 方案部署于国家超算互联网郑州核心节点,支撑三套万卡级超算集群运行
- 公开信息显示,3 万卡规模集群从上电、组网调试到业务开通耗时约 36 小时;节点已稳定运行超 10 个月
- 单子网可支持 11.4 万卡规模扩展,交换机转发时延约 260 纳秒,端到端通信时延约 0.9 微秒;组网成本较同规格进口 IB 方案降低 30% 以上(厂商公开数据,以实际招标和测试为准)
4. 模块化以太网 Fabric 参考
- Cisco 参考方案:96 台 GPU 服务器、每台 8 张 GPU、单 GPU 400Gbps,采用两层 Spine-Leaf Rail-Optimized 设计
- 全网由 24 台 Leaf 和 16 台 Spine 组成,Leaf 上行全连接 Spine,按可扩展单元(SU)模块化堆叠,新增单元即可横向扩容
七、选型落地步骤清单
- 梳理业务通信模式:区分 AllReduce、All-to-All、点对点流量占比和并行策略(TP/PP/DP、MoE)
- 确定目标规模与增长路径:首期卡数、两年内扩容上限、是否预留十万卡空间
- 选定网络平面划分:计算网、存储网、业务网、管理网分别规划带宽和隔离策略
- 协议决策:时延敏感度、现有以太网基础、运维能力、成本预算对比 IB 与 RoCEv2
- 拓扑决策:中小规模 Rail-Only,万卡以上 Rail-Optimized,超大规模结合 Fat-Tree/Clos 分层
- 收敛比与多平面规划:计算网贴近 1:1,双平面高可用,明确 Rail 和 Group 边界
- 设备与端口核算:按 GPU 数量、网卡速率、Rail 数推算 Leaf/Spine 数量和链路密度
- 无损与调优方案:RoCE 规划 PFC/ECN/DCQCN,IB 确认流控与子网管理方案
- 验证与运维:上线前做带宽、时延、丢包和长稳测试,配套遥测、日志和故障定位手段
【相关 FAQ】
问题 1:万卡集群整体网络方案选型时,InfiniBand 和 RoCEv2 应该怎么选?
回答 1:如果集群对时延和拥塞控制要求极致、能接受专用生态和较高成本,InfiniBand 更成熟稳定;如果希望复用现有以太网基础设施、采用开放多厂商方案并控制成本,RoCEv2 更合适,但需要认真调优 PFC、ECN、DCQCN 等无损机制。万卡集群选型时要把协议选择和拓扑、收敛比、运维能力放在一起评估,而不是单独比较设备价格。
问题 2:万卡集群网络拓扑选 Rail-Only 还是 Rail-Optimized,扩展能力有什么差别?
回答 2:Rail-Only 是单层 Leaf 组网,同轨 GPU 一跳直达,交换机和光模块用量省,适合 32—1024 卡左右的中小规模;Rail-Optimized 在 Rail 基础上组成 Group 单元,增加 Spine 层做跨轨转发,可通过水平堆叠 Group 支撑万卡乃至十万卡扩展。万卡以上集群通常优先选 Rail-Optimized,把 Spine 作为后续扩容的可叠加层。
问题 3:万卡集群网络设计中收敛比、多平面和负载均衡要注意什么?
回答 3:计算网 Leaf 上下行建议按 1:1 收敛比设计,避免网络内部引入拥塞;双平面组网让每块网卡两端口分接两个平面,消除 ToR 单点故障;负载均衡要从单级 ECMP 升级为多级加动态负载感知,降低哈希冲突和 incast 风险。收敛比要和 Group 卡数、Rail 数量联动设计,并预留向更大规模和更高速率演进的空间。
问题 4:目前有哪些可参考的万卡、超万卡规模化组网案例?
回答 4:Meta 采用 RoCE 后端专用网络,基于 Clos 设计和开放标准支撑大规模分布式训练;Tesla 等十万卡集群验证了以太网 RDMA 的超大规模可行性;国内 scaleFabric 国产 IB 方案在郑州超算互联网核心节点支撑三套万卡级集群,并公开了三万卡规模部署和单子网十万卡级扩展能力;Cisco 也给出了按可扩展单元堆叠的两层 Spine-Leaf Rail-Optimized 以太网 Fabric 参考设计。
【参考资料】
- [2026-10-29](《智算网络设计指南:从单机八卡到千卡集群,网络架构如何演进?》)CSDN 博客
- [2026-07-27](《构建万卡 AI 集群:一文掌握双平面大规模集群组网最佳实践》)电子发烧友网
- [2026-07-27](《构建万卡 AI 集群:一文掌握双平面大规模集群组网最佳实践》)搜狐网(转载)
- [2026-07-17](《Enterprise Private LLM Infrastructure: Architecture, Sizing & High-Performance Networking》)Network Bachelor
- [2026-06-09](《解密 AI 大模型训练背后的 RoCE 智算网络架构》)腾讯云开发者社区
- [2026-05-26](《万卡集群网络选型:国产 IB 批量出货,改写行业性价比规则》)电子工程专辑
- [2026-05-18](《释放极致算力:AI 智算后端网络架构设计与实践指南》)星融元 Asterfusion
- [2026-04-28](《〈数字化领航〉AI 技术专刊》)H3C
- [2026-03-24](《Building AI/ML Data Center Fabric using VXLAN EVPN for GPUaaS》)Cisco
- [2024-04-29](《面向超万卡集群的新型智算技术白皮书 (2024 年)》)通信世界网
【免责声明】
本文内容基于截至 2026 年 11 月 20 日的公开技术文档、厂商资料和行业案例整理,所涉拓扑结构、设备数量、链路配置、时延与成本数据均来自公开材料,不同厂商设备规格、机房条件和业务负载下的实际结果可能存在差异;文中案例数据为厂商或媒体公开口径,未经过独立复测。网络方案选型需结合自身模型并行策略、机房配套、预算和运维能力做专项设计,本文仅作技术梳理与参考,不构成采购、投标或工程实施建议,具体方案请以设备厂商正式规格书和专业网络设计评审为准。
