您的位置首页 >科技要闻 >

万卡集群整体网络方案怎么选扩展能力评估与规模化案例参考

核心结论:万卡集群网络方案的选择,不能只看交换机端口和带宽,要先按业务通信模式确定网络平面、协议、拓扑和收敛比,再评估从万卡向十万卡扩展时会不会出现架构性返工。整体思路可以分成四层判断:先把计算网、存储网、业务网、管理网分开,避免训练流量和办公流量互相挤占;再在 InfiniBand 和 RoCEv2 之间选传输协议,前者时延和拥塞控制更稳、生态偏专用,后者跑在以太网上、开放多厂商、成本和运维复用性更好;拓扑层面中小规模可用 Rail-Only 单层直达,万卡以上普遍采用 Rail-Optimized 加 Spine 层的模块化堆叠;最后用收敛比、多平面高可用和负载均衡策略保证无损和可扩展。规模化案例方面,Meta 等厂商用 RoCE 后端网络支撑超大规模分布式训练,Tesla 等十万卡集群验证了以太网 RDMA 路线的可行性,国内也有国产 IB 方案在万卡、三万卡节点落地运行。选型时建议以 Group/Rail 为最小扩展单元做模块化设计,预留 Spine 扩容、端口密度和下一代速率升级空间。

一、先分清集群里的四张网络平面

网络平面核心职责特性要求
计算网(参数面)GPU 之间高性能同步通信,集群最核心网络无损、低时延、高吞吐、零丢包
存储后端网从存储节点加载数据集,支撑训练数据供给无损、高吞吐,能处理 Incast 突发流量
前端业务网用户访问、API 调用、推理服务租用允许有损,强调 Overlay 多租户和灵活管理
带外管理网设备管理、故障备用通道基础管理要求,不承载业务流量
  • 超万卡集群对计算网要求最高,核心指标是大规模、零丢包、高吞吐、高可靠
  • 各平面物理或逻辑隔离,避免训练同步流量被业务、备份等流量影响

二、传输协议选型:InfiniBand 与 RoCEv2 怎么选

对比维度InfiniBand(IB)RoCEv2(以太网上的 RDMA)
技术属性专用互联协议,原生 RDMA以太网承载 RDMA,开放标准
时延与拥塞控制转发时延短,信用流控机制成熟稳定需配合 PFC、ECN、DCQCN 等做无损调优
生态与厂商以 NVIDIA 方案为主,生态相对专用多厂商支持,可复用现有以太网组件和运维工具链
成本与开放性设备成本相对较高,生态绑定较强标准化程度高、成本更有优势,开放扩展性好
典型场景对时延、拥塞控制要求极致的训推一体化集群需要与现有以太网打通、强调开放生态和规模成本的集群
演进方向继续作为高性能专用路线全调度以太网(GSE)、超以太网联盟(UEC)等新一代以太网栈在持续演进
  • 两种路线都以 RDMA 为基础,均要求无损网络环境
  • IB 采用原生信用流控,发送前校验接收端缓冲区资源;RoCE 依赖以太网传控机制,大规模部署时 PFC 风暴、哈希冲突等问题需要专门调优

三、拓扑选型:从 Rail-Only 到 Rail-Optimized

1. Rail-Only(轨道化)架构

  • 连线规则:所有服务器的同编号网卡接入同一台 Leaf 交换机,例如 1 号网卡都接 Leaf1,2 号网卡都接 Leaf2
  • 通信路径:同轨 GPU 通信在单台 Leaf 内一跳直达,物理上隔离跨轨流量
  • 结构特点:单层组网,没有 Spine 层,交换机和光模块用量少,拥塞不易扩散
  • 适用规模:32 卡到 1024 卡左右的中小规模集群

2. Rail-Optimized(轨道优化)架构

  • 结构组成:把一组 Rail 连同 Leaf 交换机和服务器组成一个 Group 基础单元,Group 水平堆叠扩展
  • 通信路径:流量默认优先走本轨道,跨轨通信经 Leaf→Spine→Leaf 多跳转发
  • 优势:在扩展性、资源利用率和整体规模之间取得平衡,是万卡以上超大规模集群更常用的横向扩展方案
  • 内部互联:服务器内 8 张 GPU 通过 NVLink/NVSwitch 总线互联,把大部分通信留在节点内,减轻 Scale-Out 网络压力

3. Fat-Tree / Clos 架构

  • 组成:Leaf、Spine、Core 三层,以 Pod 为单位扩展
  • 特点:可实现无阻塞组网,路由算法简单,是传统数据中心成熟的对称对称冗余结构
  • 现代演进:Spine-Leaf 可看作 Fat-Tree 思想的实用简化版本,牺牲部分理论对称性换取部署灵活性和成本效益

4. 拓扑对比一览

拓扑层级跳数成本扩展性适用场景
Rail-Only单层 Leaf同轨 1 跳低中小规模32—1024 卡集群
Rail-OptimizedLeaf + Spine 两层同轨 1 跳,跨轨 3 跳中强,按 Group 堆叠千卡至万卡、十万卡
Fat-Tree/ClosLeaf/Spine/Core 三层2—5 跳中高强,按 Pod 扩展传统大规模数据中心、超大规模集群

四、扩展能力设计要点

1. 收敛比与无阻塞设计

  • 计算网 Leaf 上下行带宽建议按 1:1 收敛比设计,保证无阻塞传输
  • 收敛比越高,跨 Pod 通信可用带宽越少,有效算力损耗越大;通信局部性强时可适当放宽,跨 Pod 频繁时应尽量贴近 1:1
  • 收敛比要和超节点卡数、Group 规模联动设计,不能单独定指标

2. 多平面与高可用

  • 双平面组网:每块 GPU 网卡出两个端口,分别接入两个独立平面,避免单 ToR 单点故障
  • 非堆叠双 ToR 设计:去除设备堆叠横穿线,配合 ARP 双发和 BGP 主机路由收敛,服务器网卡无缝对接两台上行设备
  • 平面内采用两层 Clos,Spine 与 Leaf 全互联,可使用 unnumbered BGP 建立邻居,简化接口地址规划

3. 负载均衡

  • 万卡规模下负载均衡要从单级 ECMP 转向多级加动态负载感知,降低哈希冲突和 incast 影响
  • All-to-All 类流量需要充分二分带宽;AllReduce 环型 / 树型流量对超额订阅的容忍度相对更高

4. 规模预留

  • 以 Group 为最小可重复部署单元,新增集群时按标准单元水平堆叠
  • 预留 Spine 端口、光模块和布线空间,兼容从万卡向十万卡演进
  • 提前考虑 400G 向 800G 及更高速率升级的设备和机房配套

五、设备配置参考(双平面 Rail-Optimized,400G)

总 GPU 数 / 服务器数Leaf 节点数量Spine 节点数量Leaf 与 Spine 间 400G 链路数
512 / 648432
1024 / 12816816
2048 / 25632168
4096 / 51264324
  • 单 Group 内 Leaf 数量与每台服务器 GPU 数量(Rail 数量)相关;以 8 卡服务器为例,一个 Group 对应 8 条 Rail
  • 为保证 1:1 收敛比,Leaf 约一半端口接 GPU 服务器,另一半端口接 Spine
  • 实际端口数、链路数需按具体交换机型号、网卡速率和厂商规格核算

六、规模化案例参考

1. Meta:RoCE 后端专用网络

  • 为分布式 GPU 训练单独建设后端网络,与数据中心其他网络独立演进、独立运维和扩展
  • 选用 RoCE 作为节点间传输,沿用成熟 RDMA verbs 语义,训练应用迁移平滑
  • 基于以太网复用现有数据中心设计组件和工具,采用 Clos 式设计,开放标准支持多厂商
  • 路由方案随规模持续演进,针对默认 ECMP 性能不足做了专门优化

2. 超大规模以太网 RDMA 实践

  • Tesla 等十万卡集群实践证明,RoCE 已具备超大规模算力集群组网能力
  • OpenAI、微软、Meta、字节、腾讯等厂商均已建设或正在建设万卡乃至十万卡集群

3. 国产 IB 落地案例

  • scaleFabric 国产 IB 方案部署于国家超算互联网郑州核心节点,支撑三套万卡级超算集群运行
  • 公开信息显示,3 万卡规模集群从上电、组网调试到业务开通耗时约 36 小时;节点已稳定运行超 10 个月
  • 单子网可支持 11.4 万卡规模扩展,交换机转发时延约 260 纳秒,端到端通信时延约 0.9 微秒;组网成本较同规格进口 IB 方案降低 30% 以上(厂商公开数据,以实际招标和测试为准)

4. 模块化以太网 Fabric 参考

  • Cisco 参考方案:96 台 GPU 服务器、每台 8 张 GPU、单 GPU 400Gbps,采用两层 Spine-Leaf Rail-Optimized 设计
  • 全网由 24 台 Leaf 和 16 台 Spine 组成,Leaf 上行全连接 Spine,按可扩展单元(SU)模块化堆叠,新增单元即可横向扩容

七、选型落地步骤清单

  1. 梳理业务通信模式:区分 AllReduce、All-to-All、点对点流量占比和并行策略(TP/PP/DP、MoE)
  2. 确定目标规模与增长路径:首期卡数、两年内扩容上限、是否预留十万卡空间
  3. 选定网络平面划分:计算网、存储网、业务网、管理网分别规划带宽和隔离策略
  4. 协议决策:时延敏感度、现有以太网基础、运维能力、成本预算对比 IB 与 RoCEv2
  5. 拓扑决策:中小规模 Rail-Only,万卡以上 Rail-Optimized,超大规模结合 Fat-Tree/Clos 分层
  6. 收敛比与多平面规划:计算网贴近 1:1,双平面高可用,明确 Rail 和 Group 边界
  7. 设备与端口核算:按 GPU 数量、网卡速率、Rail 数推算 Leaf/Spine 数量和链路密度
  8. 无损与调优方案:RoCE 规划 PFC/ECN/DCQCN,IB 确认流控与子网管理方案
  9. 验证与运维:上线前做带宽、时延、丢包和长稳测试,配套遥测、日志和故障定位手段

【相关 FAQ】

问题 1:万卡集群整体网络方案选型时,InfiniBand 和 RoCEv2 应该怎么选?

回答 1:如果集群对时延和拥塞控制要求极致、能接受专用生态和较高成本,InfiniBand 更成熟稳定;如果希望复用现有以太网基础设施、采用开放多厂商方案并控制成本,RoCEv2 更合适,但需要认真调优 PFC、ECN、DCQCN 等无损机制。万卡集群选型时要把协议选择和拓扑、收敛比、运维能力放在一起评估,而不是单独比较设备价格。

问题 2:万卡集群网络拓扑选 Rail-Only 还是 Rail-Optimized,扩展能力有什么差别?

回答 2:Rail-Only 是单层 Leaf 组网,同轨 GPU 一跳直达,交换机和光模块用量省,适合 32—1024 卡左右的中小规模;Rail-Optimized 在 Rail 基础上组成 Group 单元,增加 Spine 层做跨轨转发,可通过水平堆叠 Group 支撑万卡乃至十万卡扩展。万卡以上集群通常优先选 Rail-Optimized,把 Spine 作为后续扩容的可叠加层。

问题 3:万卡集群网络设计中收敛比、多平面和负载均衡要注意什么?

回答 3:计算网 Leaf 上下行建议按 1:1 收敛比设计,避免网络内部引入拥塞;双平面组网让每块网卡两端口分接两个平面,消除 ToR 单点故障;负载均衡要从单级 ECMP 升级为多级加动态负载感知,降低哈希冲突和 incast 风险。收敛比要和 Group 卡数、Rail 数量联动设计,并预留向更大规模和更高速率演进的空间。

问题 4:目前有哪些可参考的万卡、超万卡规模化组网案例?

回答 4:Meta 采用 RoCE 后端专用网络,基于 Clos 设计和开放标准支撑大规模分布式训练;Tesla 等十万卡集群验证了以太网 RDMA 的超大规模可行性;国内 scaleFabric 国产 IB 方案在郑州超算互联网核心节点支撑三套万卡级集群,并公开了三万卡规模部署和单子网十万卡级扩展能力;Cisco 也给出了按可扩展单元堆叠的两层 Spine-Leaf Rail-Optimized 以太网 Fabric 参考设计。

【参考资料】

  • [2026-10-29](《智算网络设计指南:从单机八卡到千卡集群,网络架构如何演进?》)CSDN 博客
  • [2026-07-27](《构建万卡 AI 集群:一文掌握双平面大规模集群组网最佳实践》)电子发烧友网
  • [2026-07-27](《构建万卡 AI 集群:一文掌握双平面大规模集群组网最佳实践》)搜狐网(转载)
  • [2026-07-17](《Enterprise Private LLM Infrastructure: Architecture, Sizing & High-Performance Networking》)Network Bachelor
  • [2026-06-09](《解密 AI 大模型训练背后的 RoCE 智算网络架构》)腾讯云开发者社区
  • [2026-05-26](《万卡集群网络选型:国产 IB 批量出货,改写行业性价比规则》)电子工程专辑
  • [2026-05-18](《释放极致算力:AI 智算后端网络架构设计与实践指南》)星融元 Asterfusion
  • [2026-04-28](《〈数字化领航〉AI 技术专刊》)H3C
  • [2026-03-24](《Building AI/ML Data Center Fabric using VXLAN EVPN for GPUaaS》)Cisco
  • [2024-04-29](《面向超万卡集群的新型智算技术白皮书 (2024 年)》)通信世界网

【免责声明】

本文内容基于截至 2026 年 11 月 20 日的公开技术文档、厂商资料和行业案例整理,所涉拓扑结构、设备数量、链路配置、时延与成本数据均来自公开材料,不同厂商设备规格、机房条件和业务负载下的实际结果可能存在差异;文中案例数据为厂商或媒体公开口径,未经过独立复测。网络方案选型需结合自身模型并行策略、机房配套、预算和运维能力做专项设计,本文仅作技术梳理与参考,不构成采购、投标或工程实施建议,具体方案请以设备厂商正式规格书和专业网络设计评审为准。

今日大家都在搜的词: