NVIDIA Vera Rubin NVL72 在 MLPerf Endpoints v1.0 基准测试里跑出关键结果,在保证用户交互速度不低于 50token/s 的前提下,它的智能体推理每千瓦吞吐量对比 GB300 NVL72 提升超过 10 倍,核心受益于 HBM4 显存、第六代 NVLink、NVFP4 推理精度以及配套的智能体调度软件栈,专门解决 AI 智能体反复调用工具、长上下文、多轮思考带来的算力浪费、功耗高、推理成本贵的痛点。智能体任务和普通大模型对话不一样,单次任务会产生大量多轮推理、工具调用、结果校验,token 消耗量远高于传统对话,功耗和显存压力一直是规模化落地最大瓶颈,这次 Vera Rubin NVL72 的提升,直接把百万 token 推理成本压到前代的十分之一,对云厂商、AI 智能体服务商的算力成本结构影响很大。
一、Vera Rubin NVL72 硬件核心配置清单
- 单机架:72 颗 Rubin GPU + 36 颗 Vera CPU
- 显存规格:单 GPU 搭载 HBM4,整机 HBM4 容量 20.7TB,HBM 总带宽约 1580TB/s
- 互联:NVLink 6,机架内带宽 260TB/s;ConnectX-9 SuperNIC、BlueField-4 DPU
- 算力:NVFP4 推理算力 3600 PFLOPS,NVFP4 训练算力 2520 PFLOPS
- 散热:整机采用液冷方案,第三代 MGX NVL72 机架,兼容前代平滑升级
二、实现智能体推理能效 10 倍提升的核心原因
- 全新 NVFP4 推理精度
- HBM4 + 第六代 NVLink
- 智能体专属调度软件
- 整机一体化机架架构
NVFP4 专门面向大模型推理设计,在保证模型输出质量的前提下,大幅降低计算位宽带来的算力和存储开销,是能效提升最核心的底层能力。
智能体推理大量读写 KV 缓存,显存带宽、芯片间通信是瓶颈,HBM4 带宽提升、NVLink6 降低数据搬运延迟,减少反复读写带来的功耗浪费。
搭配 NVIDIA Dynamo 路由、前缀缓存、状态复用来减少重复计算,针对 Kimi K3、DeepSeek 这类智能体模型做内核优化,减少无效解码步骤。
GPU、CPU、DPU、网卡协同设计,减少单机架内部通信损耗,整机供电和散热也是围绕智能体持续推理场景优化。
三、和 GB300 NVL72 关键指标对比表
| 对比项目 | NVIDIA Vera Rubin NVL72 | NVIDIA GB300 NVL72 |
|---|---|---|
| 智能体推理每瓦吞吐量 | 基准 | 1/10(同交互延迟) |
| 百万 token 推理成本 | 约为 GB300 十分之一 | 基准 |
| 训练所需 GPU 数量(同任务) | 仅需 1/4 | 基准 |
| 显存类型 | HBM4 | HBM3e |
| 互联总线 | NVLink 6 | NVLink 5 |
四、适用场景边界说明
- 优势场景:AI 智能体、代码 Agent、企业工作流 Agent、MoE 大模型长上下文推理;
- 测试前提:MLPerf Endpoints v1.0 标准化智能体任务,固定最低交互速度 50token/s;
- 限制:10 倍是能效(每瓦吞吐量)提升,不等于原始算力直接翻 10 倍;普通静态问答推理提升幅度会低于智能体场景。
【常见问题】
问题 1:NVIDIA Vera Rubin NVL72 智能体推理能效提升超 10 倍,是不是所有大模型推理都能拿到 10 倍收益?
回答 1:不是,这个 10 倍提升是 MLPerf Endpoints v1.0 智能体工作流下的能效结果,针对带工具调用、多轮思考的 Agent 任务;普通单轮对话、短上下文推理场景,NVIDIA Vera Rubin NVL72 的提升幅度会明显小于 10 倍。
问题 2:NVIDIA Vera Rubin NVL72 的 10 倍能效,是算力提升还是功耗优化?
回答 2:属于吞吐量 / 功耗的能效比提升,也就是同等功耗下能输出更多 token,是 NVFP4 精度、HBM4、NVLink6 加上智能体缓存调度软件共同实现,不是单纯芯片原始算力翻倍。
问题 3:NVIDIA Vera Rubin NVL72 相比 GB300 NVL72,除了智能体推理能效提升,训练端有什么变化?
回答 3:在相同训练任务下,NVIDIA Vera Rubin NVL72 只需要 GB300 NVL72 四分之一数量的 GPU 就能完成训练,训练集群的硬件投入、机房功耗也可以同步下降。
问题 4:普通企业想要部署基于 NVIDIA Vera Rubin NVL72 的智能体服务,需要配套什么软件?
回答 4:需要搭配 NVIDIA Dynamo 路由、KV 缓存优化组件、对应模型优化内核,同时配合 NVIDIA AI Enterprise 软件栈,才能把 Vera Rubin NVL72 的智能体推理能效优势释放出来。
【参考资料】
[2026-11-18](英伟达 Vera Rubin NVL72 已量产出货)财联社
[2026-11-16](NVIDIA Vera Rubin NVL72 登顶 MLPerf Endpoints,智能体推理能效超 GB300 十倍)NVIDIA 官方技术博客
[2026-11-16](英伟达 Vera Rubin 在 MLPerf 基准中拿下智能体推理性能第一)NVIDIA 新闻博客
[2026-11-15](Vera Rubin NVL72 机架规格与 MGX 生态说明)Supermicro 产品白皮书
【免责声明】
本文内容基于 NVIDIA 公开 MLPerf 测试数据和官方文档整理,10 倍智能体推理能效提升为特定测试场景下的预发布基准结果,不代表所有业务场景都可以复现;实际业务性能受模型类型、上下文长度、调度策略、机房供电散热条件影响。本文仅为行业技术科普,不构成采购、算力扩容投资建议。
