您的位置首页 >科技要闻 >

英伟达推出 AI 内存全栈协同方案 Vera Rubin,推理吞吐量最高提升 30 倍

英伟达对外发布了名为 Vera Rubin 的 AI 内存全栈协同方案,这套方案针对大模型推理过程里内存瓶颈做优化,最高可以把推理吞吐量提升 30 倍。现在大模型推理的时候,很多时候算力芯片本身还有富余,但是内存带宽、容量跟不上,数据反复搬运拖慢速度,内存已经成为限制大模型推理效率的主要短板。Vera Rubin 是一套全栈方案,不只是靠单一硬件,而是把硬件、内存架构、驱动、调度算法、模型加载策略整合在一起,优化数据调度、显存交换、内存复用逻辑,减少不必要的数据来回迁移,让 GPU 算力可以充分释放,降低大模型推理对昂贵高带宽显存的依赖,帮助企业在现有硬件基础上提升大模型服务的并发能力,降低单 Token 推理成本。

Vera Rubin 方案核心能力要点

  • 定位:AI 内存全栈协同方案,重点解决大模型推理内存带宽、容量瓶颈
  • 性能增益:推理吞吐量最高提升 30 倍,不同模型、部署环境下提升幅度存在差异
  • 优化方向:显存与系统内存协同调度、页表管理、预取策略、模型分片加载
  • 适用场景:大语言模型、长上下文模型推理,面向云厂商、自建算力集群

Vera Rubin 方案落地部署流程

  1. 环境评估:确认当前推理集群的 GPU 型号、显存配置、内存规格、部署的大模型类型
  2. 版本适配:升级配套驱动、CUDA 栈、推理框架,适配 Vera Rubin 相关组件
  3. 策略调参:开启内存协同调度开关,根据上下文长度、并发规模调整预取、换页参数
  4. 压测验证:跑标准推理测试集,统计吞吐量、延迟、显存占用,对比基线数据
  5. 上线运维:稳定后接入业务流量,持续监控内存交换频次、GPU 利用率,动态调优

【常见问题】

问题 1:英伟达发文提出 AI 内存全栈协同方案 Vera Rubin,30 倍提升是所有场景都能达到吗?

回答 1:英伟达发文提出 AI 内存全栈协同方案 Vera Rubin,最高 30 倍推理吞吐量提升是理想测试条件下的上限,实际业务中会受模型大小、上下文长度、硬件配置影响。

问题 2:英伟达 Vera Rubin 这套 AI 内存全栈协同方案,需要更换新 GPU 才能使用吗?

回答 2:英伟达发文提出 AI 内存全栈协同方案 Vera Rubin,属于软件 + 架构协同优化方案,优先适配现有英伟达 GPU,不需要强制更换全新硬件,但需要配套驱动和推理栈支持。

问题 3:英伟达 Vera Rubin AI 内存全栈协同方案,对企业大模型部署有什么价值?

回答 3:英伟达发文提出 AI 内存全栈协同方案 Vera Rubin,可以缓解显存瓶颈,在相同硬件下支撑更高并发推理,降低大模型推理服务的算力投入成本。

【数据来源】

[2026-11-06](英伟达发文提出 AI 内存全栈协同方案 Vera Rubin 推理吞吐量最高提升 30 倍)AI 科技资讯平台

[2026-11-05](英伟达发布 Vera Rubin 内存协同技术,攻克大模型推理内存瓶颈)算力行业媒体

【免责声明】

本文内容仅为技术资讯科普,性能提升数据来自官方测试环境,实际业务效果存在差异,不构成算力采购、模型部署投资建议。方案详细适配要求请以英伟达官方技术文档为准。

今日大家都在搜的词: