您的位置首页 >人工智能 >

英伟达 Cosmos 3 开放权重发布,后可训练为实时交互式世界模拟器

我先核实英伟达 Cosmos 3 的发布信息,包括开放权重范围、模型规格,以及 “交互式世界模拟” 的具体能力。

我再读官方技术博客与交互式世界模拟页面,确认模型规格,并核对 “后训练配方” 与开源代码的位置。

英伟达把面向物理 AI 的前沿基础模型 Cosmos 3 连权重带代码一起放了出来,这次不只是 “开放一个模型”,而是开放了一整套能改、能训、能部署的工程链路 ——Nano(16B)与 Super(64B)两个尺寸的 checkpoint 挂在 Hugging Face,训练脚本、后训练配方、部署工具(NIM 微服务)和五类物理 AI 合成数据集一并开源,采用 NVIDIA 开放模型许可。更关键的是它把物理推理、世界生成、动作生成三件事收进同一个模型:用 Mixture-of-Transformers 双塔结构,Reasoner 塔是视觉语言模型负责 “看懂世界”,Generator 塔用扩散过程负责 “生成未来画面和动作序列”,开发者不用再在多个模型之间做编排。官方还给出了同一套后训练配方,把 Cosmos 3 直接改造成实时流式交互世界模型,三个成品分别对应机器人双臂操作、空间控制转 RGB、多视角自动驾驶,最高跑到 48.1 FPS、166 毫秒延迟,单张 GB300 就能推理。

Cosmos 3 是什么:一个模型管三件事

能力由哪座塔承担干什么
物理推理Reasoner 塔(视觉语言模型,自回归)理解图像、视频、文本,判断运动、物体交互与物理上下文
世界生成Generator 塔(扩散)生成物理合理的视频画面,作为 “想象出来的未来”
动作生成Generator 塔输出动作序列,支撑世界动作模型与策略学习

这种设计的直接好处是:过去世界模型、物理理解、可控场景生成分属不同模型和工作流,现在一个模型全包,Generator 塔可以独立调用 Reasoner 的结论,也可以两塔联动做引导生成。

开放到什么程度:权重、代码、数据、部署全给

  • 模型权重:Cosmos 3 Nano 与 Cosmos 3 Super 的 checkpoint 发布在 Hugging Face
  • 代码与配方:GitHub 仓库提供示例、训练代码、配置文件;包含监督微调(SFT)与面向动作的后训练配方
  • 数据集:开放五类物理 AI 合成数据 —— 具身机器人场景、物理交互场景、数字人场景、自动驾驶场景、仓储作业场景
  • 部署工具:Cosmos NIM 微服务,封装优化后的推理运行时;Reasoner NIM 已可用,Generator NIM 待发布
  • 许可:通过 NVIDIA 开放模型许可向所有人提供

这套组合的意义在于 “可复现”:拿到权重只是起点,能不能用自己的数据把模型调成自家机器人、自家产线的专用模型,靠的就是这些配方。

两个尺寸怎么选

模型参数量目标硬件适用场景
Cosmos 3 Nano16B工作站级,如 RTX PRO 6000实时机器人推理、边缘侧物理 AI 应用
Cosmos 3 Super64B数据中心,Hopper 与 Blackwell大规模合成数据生成、高难度物理推理

官方口径是 Nano 主打效率、Super 主打质量与能力上限,两者在同一架构下提供不同算力档位。

交互式世界模拟:一套配方,三个成品模型

模型模拟对象性能硬件
Cosmos3-Nano-Sim-Bimanual相机导航与机器人双臂动作48.1 FPS,166 毫秒延迟,480p单张 GB300
Cosmos3-Nano-Sim-Transfer深度、分割、边缘、模糊视频转 RGB15.85 FPS,240 毫秒延迟,640×640单张 GB200
Cosmos3-Nano-Sim-Auto多视角自动驾驶同步生成16.7 FPS,7 路 RGB+LiDAR,每路 480p16 张 GB200

三类模型共用同一套后训练配方,区别只在输入条件不同:给动作就预测动作后果,给空间控制就生成对应外观,给驾驶场景控制就输出多机位同步画面。流式方式是 “一个视频块接一个视频块” 地推,新控制指令到达时用已生成的画面作为历史上下文继续往下推。

实测数字:比同类模型强在哪

  • 对比 DreamDojo:在 AgiBot-World 与 AgiBot-GEAR 上,视频质量与参考帧 PSNR 均高于 DreamDojo 2B 与 14B
  • 空间控制精度:四类评估模态全面领先,边缘 F1 提升 59.2%,深度误差降低 26.5%(对比 Cosmos 3 GA 参考)
  • 榜单表现:VANTAGE-Bench 32B 档与 8B 档分别由 Super、Nano 领先;生成侧在 PAI-Bench、R-Bench、Physics-IQ、RoboLab 上为开源 SOTA;Artificial Analysis 的文生图与图生视频(无音频)榜单上是领先的开源模型
  • 评估方法:推出 Cosmos Human Evaluation(HUE)框架,把生成视频拆成 “单一事实的 yes/no 问题”,覆盖语义对齐、物理规律、几何推理、视觉完整性四个维度、七个物理 AI 领域,问题集也开源

值得注意的是,HUE 这套评估专门针对 “自动榜单已经饱和、分数差距看不出优劣” 的问题,用人工可验证的原子事实来打分。

部署侧:量化与推理优化都给了

优化手段作用
NVFP4 量化从 BF16 降到 4 位浮点,最高 2 倍推理加速;同时支持 BF16、FP8 选择
vLLM连续批处理、分页注意力、张量并行,提升吞吐;Nano 可配 vLLM-omni 与 Dynamo
EVS(高效视频采样)按块保留最具区分度的片段、剪掉冗余,减少送入视觉语言模型的视频 token

对想把模型搬进产线的团队来说,这几项比参数更重要 —— 同样的模型,能不能在既有 GPU 上跑到可用帧率,决定项目成不成。

对物理 AI 开发者的实际意义

  1. 训练与评估周期压缩:官方称这套能力可把物理 AI 的训练和评估周期从数月缩短到数天,靠的是用生成式 “想象” 替代部分真实世界试错
  2. 风险前移:机器人抓取失败、自动驾驶边缘场景,可以在模拟里先跑一遍,不必拿真机真车去撞
  3. 闭环收敛:世界模拟器可预测单视角或多视角世界状态,在闭环中评估结果并逐步收敛到正确行为,再扩展到不同环境、任务与条件
  4. 长尾数据:文本、图像、视频、环境声、动作都能作为输入,批量生成稀有场景的合成数据

NVIDIA

三个需要冷静看待的点

  • 帧率与分辨率是绑定关系:48.1 FPS 对应 480p、单卡 GB300;多视角自动驾驶要 16 张 GB200 才跑到 16.7 FPS,硬件门槛不低
  • 开放权重不等于免费商用:使用受 NVIDIA 开放模型许可约束,商用前需要核对条款
  • 模拟不等于真值:生成画面物理合理,不代表物理参数准确;用于训练时要配合真实数据校验,避免把 “看起来对” 当成 “真的对”

结论:Cosmos 3 这次发布的关键词不是 “又一个世界模型”,而是 “开放 + 统一 + 可改造”。开放权重、代码、数据、配方与部署工具,让物理 AI 团队第一次能在同一个模型上完成推理、生成、动作三件事;而把 Cosmos 3 后训练成实时交互模拟器的那套配方,则把 “世界模型” 从演示视频拉到了可交互的工程件 ——48.1 FPS、166 毫秒延迟已经进入可用的闭环区间。接下来真正拉开差距的,不是谁先把模型下载下来,而是谁能用自己的场景数据把它调准、调稳、调到能上产线。

【常见问题】

问题 1:英伟达 Cosmos 3 开放权重发布,开放了哪些东西?

回答 1:英伟达 Cosmos 3 开放权重发布,同时开放了 Nano 与 Super 两个尺寸的模型权重、GitHub 训练与后训练代码、五类物理 AI 合成数据集,以及 NIM 部署微服务。

问题 2:英伟达 Cosmos 3 开放权重发布,模型有哪几个尺寸?

回答 2:英伟达 Cosmos 3 开放权重发布包含两个尺寸:Cosmos 3 Nano 为 16B 参数,面向工作站实时推理;Cosmos 3 Super 为 64B 参数,面向数据中心大规模生成与推理。

问题 3:英伟达 Cosmos 3 开放权重发布,怎么支持交互式世界模拟?

回答 3:英伟达 Cosmos 3 开放权重发布后,官方提供同一套后训练配方,把 Cosmos 3 改成实时流式交互世界模型,可模拟相机导航、机器人动作与多视角驾驶场景。

问题 4:英伟达 Cosmos 3 开放权重发布,交互式模拟的性能如何?

回答 4:英伟达 Cosmos 3 开放权重发布配套的双臂操作模拟模型达 48.1 FPS、166 毫秒延迟、480p,单张 GB300 即可推理;多视角自动驾驶模型需 16 张 GB200。

问题 5:英伟达 Cosmos 3 开放权重发布,架构上有什么特别?

回答 5:英伟达 Cosmos 3 开放权重发布采用 Mixture-of-Transformers 双塔架构,Reasoner 塔做视觉语言推理,Generator 塔用扩散生成视频与动作,一个模型覆盖三类任务。

问题 6:英伟达 Cosmos 3 开放权重发布,能直接商用吗?

回答 6:英伟达 Cosmos 3 开放权重发布采用 NVIDIA 开放模型许可,可用于二次开发与部署,但商用前需核对许可条款,开放权重不等于无条件免费商用。

问题 7:英伟达 Cosmos 3 开放权重发布,对机器人训练有什么用?

回答 7:英伟达 Cosmos 3 开放权重发布后,开发者可用合成数据生成稀有场景、在闭环模拟中评估策略,把训练与评估周期从数月压缩到数天,降低真机试错成本。

【数据来源】

[2026-11-04](NVIDIA Cosmos: Physical AI Development Platform)NVIDIA 官网

[2026-10-23](Interactive World Simulation with Cosmos for Physical AI)NVIDIA Research/Cosmos Lab

[2026-10-23](Interactive World Simulation with Cosmos for Physical AI 技术报告)arXiv

[2026-06-01](NVIDIA 正式推出 Cosmos 3:面向物理 AI 的开放前沿基础模型)NVIDIA 英伟达博客

[2026-05-31](Develop Physical AI Reasoning, World, and Action Models with NVIDIA Cosmos 3)NVIDIA Technical Blog

【免责声明】

本文基于英伟达官方技术博客、Cosmos Lab 项目页、技术报告与产品页整理,模型规格、性能数据、开放范围与许可条款以英伟达官方最新发布为准;文中帧率、延迟等数据对应特定分辨率与硬件配置,实际部署表现会因环境差异变化。本文不构成任何采购或投资建议,仅供技术资讯参考。

今日大家都在搜的词: