您的位置首页 >机器人 >

Jim Fan 高度评价英伟达 GR00T 2,依托 40 万小时人类第一视角视频训练新一代机器人世界动作模型

英伟达在 CoRL 2026 大会正式推出 GR00T 2 机器人基础模型,英伟达机器人方向负责人 Jim Fan 给出很高评价,直呼太棒了,这款模型不再是过去 VLA 视觉语言动作架构,升级成世界动作模型 WAM,核心训练素材包含 40.27 万小时人类第一视角工作视频,搭配手持演示、机器人遥操作数据,解决了之前具身机器人缺真机交互轨迹、跨机器人本体迁移难的痛点。过去训练灵巧机器人,大多靠人工遥操作一点点录制动作轨迹,采集成本极高、任务覆盖少,换一款机械手、人形机器人就要重新采集数据,很难快速学会新操作;GR00T 2 把大量普通人干活的第一视角视频当成主要学习原料,模型一边预判接下来会发生什么画面、一边输出对应的机器人动作,也就是想象物理世界变化再执行动作,依靠 X-Adapt 跨本体迁移能力,从人类动作里学规律,再迁移到不同机器人硬件上。官方测试 50 项陌生任务,零样本平均成功率 40%,1 次示范就涨到 71%,5 次示范后可以达到 95%,同时还推出轻量化 GR00T 2 Turbo 版本,能直接跑在宇树 G1 人形机器人机载 Jetson Thor 上,端侧推理延迟 124ms,整套模型、数据集、采集硬件设计计划 12 月开源。下面整理 GR00T 2 详细信息。

一、英伟达 GR00T 2 关键信息清单

  • 发布会议:CoRL 2026(奥斯汀机器人学习大会)
  • 项目负责人:Jim Fan、朱玉可
  • 模型全称:GR00T 2,世界动作模型 WAM,基于英伟达 Cosmos 搭建
  • 训练数据:402730 小时人类第一视角视频、10184 小时 UMI 手持演示、23500 小时机器人遥操作数据
  • 评测基准:50 项灵巧操作任务
  • 任务成功率:零样本 40%、1 次示范 71%、5 次示范 95%
  • 轻量化版本:GR00T 2 Turbo,适配 Jetson Thor
  • 端侧推理延迟:124ms(宇树 G1 机载运行)
  • 开源计划:2026 年 12 月开放权重、训练方案;目前 10 万小时 Human-1M 数据集已经在 Hugging Face 放出
  • 演示任务:裁标签、安装显卡、划火柴、切香蕉、擦咖啡、收拾桌面、打包爆米花等双手精细操作
  • 核心能力:X-Adapt 跨形态技能迁移、同时预测未来视频 + 机器人动作

二、GR00T 2 与上一代 GR00T(VLA 架构)对比表格

对比项GR00T 2(世界动作模型 WAM)初代 GR00T(VLA 视觉语言动作模型)
预测目标同步预测未来视频帧 + 机器人动作根据图文输入直接输出动作
主力训练数据大规模人类第一视角视频为主以机器人遥操作轨迹数据为主
跨本体迁移X-Adapt,从人类视频迁移到多种机器人迁移能力弱,对同型号机器人依赖高
数据成本人类视频获取门槛更低,降低遥操作依赖需要大量人工遥操作采集,成本昂贵
端侧版本GR00T 2 Turbo,低延迟部署无专门轻量化端侧版本
泛化上限对未知物理交互场景适配更强语义理解强,物理时序预判偏弱

三、GR00T 2 用人类视频训练机器人的工作逻辑

  1. 海量人类视频预训练:模型从大量第一视角视频里学习物体受力、接触、滑动、装配这类物理常识,理解动作和环境变化之间的因果关系
  2. 多类动作数据对齐:搭配手持夹具演示、灵巧手遥操作数据,把人类动作映射到机器人可执行的控制空间
  3. 世界模型预判:模型先想象执行动作之后画面会怎么变化,再输出对应控制指令,而不是直接盲目执行动作
  4. X-Adapt 跨本体迁移:学到的操作规律不绑定某一款机械手,可迁移到灵巧手、双臂机械臂、人形机器人等不同硬件
  5. 少量示范微调:拿到 1~5 条对应任务演示样本,就能快速把通用物理常识收敛到指定操作任务上

【常见问题】

问题 1:Jim Fan 直呼太棒了的英伟达 GR00T 2,是不是用 40 万小时人类视频训练的?

回答 1:Jim Fan 直呼太棒了的英伟达 GR00T 2,训练素材核心就是 402730 小时人类第一视角工作视频,同时叠加手持 UMI 演示、机器人遥操作数据一起完成预训练。

问题 2:英伟达 GR00T 2 作为世界动作模型,和之前 VLA 机器人模型差别在哪?

回答 2:英伟达 GR00T 2 是世界动作模型,会同时预测未来视频画面和机器人动作,依靠 40 万小时人类视频学习物理规律;老款 VLA 模型只根据图文直接输出动作,缺少对物理时序变化的预判能力。

问题 3:英伟达 GR00T 2 的 X-Adapt 能力,怎么发挥 40 万小时人类视频的价值?

回答 3:英伟达 GR00T 2 依靠 X-Adapt 跨本体迁移能力,从 40 万小时人类视频学到操作常识,不用给新机器人采集大量遥操作数据,就能把人类的操作技能迁移到不同形态机器人上。

问题 4:英伟达 GR00T 2 什么时候开源,现在可以拿到哪些配套数据?

回答 4:英伟达 GR00T 2 计划在 12 月开放模型权重、训练方案;现在已经在 Hugging Face 放出 10 万小时 Human-1M 人类视频子集,也就是 GR00T 2 训练用到的数据集其中一部分。

【参考资料】

[2026-11-10](Jim Fan 直呼太棒了!英伟达 GR00T 2 来了,用 40 万小时人类视频训练)量子位

[2026-11-09](NVIDIA 发布 GR00T 2 新一代机器人世界动作模型,CoRL 大会亮相)英伟达官方博客

[2026-11-11](英伟达 GR00T 2:从人类视频里学习灵巧操作)36 氪

[2026-11-12](GR00T 2 技术白皮书:Scaling Robot Foundation Models)NVIDIA Research

[2026-11-12](GR00T2 40 万小时人类视频预训练,跨本体迁移大幅降低机器人数据门槛)具身开发者社区

【免责声明】

本文仅为英伟达 GR00T 2 公开技术资讯整理,不构成机器人采购、模型二次开发、项目落地建议;GR00T 2 真机长期稳定性、触觉控制短板、开源协议、商用限制,以英伟达官方白皮书、开源仓库最终说明为准。

今日大家都在搜的词: