DreamZero 一作 Seonghyeon Ye 在这次访谈里回顾 WAM 从论文发布到现在一整年的变化,最早团队想解决传统 VLA 模型物理运动泛化差的短板,提出 WAM 世界动作模型路线,让模型同步预测未来画面和机器人动作,靠视频预训练学到的时空物理先验提升机器人跨场景能力;上线之后 WAM 快速变成具身智能热门方向,社区跟进研究、英伟达推出 GR00T 2 沿着这条路线迭代,同时团队也发现原版 WAM 存在推理开销大、生成视频画面冗余、精细操作稳定性不足等痛点,于是开始研究 DreamFree 这类改进方案,尝试把世界建模的物理知识蒸馏进特征,推理阶段不用生成完整视频;访谈梳理完一年的进展、争议和待解决问题之后得出结论:WAM 路线已经证明视频世界模型可以给机器人策略带来更强的物理泛化能力,但数据配方、基座选型、稳定落地方案还没有收敛,接下来重点是平衡泛化能力、推理速度、实操稳定性。
一、WAM 刚推出时的核心思路
- 传统 VLA(视觉语言动作模型)擅长理解语义、识别物体,但碰到陌生物理动作、新环境的时候很容易失效,缺少对物体运动、碰撞、摩擦这类物理规律的理解。
- WAM 全称 World Action Model,也就是世界动作模型,基于视频扩散基座训练,同时预测未来视觉画面和机器人动作,用视频去学习世界怎么变化,再对齐机器人输出动作。
- DreamZero 初代版本是 14B 参数,依托 Wan 2.1-I2V 视频基座,对比同期 VLA,在陌生任务、陌生环境的零样本泛化能力提升两倍以上,还实现跨本体迁移,只用 30 分钟新机器人玩耍数据就能适配新机身。
- 初代做了大量推理优化,拿到 38 倍加速,做到 7Hz 闭环控制,满足机器人实时控制基础门槛。
二、这一年 WAM 路线发生的关键变化清单
- 路线热度快速走高:2 月 DreamZero 论文放出之后,WAM 成为具身智能主流研究分支,大量实验室跟进复现、拓展变体。
- 产业侧跟进落地:英伟达 GR00T 2 沿用 WAM 思路,融合人类视频、多机器人异构数据,分层架构,上层负责任务规划,下层 WAM 负责精细操作。
- 学界开始反思原生 WAM 短板:推理时生成完整视频像素,算力开销高,很多画面信息对动作输出是多余的。
- 衍生方案出现:DreamFree 就是典型优化方向,把世界模型学到的动力学信息蒸馏到特征空间,推理阶段跳过视频生成,保留物理先验,降低算力消耗。
- 团队分化:DreamZero 原部分成员离开英伟达创业推出 Dream-1,对外提供 WAM 路线机器人控制 API;一作 Seonghyeon Ye 没有参与 GR00T 2 开发,独立继续研究 WAM 优化方向。
三、访谈里一作提到 WAM 现存几个核心难点
- 基座选择难题:专门为视频生成优化的基座,画面渲染效果好,但不一定最适配机器人精细操作。
- 数据边界不清楚:人类视频数据收益上限在哪、力觉和触觉信息怎么融合,还没有统一结论。
- 泛化和稳定很难兼顾:WAM 更容易搞定没见过的新任务,但反复多次执行同一个操作,成功率波动大。
- 缺少标准训练配方:到底怎么配比互联网视频、人类演示、机器人实操数据,学界还没达成共识。
四、WAM 和 VLA 两条路线简单对比表
| 维度 | WAM 世界动作模型 | VLA 视觉语言动作模型 |
|---|---|---|
| 学习重心 | 视频时空、物理动力学,同步预测画面 + 动作 | 图文语义对齐,直接从观测输出动作 |
| 优势 | 陌生运动、新环境零样本泛化更强 | 语义理解强,成熟工具多、推理轻量 |
| 短板 | 推理成本偏高,原生版本需要生成视频 | 物理动力学先验弱,碰到新动作容易翻车 |
| 典型代表 | DreamZero、GR00T 2 | OpenVLA、Pi-0.5 |
五、一作对 WAM 后续方向的判断
- 不会简单淘汰视频世界建模的思路,但是不一定非要在推理时输出完整像素视频。
- 接下来重点研究:怎么把世界模型里的物理知识提取出来,用更低成本给到机器人策略。
- 要做更多关于人类数据、触觉力觉数据的对照实验,摸清数据的有效边界。
- 短期目标:在保住 WAM 泛化优势的前提下,提升重复操作成功率、降低推理延迟。
【相关 FAQ】
问题 1:DreamZero 一作聊到 WAM 这一年,WAM 和 VLA 最核心差别是什么?
回答 1:DreamZero 一作访谈里提到,WAM 也就是世界动作模型会同步预测未来画面和机器人动作,依托视频学到物理动力学;VLA 侧重语义对齐直接输出动作,WAM 在陌生物理动作泛化更强,但原生版本推理开销更大。
问题 2:DreamZero 一作提到 DreamFree,这个方案对 WAM 做了什么改动?
回答 2:DreamZero 一作介绍 DreamFree 属于 WAM 的优化变体,它把世界建模学到的物理先验蒸馏进模型表征,推理的时候不再生成完整视频帧,保留 WAM 的动力学能力,减少计算量。
问题 3:WAM 这一年发展很快,DreamZero 一作认为 WAM 现在最大瓶颈是什么?
回答 3:DreamZero 一作认为 WAM 当前最大瓶颈是没有收敛的训练配方、基座不专门适配机器人操作,泛化能力强但是重复操作稳定性差,同时人类视频数据、力觉信息的融合方案还没研究清楚。
问题 4:GR00T 2 也是 WAM 路线,DreamZero 一作有没有参与 GR00T 2 开发?
回答 4:DreamZero 一作 Seonghyeon Ye 在访谈里说明 DreamZero 属于他在英伟达期间的实习项目,实习结束后没有参与 GR00T 2 研发,只是认可 GR00T 2 沿着 WAM 路线做出的进展。
【参考资料】
[2026-11-22](和 DreamZero 一作聊聊 WAM 这一年)虎嗅网
[2026-10-22](英伟达世界模型团队创业!种子轮拿下 9000 万美元)量子位
[2026-10-20](刚刚,全球首个机器人大脑 API 开放,英伟达 DreamZero 团队创业,葛云皓任 CTO)36 氪
[2026-06-15](Pretrained to Imagine, Fine-Tuned to Act: The Rise of World-Action Models)NVIDIA Technical Blog
[2026-02-25](DreamZero: World Action Models are Zero-shot Policies)arXiv
【免责声明】
本文基于公开访谈和论文内容进行科普解读,不构成机器人算法选型、模型训练、硬件部署方案;WAM 属于快速迭代中的前沿具身智能研究方向,不同团队对 WAM 架构、训练范式理解存在差异;模型泛化效果、稳定性、推理速度受数据集、基座、硬件、控制闭环策略多重影响,落地前请自行完成实验验证。
