先说结论:2026 年 11 月,RoboScience 机器科学团队发布论文《WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining》,推出全球首个原生 3D 动力学预测世界模型 WorldFlow—— 给定一张观测画面、一句语言指令和一组三维查询点,模型在同一生成过程中联合预测未来视频和目标物体的三维运动轨迹,为机器人抓取、堆叠、相对放置等操作提供更精准的物体运动预判。原因是旧路线两头受困:视频生成模型把三维运动藏在二维像素里,事后再做几何重建和跟踪会累积误差;直接预测三维轨迹又缺视觉信号、难以泛化。WorldFlow 把三维运动作为与视频并列的独立生成模态,让视觉演化和显式几何动力学互相监督。真机实验中,它的轨迹预测成功率 97.2%、端到端执行成功率 66.7%,远超对比基线。下面把技术思路、架构、数据和实验结果讲清。
一、它解决什么问题:旧路线的两头痛点
| 路线 | 做法 | 短板 |
|---|---|---|
| 视频生成世界模型 | 生成逼真未来画面,再从像素反推运动 | 三维运动隐含在 2D 像素中,需几何重建、运动跟踪,引入累积误差 |
| 直接预测 3D 轨迹 | 跳过视频,直接输出三维运动 | 缺物理世界视觉信号,不懂接触与交互,泛化能力弱 |
| WorldFlow(新) | 同一生成过程联合预测未来视频 + 查询点条件 3D 轨迹 | 视觉监督与显式几何动力学互相约束 |
二、输入输出与工作方式
- 输入:观测 RGB 帧、语言指令(如 "拿起黑色拖鞋,放到鞋架第三层")、稀疏 3D 查询点。
- 输出:未来视频帧序列 + 查询点在初始相机坐标系下的连续三维位移(flow),累加得到物体各点的移动路径与最终落点。
- 闭环位置:世界模型负责 "推演物体怎么动",下层通用操作模型再把轨迹翻译成接触点、力控信号和关节命令,形成 "推演 — 行动 — 再推演 — 再行动"。
三、技术架构要点
- 骨干:统一的 Mixture-of-Transformers(MoT),基于 NVIDIA Cosmos-Nano 框架,保留预训练 reasoner,扩展生成器联合合成视频与 3D flow。
- 3D flow token:把每个查询点每帧位移表示为连续值 token,叠加初始三维几何,并做与视频 token 网格对齐的时空位置编码。
- 联合去噪:视频与 flow token 通过双向注意力交换信息,在统一 rectified-flow 目标下共同去噪;视频提供外观、接触、遮挡线索,flow 提供空间位移。
- 两套编码互补:三维点几何编码理解空间位置与几何关系,时空位置编码把轨迹和画面区域对应起来。
四、训练数据与评测
- 训练语料:约 144 万个物体级样本,仿真与真实混合,折合约 1224 小时标准化序列(49 帧、16 FPS),统一表征、分源质控与域归一化。
- 自建基准 WorldFlowBench:1678 个评测样本、来自 11 个数据源,含 Sim7、Real3、SpatialCog(空间推理)三个评测集。
- 关键指标:
| 指标 | WorldFlow | 对比 |
|---|---|---|
| SpatialCog 平均位移误差 ADE | 0.060 m | 比最强外部基线降 54.2% |
| 较自身 flow-only 变体 | ADE 降 55.9%、FDE 降 68.5% | 证明联合视频监督的价值 |
| 真机 flow 预测成功率 | 97.2%(35/36) | 基线 μ₀ 仅 25.0%(9/36) |
| 真机端到端执行成功率 | 66.7%(24/36) | 基线 μ₀ 仅 11.1%(4/36) |
- 真机任务:12 项,覆盖抓取放置、物体堆叠、相对放置,每项三次随机试验共 36 次;抓取与控制系统保持一致,只换 flow 预测器。
五、落地定位与公司背景
- 价值范式:以物体三维运动轨迹为接口,把任务意图转成规划依据;机器人再结合自身臂展、关节约束和抓取方式规划动作,跨本体也能复用。
- 公司脉络:RoboScience(机器科学)是通用具身智能企业,核心为 Visics 通用具身大模型,云端部署,由具身世界模型和通用操作模型双引擎构成;2026 年 8 月 WRC 世界机器人大会上,行业首个公开世界模型实时可视化推理,同步首秀轮式人形机器人 REX G1,并演示 30 秒跨构型灵巧手换装。
- 边界说明:执行失败多来自抓取、轨迹优化和堆叠放置不稳,即便运动预测合理也不代表动作必然成功,模型补的是 "运动预判" 这一环。
【相关 FAQ】
问题 1:RoboScience 的 WorldFlow 为什么被称为 "全球首个原生 3D 动力学预测世界模型"?
回答 1:它首次把三维运动作为与视频并列的独立生成模态,在同一 MoT 生成过程中联合预测未来视频和查询点条件的 3D 物体轨迹,不再先出视频再跟踪反推,而是原生输出满足物理约束的 3D 动力学预测。
问题 2:WorldFlow 输入什么、输出什么,机器人怎么用它做操作?
回答 2:输入观测画面、一句语言指令和稀疏三维查询点,输出未来视频和查询点的三维移动轨迹与落点;世界模型先推演物体运动,下层操作模型再把轨迹转成接触点、力控信号和关节命令,供机器人规划抓取与放置。
问题 3:WorldFlow 在真机实验里表现如何,对比基线强多少?
回答 3:12 项抓取放置、堆叠、相对放置任务共 36 次试验,WorldFlow 轨迹预测成功率 97.2%、端到端执行成功率 66.7%,而基线 μ₀ 分别只有 25.0% 和 11.1%;SpatialCog 上 ADE 比最强外部基线降低 54.2%。
问题 4:和视频生成模型相比,WorldFlow 原生 3D 动力学预测解决了什么老问题?
回答 4:视频模型把三维运动隐含在二维像素里,事后几何重建和跟踪会累积误差;直接预测 3D 轨迹又缺视觉信号难泛化。WorldFlow 用联合视频监督约束显式 3D flow,兼顾视觉演化与几何动力学。
问题 5:WorldFlow 是不是预测准了机器人就一定能成功操作?
回答 5:不是。真机执行失败仍可能来自抓取、轨迹优化和堆叠放置不稳,WorldFlow 提供更可靠的物体运动参考,但动作成败还依赖抓取、控制等其他模块,属于操作链中的一环。
【参考资料】
- [2026-11-20](全球首个原生 3D 动力学预测世界模型,RoboScience 为机器人操作提供更精准的物体运动预测)新浪财经(机器之心)
- [2026-11-20](全球首个原生 3D 动力学预测世界模型,RoboScience 为机器人操作提供更精准的物体运动预测)新浪财经(手机版)
- [2026-10-xx](WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining)arXiv(2610.39278)
- [2026-08-20](RoboScience 机器科学亮相 WRC 2026:行业首个云端世界模型实时可视化推理指导跨本体灵巧操作,REX G1 首秀)新华网
- [2026-05-19](General Manipulation Model — Introducing the VLOA Large Model (Part 2))RoboScience 官方
【免责声明】
本文为学术与产业资讯梳理,实验数据来自论文自报评测,WorldFlowBench 与真机结果为作者在特定任务和配置下测得,未含独立第三方复测;"全球首个" 为团队自述表述,模型能力、泛化范围与落地效果以正式发表和后续验证为准,本文不构成投资或采购建议。
