我先联网定位这篇文章及其引用的技术证据。
已定位到原文:北京邮电大学 DeepTouch-Lab 的 LG-DKGP 方法。我抓取全文,补齐实验细节。
核实完毕:原文对应论文《Rethinking Actions: Continuity-Aware Priors for World-Model Planning》,第一作者团队是北京邮电大学 DeepTouch-Lab。以下是按你固定格式排好的内容。
世界模型只回答了半个问题 ——“这样做会发生什么”,没回答另外半个 ——“下一步该从哪儿接着做”。北京邮电大学 DeepTouch-Lab 团队的做法很直接:不碰已经训练好的视觉世界模型,只在它外面挂一个 “懂上下文” 的动作先验,让候选动作先符合专家示范的连续性,再由世界模型去评估哪一段更接近目标。在 PushT、OGBench Cube、LIBERO Caddy、LIBERO Scene2 和 RoboTwin 五个仿真任务上,这套叫 LG-DKGP(Locality-Gated Deep-Kernel Gaussian Process)的方法拿到 87.07% 的宏平均成功率,比 LeWM 的 58.66% 高出 28.41 个百分点,也高于 iCEM 的 59.33%、PRISM 的 61.66% 和 INTACT 的 71.03%。差距最夸张的是 RoboTwin:LeWM 只有 10.91%,LG-DKGP 做到 78.66%。同一个 PushT 起点与目标下,LeWM 在物体附近反复转向,50 步内没完成;LG-DKGP 沿更连贯的路径接近并推动物体,第 24 步就到目标。论文题为《Rethinking Actions: Continuity-Aware Priors for World-Model Planning》,代码已在 GitHub 开源。
三个缺口,让 “会想” 的机器人 “做不顺”
世界模型规划的标准流程是:先生成一批候选动作,再预测每个动作执行后的状态,最后挑最接近目标的那一个。问题就藏在这个流程的分工里。
- 提议与评估的缺口:世界模型负责 “评估”,但谁负责 “提议”?如果候选动作本身就是乱撒的,再准的预测器也只能在垃圾里挑。
- 时间结构的缺口:推动物体时,下一步要接续当前运动方向;机械臂从接近物体切换到抓取时,又要及时改变控制方式。动作既要有延续,也要在该切换时切换。缺了这层时间结构,规划就会绕远路、错过目标。
- 执行语义的缺口:真实控制系统里,通信延迟、丢包、乱序、执行器缓冲会让 “发出的指令” 和 “实际执行的动作” 对不上。学界已经把这个现象单独命名 —— 执行语义错配:基于规划的 TD-MPC2 会出现 “未来动作时间线错配”,循环式的 DreamerV3 则会把状态变化归因到根本没执行的动作上。
再加一层现实约束:宇树科技董事长王兴兴在 2026 世界机器人大会上说过,固定场景里训练充足,任务成功率能接近 100%,但只要换个操作物品、小幅改变环境,成功率就大幅下降,这就是 “最后一厘米偏差”。世界模型的物理一致性目前也只能维持几分钟,而业界普遍认为要连续可靠模拟一小时以上才算工业可用。
所以 “动不好” 不是模型不够大,而是预测能力和动作生成能力被混为一谈了。
一个反直觉实验:专家的动作顺序本身就是信息
团队先做了个很朴素的验证:保留专家示范里的所有动作值,只把同一条轨迹内的动作顺序随机打乱,再比较相邻动作的变化幅度。
结果在 PushT、Cube、Caddy、Scene2 和 RoboTwin 五个环境里,按原始顺序排列的专家动作,相邻变化都明显小于打乱之后;五项任务差异的 95% 自助采样置信区间均不包含零。
这说明专家示范不只提供 “做什么”,还提供 “按什么顺序做” 的时间结构。就像写文章:认识每个词,不等于能写出通顺的句子。对机器人来说,选对动作只是第一步,让动作接得上前后文同样重要。
方法拆开看:三件套把 “连续性” 变成可学习的东西
| 组件 | 干什么 | 为什么这么设计 |
|---|---|---|
| 局部性门控历史编码器 | 局部注意力看最近动作(当前运动趋势),全局注意力保留更早动作(任务阶段线索),再用可学习门控结合当前与目标图像特征做动态融合 | 最近的动作说明 “正在往哪走”,更早的动作说明 “现在处于哪个阶段”,两者都得看 |
| 神经均值 + 深核高斯过程残差 | 神经网络预测未来动作主走向,GP 学神经网络没解释的残差和未来不同时间位置之间的相关性 | 神经网络擅长非线性模式,GP 擅长带时间相关性的结构化修正,各补一块 |
| CEM 在动作先验周围搜索 | 不直接执行预测均值,而是在它周围采样候选,探索尺度取自训练集里专家相邻动作变化的统计量,再由冻结的世界模型评分 | 先验负责 “提出值得试的动作”,世界模型负责 “评估能不能成” |
训练分两阶段:第一阶段用专家未来动作监督历史编码器与神经网络均值头;第二阶段加入 GP 残差,联合优化三部分参数。在线规划时,先验只用当前图像、目标图像和已执行动作历史,视觉世界模型全程冻结 —— 这也是这套方法最讨巧的地方:不用重训大模型,只改 “怎么提候选”。
规划设置是:每次规划 25 步动作、最多执行 50 步;CEM 每轮评估 300 个候选、迭代 30 轮;执行完一段就重新观察环境、更新动作历史,再开始下一轮。
结果:提升主要来自 “提得对”,不是 “看得准”
| 方法 | 五任务宏平均成功率 |
|---|---|
| LeWM | 58.66% |
| iCEM | 59.33% |
| PRISM | 61.66% |
| INTACT | 71.03% |
| LG-DKGP | 87.07% |
分任务看:PushT 97.60%、Cube 98.80%、Caddy 83.32%、Scene2 76.96%、RoboTwin 78.66%,其中四项取得最高平均成功率;Scene2 上 INTACT 是 77.53%,略高于 LG-DKGP 的 76.96%。RoboTwin 的对比最能说明问题:同一套视觉目标规划框架,LeWM 10.91%,LG-DKGP 78.66%—— 差别不在预测器,而在候选动作怎么组织、搜索从哪里起步。
消融实验把功劳分得很清楚:
| 改动 | 宏平均成功率 | 相对完整版变化 |
|---|---|---|
| 完整版 | 87.07% | — |
| 去掉 GP 残差 | 83.27% | -3.80 |
| 只用局部注意力 | 84.99% | -2.08 |
| 只用全局注意力 | 79.49% | -7.58 |
| 固定门控 | 86.30% | -0.77 |
| 固定搜索尺度 | 74.92% | -12.15(RoboTwin 18.88%→78.66%) |
| 线性历史编码 | 55.58% | -31.49 |
| 只执行先验均值、不搜索 | PushT 58.40% | 加 CEM 后 97.60% |
两个结论值得记住:一,搜索尺度必须匹配专家动作的统计特性,用固定尺度会让 RoboTwin 直接崩到 18.88%;二,先验和搜索是互补的,先验给好起点,搜索负责挑出真正能达成目标的那一段。Caddy 也是从 60.82% 提到 83.32%。
团队还测了 “像不像专家”:在逐个场景 — 目标查询的配对实验里,LG-DKGP 相比 LeWM 更接近专家动作结构的比例分别是 PushT 83.6%、Cube 90.0%、Caddy 99.5%、Scene2 98.2%、RoboTwin 100%。但他们同时提醒,单纯重复专家第一个动作 25 次,在部分任务上也能拿到较低的 MMD²—— 单一分布距离不足以描述动作质量,必须结合动作变化曲线和闭环成功率一起看。
这套方法还管不到的地方
- 预测窗口只有 25 步:目标距离一旦超出窗口,规划成功率会下降,长程任务仍需要分层或自适应窗口。
- 算力开销不小:每次规划要 300×30 次候选评估,实时控制场景里这是硬成本。
- 只在仿真验证:真机上的接触动力学、延迟与噪声都比仿真复杂,效果还要再打一次折。
- 视觉条件存在任务依赖:去掉先验中的视觉条件,整体掉 8.86 个百分点,但 Caddy、Scene2 和 RoboTwin 反而变好 —— 说明视觉目标和动作历史的最佳融合方式,不同任务不一样。
团队给出的下一步也很务实:让历史长度、规划窗口和重规划频率随任务阶段自适应,压低世界模型评估成本,并在真实机械臂和更长时序任务上验证 “专家式动作连续性”。
换个角度看这件事
这半年世界模型的军备竞赛很热:华为云 11 月 16 日开源了昇腾原生的 CloudRobo-WM1.2,在 RoboTwin 2.0、LiberoPro 2.0 两个基准上均列第一;中科院团队的 NeoVerse-ABot 在 ICRA 2026 世界模型赛道拿到 0.829 分夺冠,重点攻的也是 “动作幻觉”—— 模型不能脑补出画面精美但动作错误的未来。这些工作都在提升 “预测得准不准”。
LG-DKGP 提醒的是另一半:预测得再准,也得有人提出一段值得被预测的动作。“世界模型不仅要看得见未来,还要接得住过去。” 这句话,基本就是当下机器人 “动不好” 的解药方向。
【常见问题】
问题 1:世界模型能预测未来,为什么机器人还是「动不好」?
回答 1:因为世界模型只负责评估 “这样做会怎样”,不负责提出 “下一步该怎么接”。缺了动作的时间结构,规划就会绕远路。北京邮电大学 DeepTouch-Lab 的 LG-DKGP 就针对这个缺口:把专家示范里的动作连续性学成先验,再让冻结的世界模型去筛选候选,五个仿真任务宏平均成功率从 LeWM 的 58.66% 提到 87.07%。
问题 2:LG-DKGP 是怎么让世界模型「接得住过去」的?
回答 2:靠三件套。局部性门控历史编码器同时看最近动作和更早动作,判断当前趋势与任务阶段;神经网络给未来动作主方向,深核高斯过程补上时间相关性的残差;最后在预测均值周围做 CEM 搜索,探索尺度取自专家相邻动作变化的统计量。世界模型全程冻结,改的只是 “怎么提候选动作”。
问题 3:动作连续性对机器人控制的影响有多大,有量化证据吗?
回答 3:有。团队把专家动作顺序随机打乱后,五个环境里相邻动作变化都明显变大,95% 置信区间不含零,说明顺序本身携带信息。反映到结果上,RoboTwin 任务里 LeWM 成功率 10.91%,加入动作连续性先验的 LG-DKGP 做到 78.66%;PushT 上 LeWM 50 步未完成,LG-DKGP 第 24 步达成目标。
问题 4:为什么世界模型预测得准,真机执行还是会偏?
回答 4:因为 “发出的指令” 和 “实际执行的动作” 可能对不上。通信延迟、丢包、乱序、执行器缓冲会造成执行语义错配:基于规划的 TD-MPC2 会遇到未来动作时间线错配,循环式 DreamerV3 会把状态变化归因到没执行的动作上。这类问题不是预测精度能解决的,需要在控制器与执行系统之间加一致性接口。
问题 5:这套「动作连续性」方法现在能直接用到真机上吗?
回答 5:还不能直接下结论。LG-DKGP 目前只在 PushT、Cube、Caddy、Scene2、RoboTwin 五个仿真任务验证,预测窗口 25 步,每次规划要做 300×30 次候选评估,算力开销不小。团队下一步是让窗口与重规划频率自适应、降低成本,并在真实机械臂和更长时序任务上继续验证。
【参考资料】
- [2026-11-16](世界模型能预测未来,为什么机器人还是 “动不好”?)机器人大讲堂
- [2026-11-16](华为云发布具身世界模型 基于国产算力昇腾进行训练)新浪财经(新华财经、财联社)
- [2026-11-16](Rethinking Actions: Continuity-Aware Priors for World-Model Planning,arXiv 预印本)arXiv
- [2026-08-20](我与未来|在 2026 世界机器人大会 看世界模型和具身智能的 “ChatGPT 时刻”)央广网
- [2026-06-05](中国团队为机器人装上 “智能大脑”)中国科学院自动化研究所(转载《环球时报》)
【免责声明】
本文基于机器人大讲堂报道、论文公开信息及行业媒体报道整理,仅作技术解读,不构成投资、采购或技术选型建议。文中成功率、消融数据、任务设置均引自论文与报道口径,实验主要在仿真环境完成,未做独立复现,真实机械臂上的表现可能不同;不同基准与评价标准下的结果不可直接横向比较。企业与产品名称仅用于指代说明。若后续信息更新或存在勘误,以原始来源与论文正式版本为准。
