AffordanceWAM 是一款可供性感知的生成式世界动作模型,它不靠生硬复刻人的手部动作,而是提取视频里物体的可供性信息,把海量无标注的人类第一视角视频转化成机器人可以学习的训练素材,打通人类视频数据和机器人控制之间的数据鸿沟,解决了机器人专用采集数据成本高、场景少、泛化能力弱的行业难题。这套模型可以同时预测画面 RGB 变化、标量可供性、可供性热力图以及机器人连续动作,在 RoboCasa、CALVIN 以及真实场景的抓取操作测试中,效果明显优于只使用 RGB 画面或者只依靠机器人自身轨迹数据训练的基准方案,在固定机器人数据量的前提下,增加可供性标注的人类视频数量,机器人任务成功率还能持续上涨。
过去机器人学习操作动作,大多只能用专门采集、打好动作标签的机器人轨迹数据,采集一套数据耗时久、价格贵,能覆盖的场景很有限。互联网上有大量人类日常操作的第一视角视频,场景丰富、数量充足,但人和机械臂外形、运动方式完全不一样,视频里只有人的动作,没有机器人对应的控制指令,直接拿去训练很容易出现动作对齐失败,这就是长期存在的人机数据鸿沟。AffordanceWAM 的解决思路就是把 “可供性” 当成人和机器人共用的交互语言,可供性简单理解就是物体哪里可以抓、可以推、可以按压,同一个物体上可交互区域对人手和机械爪是相通的,模型不再学人的手臂轨迹,而是学习物体上可交互的位置、场景后续会发生什么样的变化。
AffordanceWAM 核心输出信号对照表
| 输出信号 | 作用说明 |
|---|---|
| RGB 未来画面 | 预测接下来场景画面、物体移动变化 |
| 标量可供性 | 判断这个物体和当前任务的相关程度 |
| 可供性热力图 | 标出物体上适合执行交互、抓取的精确区域 |
| 机器人连续动作 | 输出机械臂可以直接执行的控制轨迹 |
AffordanceWAM 完整学习流程
- 输入素材分为两类,一类是大量人类第一视角操作视频,一类是少量带动作标注的机器人轨迹数据。
- 模型内部分成世界专家、动作专家两个子模块,依靠掩码联合自注意力机制做信息联动。
- 人类视频负责训练画面、标量可供性、可供性热力图这三项世界预测内容,不用提供机器人动作标签。
- 机器人轨迹数据额外补充动作监督信息,把可供性信息映射成机械臂可执行的连续动作。
- 统一流匹配目标做联合优化,完成训练后,机器人看到新的人类操作视频,就能识别交互区域、自主规划操作。
AffordanceWAM 技术特点清单
- 底层基于预训练视频扩散 Transformer 搭建,视频理解能力强
- 不需要对人类动作做重定向对齐,省去复杂动作转换步骤
- 可以持续利用公开互联网人类视频扩充训练集,降低数据成本
- 以物体为中心建模,跨形态迁移能力更好,不容易被人手外形干扰
这套以可供性为核心的方案,给机器人模仿学习开辟了新路线,不用再大量采集机器人专属数据,海量日常人类视频资源都能被利用起来,有助于提升家用、服务类机器人在陌生环境下的操作能力。
【相关 FAQ】
问题 1、AffordanceWAM 依靠可供性打通人机数据鸿沟,可供性具体指什么?
回答 1、AffordanceWAM 依靠可供性打通人机数据鸿沟,可供性代表物体具备的交互属性,简单来说就是物体哪些位置可以抓、推、按压,是人类和机器人能够共用的交互表达。
问题 2、AffordanceWAM 依靠可供性打通人机数据鸿沟,它为什么可以直接学习人类视频?
回答 2、AffordanceWAM 依靠可供性打通人机数据鸿沟,它不去复刻人手的运动轨迹,只学习物体可交互区域和场景变化,规避了人和机械臂本体形态不一样带来的动作对齐难题,所以可以直接使用无动作标签的人类视频。
问题 3、AffordanceWAM 依靠可供性打通人机数据鸿沟,模型内部包含哪些子模块?
回答 3、AffordanceWAM 依靠可供性打通人机数据鸿沟,模型包含世界专家和动作专家两个独立参数模块,依靠掩码联合自注意力完成信息交互,联合预测场景和机器人动作。
问题 4、AffordanceWAM 依靠可供性打通人机数据鸿沟,它在哪些数据集上做了验证?
回答 4、AffordanceWAM 依靠可供性打通人机数据鸿沟,在 RoboCasa、CALVIN 以及真实机器人操作场景中完成实验验证,对比基线模型取得性能提升。
【参考资料】
[2026-10-20](AffordanceWAM Uses Human Videos for Robot Manipulation)CCTest
[2026-10-18](AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation)Robotics Center
[2026-09-16](AffordanceWAM: Affordance-Aware Joint World–Action Modeling for Robot Manipulation)arXiv
【免责声明】本文内容仅为前沿机器人科研成果科普整理,AffordanceWAM 目前还处于学术研究阶段,未实现商用落地;实际机器人产品性能、量产方案请以研发团队和厂商官方发布为准,不构成产品采购、项目落地指导意见。
