您的位置首页 >人工智能 >

A Survey of Vision-Language-Action Models for Robot Manipulation |视觉-语言-动作模型综述

这篇视觉 - 语言 - 动作模型综述聚焦机器人操纵任务,核心介绍 VLA 模型把视觉感知、自然语言理解、机器人动作策略整合到同一个学习框架,让机械臂可以直接接收人类自然语言指令,结合实时相机画面自主完成抓取、放置、推挤、组装等操纵任务;区别于传统机器人感知、规划、控制分开串联的流水线方案,VLA 依靠多模态对齐、模仿学习、分层规划打通从文字指令到电机控制的链路,不过也存在数据稀缺、仿真到现实迁移难、微小操纵动作精度不足、动态环境容错差等痛点,综述按架构范式、训练范式、数据集、评测基准、现存瓶颈、未来方向做了系统性归类对比,是具身智能机械臂操纵方向的重要文献梳理资料。

一、VLA 模型核心定义与对比传统机器人方案

传统操纵机器人:视觉识别、大模型语义理解、运动规划、伺服控制是独立模块,模块之间需要人工定义接口,指令句式受限,陌生物体、新场景很容易失效。

VLA 视觉 - 语言 - 动作模型:输入图像观测 + 文本指令,输出机械臂连续动作序列或者关节 / 末端位姿,模态之间在特征空间对齐,支持开放式自然语言指令。

  • 典型任务:抓取指定杯子、把盒子放进抽屉、堆叠积木、分拣零件、清理桌面杂物
  • 输入形式:单目 / 双目 RGB 图像、点云、历史时序图像、自然语言指令
  • 输出形式:末端 6D 位姿、关节角度、抓手开合、轨迹序列

二、VLA 主流架构范式(综述核心分类)

1. 单一体端到端模型(Monolithic)

一个统一 Transformer 主干同时处理视觉、文本、动作,代表如 RT-2。

  • 优势:链路简洁,对齐充分,不需要人工拆分中间步骤;
  • 劣势:改动成本高,解释性弱,微调需要大量机器人演示数据。

2. 双系统分离架构(Dual-system)

VLM 大模型负责场景理解、任务推理,独立动作策略专家模块负责生成机械臂轨迹,两者通过隐特征交互。

  • 优势:视觉语言部分可以复用成熟基础模型,控制模块单独优化;
  • 劣势:模态对齐难度更高,两个模块之间容易出现信息断层。

3. 分层规划架构(Hierarchical)

高层规划模块先拆解长任务、输出关键点、可及性图、子目标,底层策略执行精细动作。

  • 优势:任务可解释、长时序复杂操纵能力强,子模块可以分开训练;
  • 劣势:模块变多、推理链路变长,实时性下降。
架构类型可解释性训练难度长任务能力实时操纵
端到端一体 VLA低高一般较好
双系统 VLA中等中等较好中等
分层规划 VLA高中等强偏弱

三、训练数据与学习范式

  1. 遥操作演示模仿学习:人工遥控机械臂采集操纵轨迹,是当前最主流数据来源;缺点采集成本高、机型绑定。
  2. 互联网视频预训练:大量人类操作视频做对齐预训练,再用少量机器人数据微调,解决数据稀缺,但存在形态迁移鸿沟。
  3. 仿真环境生成数据:模拟器批量生成各种物体、场景、指令,优点数据量大,难点是 Sim2Real 仿真现实迁移。
  4. 交互自监督学习:机器人在环境中试错收集经验,强化学习奖励设计难度高,适合简单技能。

四、领域主要挑战(综述重点总结)

  • 模态接地问题:语言描述和视觉物体、动作之间对齐不稳定,容易理解错指代目标。
  • 操纵精度问题:VLA 擅长粗粒度抓取,拧螺丝、插销这类微小、高精密操纵成功率很低。
  • 泛化和形态迁移:在 A 机械臂训练好的模型很难直接迁移到不同尺寸、自由度的机械臂。
  • 动态扰动鲁棒性:物体滑动、遮挡、外力干扰下,动作策略容易失败。
  • 时序记忆:长步骤任务容易遗忘前期约束条件。
  • 评测基准不统一:各家数据集任务分布不一样,指标很难横向对比。

五、选型落地步骤

  1. 先确认任务复杂度:单步简单抓取优先端到端 VLA;多步骤组装、复杂收纳任务优先分层 VLA。
  2. 评估可用数据:少量演示数据优先用 VLM + 动作头双系统方案;预算充足、可以大量采集遥操作数据,选用端到端方案。
  3. 优先在仿真环境做预训练,再在真实世界少量数据微调,降低硬件损耗和采集成本。
  4. 增加时序观测窗口,给模型历史帧输入,提升动态场景稳定性。
  5. 上线前重点测试指代歧义、遮挡、物体滑动等边缘 case,增加安全限位、碰撞检测兜底。

六、总结

视觉 - 语言 - 动作 VLA 模型是机器人操纵领域的重要方向,把自然语言指令直接转化为机械臂操纵动作,打破传统机器人固定指令模板的限制;三种主流架构各有取舍,端到端简洁高效、分层架构擅长复杂长任务、双系统架构便于复用现有视觉语言基础模型。当前最大瓶颈不是模型结构,而是高质量操纵演示数据稀缺、仿真与真实世界之间的迁移鸿沟、精细操纵能力不足,后续研究方向集中在低成本数据采集、世界模型预测、自适应形态迁移、安全约束策略。

【相关 FAQ】

问题 1,视觉 - 语言 - 动作 VLA 模型,和普通视觉语言模型 VLM 在机器人操纵上有什么区别?

回答 1,VLM 只能完成看图问答、场景描述,不会输出机器人可执行动作;视觉 - 语言 - 动作 VLA 模型专门增加动作输出分支,把视觉、文本信息对齐之后直接生成机械臂操纵轨迹、关节控制指令,面向操纵控制任务。

问题 2,机器人操纵场景里,分层 VLA 架构相比端到端 VLA 有什么优势?

回答 2,分层 VLA 架构把高层任务规划和底层精细操纵拆开,规划模块输出可解释的子目标、关键点,不仅更容易调试、定位出错环节,处理多步骤连续操纵任务的能力也更强。

问题 3,Sim2Real 迁移为什么是视觉 - 语言 - 动作 VLA 机器人操纵里的一大难点?

回答 3,仿真里的物体摩擦、光照、形变、相机噪声都是简化模拟的,在仿真训练好的 VLA 模型迁移到真实世界时,微小的物理参数差异就会导致抓取、放置这类操纵动作失效。

问题 4,训练机器人操纵 VLA 模型,为什么遥操作演示数据成本很高?

回答 4,遥操作需要人工实时操控机械臂录制每一条操纵轨迹,单条样本耗时久,而且数据和机械臂型号、相机视角强绑定,很难跨机器人直接复用,因此视觉 - 语言 - 动作 VLA 机器人操纵领域数据获取门槛高。

【参考资料】

[2026-01-12](面向具身操作的视觉−语言−动作模型综述)自动化学报

[2025-08-26](Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey)arXiv

[2025-07-14](Vision Language Action Models in Robotic Manipulation: A Systematic Review)arXiv

[2024-06-10](RT-2 视觉语言动作机器人操纵基线模型介绍)Google DeepMind 技术博客

[2026-10-05](VLA 模型训练范式与仿真数据集对比)机器人研究前沿

【免责声明】

本文基于视觉 - 语言 - 动作机器人操纵综述以及公开学术资料整理;VLA 模型操纵成功率受机械臂硬件、相机布置、物体材质、环境扰动影响;仿真与真机效果存在差异,工程落地必须搭配安全防护机制;本文仅作为技术学习参考,不直接作为机器人控制方案定型依据。

今日大家都在搜的词: