视觉 - 语言导航(VLN)任务就是让智能体看懂自然语言指令,在陌生 3D 仿真或者真实环境里,依靠视觉观测一步步移动到目标位置,这份综述把现有方法按架构、训练范式、记忆机制做了完整归类,同时梳理了数据集、评估指标、仿真到真机落地的鸿沟;早期 VLN 大多是端到端序列模型,很容易出现分布偏移、长路径迷路、看不到全局场景的问题,后面慢慢发展出模块化分层规划、拓扑记忆图、大模型 + 世界模型、预训练对齐等路线,想要系统掌握 VLN,先理清任务定义和评价指标,看懂四类主流方法的优缺点,再了解数据集、核心难点,最后跟进大模型时代的新方案,就能看懂论文脉络,也能在仿真环境里复现基础导航智能体。
一、视觉 - 语言导航主流方法分类表
| 方法类别 | 核心思路 | 优点 | 短板 | 代表方案 |
|---|---|---|---|---|
| 端到端模仿学习 | 拿专家轨迹做监督学习,直接从图像 + 指令输出动作 | 结构简单、上手快、基线稳定 | 协变量偏移,稍微偏离专家路线就容易跑偏 | Seq2Seq、Speaker-Follower |
| 强化学习方案 | 把导航当成马尔可夫决策,靠奖励优化策略 | 面向任务目标优化,支持自主探索 | 奖励稀疏,采样成本很高 | EnvDrop、RCM+SIL |
| 模块化分层规划 | 拆成理解指令、全局规划、局部航点执行、错误回溯多个模块 | 可解释、适合长距离导航、支持回溯纠错 | 模块之间误差会逐级传递,调参复杂 | DUET、EGP 图规划器 |
| 基础模型预训练路线 | VLN-BERT、多模态大模型、世界模型做对齐推理 | 泛化能力强,零样本、少样本可用 | 推理开销大,仿真和真机差距明显 | VLN-BERT、NavGPT、VISTAv2 |
二、VLN 常用数据集与评价指标清单
主流数据集
- R2R(Room-to-Room):最经典室内数据集,Matterport3D 场景,短路径导航,绝大多数论文基线都用它
- R4R:R2R 的扩展,路径更长、分支更多,考验长距离记忆能力
- RxR:多语言版本,支持跨语言导航指令
- VLN-CE:连续动作版本,不再是离散航点,贴近真实机器人控制
核心评价指标
- SR(Success Rate):成功率,到达目标点位的占比
- SPL(Success weighted by Path Length):按最短路径加权成功率,是 VLN 最核心指标
- TL(Trajectory Length):实际行走轨迹长度
- Oracle SR:拥有上帝视角信息的理论上限成功率
三、视觉 - 语言导航落地核心难点清单
- 跨模态对齐难题:语言描述的地标、方位词,和画面里的视觉目标没法稳定绑定,容易理解错指令
- 部分可观测性:智能体每次只能看到局部画面,缺少全局地图,长路线容易迷路、原地打转
- 仿真到现实鸿沟:仿真里指标很高,放到真实机器人上,光照、相机噪声、障碍物变化之后性能暴跌
- 数据稀缺:人工标注指令 + 轨迹成本很高,很多场景缺少标注数据
- 错误恢复能力弱:一旦走错一步,缺少回溯、纠错机制,越走越偏
四、视觉 - 语言导航研究演进步骤
- 基线阶段:Seq2Seq 架构,RNN 编码图像和文本,直接输出离散动作,建立基础任务范式
- 数据增强阶段:Speaker-Follower、EnvDrop,用说话人生成伪指令、环境丢弃来缓解过拟合
- 记忆与图规划阶段:引入拓扑图记忆、Transformer 长序列建模,支持历史观测留存、回溯
- 连续动作阶段:VLN-CE 基准出现,从离散航点转向连续控制,贴近机器人
- 大模型时代:LLM、多模态大模型做指令拆解、推理,搭配世界模型预判未来画面,零样本导航成为新方向
【相关 FAQ】
问题 1:视觉 - 语言导航方法综述里,VLN 任务到底要智能体完成什么?
回答 1:视觉 - 语言导航方法综述里定义的 VLN 任务,是智能体接收一条自然语言导航指令,依靠实时视觉观测,在未知 3D 环境自主移动,走到指令指定目标位置,过程中不能提前拿到全局地图。
问题 2:视觉 - 语言导航方法综述里,端到端模仿学习和分层模块化导航哪个更适合真机部署?
回答 2:视觉 - 语言导航方法综述里,分层模块化导航可解释性更强、自带回溯纠错逻辑,更适合真机机器人部署;端到端模仿学习结构简单,但抗偏差能力弱,仿真效果好,真机容易翻车。
问题 3:视觉 - 语言导航方法综述里,SPL 指标和 SR 指标有什么区别?
回答 3:视觉 - 语言导航方法综述里,SR 只看是否成功到达目标,SPL 会结合最短路径加权,用来区分 “绕很远才成功” 和 “贴近最优路线成功”,是 VLN 领域最看重的评价指标。
问题 4:视觉 - 语言导航方法综述里,大模型在 VLN 里主要解决哪些痛点?
回答 4:视觉 - 语言导航方法综述里,大模型主要用来做指令拆解、地标语义理解、长路径推理,提升陌生环境的泛化能力,解决传统 VLN 数据不足、语义对齐差的老问题,但仿真现实鸿沟、推理延迟依旧是待解决问题。
【参考资料】
[2026-11-22](A Survey of Vision-and-Language Navigation Methods 视觉 - 语言导航方法综述解读)阿里云开发者社区
[2026-07-22](A Comprehensive Survey and Systematic Real-World Evaluation of Embodied Vision-and-Language Navigation)arXiv
[2024-07-10](Vision-and-Language Navigation Today and Tomorrow: A Survey in the Era of Foundation Models)arXiv
[2022-03-24](Vision-and-Language Navigation: A Survey of Tasks, Methods, and Future Directions)arXiv
【免责声明】
本文是 A Survey of Vision-and-Language Navigation Methods 视觉 - 语言导航综述的技术科普解读,不构成算法工程落地标准方案;不同 VLN 数据集、仿真器、机器人硬件会带来明显性能差异;文中方法、指标、演进路线均来自相关综述论文,上线真机前需要完成仿真验证、实机调测;论文原文观点归属原作者,本文仅做整理翻译与通俗化拆解。
