您的位置首页 >科技要闻 >

DriveTeach-VLA 自动驾驶 VLA 模型分步引导视觉注意力,拿下 NAVSIM+nuScenes 双榜 SOTA

现在不少自动驾驶 VLA 大模型容易出现 “看得懂文字语义,但空间定位不准、规划跑偏” 的问题,也就是大家讨论的集体失效隐患,DriveTeach-VLA 给出的解决思路不是堆更大参数,而是拆成两步教学,先教会模型识别开车时该重点看哪些交通目标,再引导它把注意力落到规划轨迹对应的画面区域,这套方案直接在 NAVSIM 闭环仿真、nuScenes 真实路测两个权威榜单拿到 SOTA 结果。传统自动驾驶 VLA 大多用文本问答数据训练,模型学会了描述画面内容,却没法稳定把注意力绑定到车辆、行人、标线这些和驾驶强相关的区域,一旦场景变复杂,就容易注意力飘走、轨迹预测出错。DriveTeach-VLA 由北航、清华 AIR、滴滴等团队联合推出,底座只用 3B 参数,整套训练流程分成三段,DVD 驾驶感知蒸馏负责筛选关键视觉目标,2D-TGP 轨迹引导提示用来做空间注意力校准,最后用 GRPO 强化学习学习输出行驶轨迹,不需要超大模型也能实现稳定规划。

DriveTeach-VLA 两大核心模块

  • DVD(驾驶感知视觉蒸馏):对应 “教它看什么”,借助目标检测框增强图像做自蒸馏,给视觉编码器注入驾驶专属先验,让模型优先锁定车辆、行人、红绿灯、车道线这类和行车相关的信号,过滤无关画面干扰。
  • 2D-TGP(二维轨迹引导提示):对应 “教它往哪看”,把专家行驶轨迹投影到图像平面,给模型明确的空间参考,让注意力跟着可行轨迹区域对齐,而不是漫无目的地扫描整张图。

训练流程清单

  1. DVD 预训练:蒸馏学习,建立驾驶相关的视觉识别能力,确定识别对象
  2. TGP 引导 SFT 监督微调:学习轨迹对应的图像空间位置,对齐注意力区域
  3. TGP 引导 GRPO 强化学习:基于前面学到的感知和空间位置,优化最终行车轨迹输出

榜单实测关键数据

  • NAVSIM(navtest):单次推理 PDMS 得分 90.4,超越 8B 参数的 ReCogDrive
  • nuScenes 数据集:3 秒轨迹 L2 误差 0.30m,碰撞率低至 0.12%
  • 项目状态:模型代码已经开源

【常见问题】

问题 1:DriveTeach-VLA 解决自动驾驶大模型集体崩溃问题靠的是什么思路?

回答 1:DriveTeach-VLA 解决自动驾驶 VLA 大模型容易规划失效的思路是分步引导注意力,先用 DVD 模块教会模型识别开车该看的交通目标,再用 2D-TGP 模块引导模型往轨迹对应的画面区域看,修正传统 VLA 空间注意力不准的短板。

问题 2:DriveTeach-VLA 在 NAVSIM+nuScenes 双榜 SOTA 的硬件参数规模大吗?

回答 2:DriveTeach-VLA 拿下 NAVSIM+nuScenes 双榜 SOTA 只用 3B 参数底座,相比同榜单其他 8B 级别模型,在更小参数量下拿到了更好的规划指标。

问题 3:DriveTeach-VLA 里 “先教它看什么,再教它往哪看” 分别对应哪个技术组件?

回答 3:DriveTeach-VLA 中 “先教它看什么” 对应 DVD 驾驶感知视觉蒸馏模块,负责筛选驾驶关键视觉目标;“再教它往哪看” 对应 2D-TGP 二维轨迹引导提示模块,用来给模型做空间注意力引导。

【参考资料】

[2026-09-24](ECCV 2026|北航 & 清华 AIR 等提出 DriveTeach-VLA:3B 模型刷榜 NAVSIM,VLA 规划新视角)我爱计算机视觉

[2026-07-02](Teaching Vision-Language-Action Models What to See and Where to Look)arXiv

[2026-07-02](DriveTeach-VLA:面向自动驾驶的视觉语言动作模型,NAVSIM 与 nuScenes 双基准 SOTA)机器之心

【免责声明】

以上内容仅基于公开论文、科技媒体信息整理,DriveTeach-VLA 目前为学术研究模型,尚未量产上车,相关指标为基准数据集测试结果,不代表真实道路自动驾驶效果,不构成自动驾驶技术选型、投资建议。

今日大家都在搜的词: