您的位置首页 >人工智能 >

VLM 预测性空间推理仍存在明显短板,21 款参评模型最高准确率仅 58.0%

浙江大学推出的 SpaceCast-Bench 评测基准专门用来测试 VLM 的预测性空间推理能力,一共测试 21 个主流视觉语言模型,表现最好的模型准确率只有 58.0%,而人类在这套测试集上的准确率能达到 87.2%,差距非常突出;和普通看图识别、读取画面里现成空间关系不一样,预测性空间推理需要模型在脑海里模拟场景变化,预判物体移动、遮挡、视角切换之后看不见的结果,现在绝大多数 VLM 擅长看懂画面里已经存在的信息,但很难稳定完成这种 “脑补后续空间状态” 的模拟,就算是空间方向专项优化的模型,很多成绩只接近随机猜测水平,也说明当前 VLM 还没有建立稳定的内部三维场景表征能力。

SpaceCast-Bench 评测基础信息清单

  • 评测基准:SpaceCast-Bench
  • 总样本:3862 道问题,覆盖 182 个真实场景
  • 任务分层:静态感知、局部预测、全局预测三个难度层级,一共 16 类任务
  • 参评模型数量:21 款,分为三类:9 个闭源商用模型、6 个通用开源 VLM、6 个空间专项模型
  • 最优模型得分:58.0%
  • 人类基准得分:87.2%
  • 空间专项模型平均水平:接近随机概率(约 26%)

预测性空间推理和普通空间识别的区别

能力类型任务特点当前 VLM 表现
静态空间感知图片里面信息全部可见,只读出物体位置、前后、上下关系整体较好,很多模型可以稳定答对
预测性空间推理输入一张图 + 一个动作,要推理变化之后看不到的空间结果普遍拉胯,头部模型也只有 58%

造成 VLM 预测性空间推理缺口大的核心原因

  1. 现有 VLM 主要学习图像像素和文本的关联,没有内置稳定、一致的 3D 世界物理仿真引擎,缺少心理模拟能力。
  2. 模型容易记住图像里的视觉特征,但很难维护一个持续更新的场景状态,物体发生位移、遮挡之后,内部表征很容易错乱。
  3. 很多空间微调方案只是针对固定静态空间题,对 “干预之后场景变化” 这种动态预测泛化很差。
  4. 视角切换、被遮挡物体的位置推理,非常依赖跨视图的空间记忆,而主流 VLM 缺少持久化的场景记忆模块。

研究里验证有效的提升手段

  • 接入显式 3D 几何信息、深度信息,效果比单纯生成预测图片、视频更好。
  • 增加过渡中间视角(bridge views)辅助模型串联分散的观测画面。
  • 在该基准数据集上做程序合成数据微调,示例中 Qwen3-VL-4B 从 34.0% 提升至 65.7%,跨基准也能泛化。

对落地场景带来的影响

✅ 适合现有能力:图片识别、静态空间标注、图文问答、简单画面理解。

⚠️ 短板明显场景:机器人导航、机械臂抓取规划、AR 空间交互、自动驾驶里预判遮挡物体、虚拟仿真推演。

对研究者:单纯堆模型参数很难补齐这个短板,需要在架构层面增加 3D 表征、场景状态机、物理仿真模块。

对产品落地:涉及动态空间预判的功能,不能只依赖原生 VLM 输出,最好搭配独立三维感知、SLAM、物理引擎一起使用。

【常见问题】

问题 1:在 SpaceCast-Bench 测试 VLM 预测性空间推理,21 个模型里面最高准确率是多少?

回答 1:在 SpaceCast-Bench 评测 VLM 预测性空间推理任务里,参评的 21 个模型最高准确率仅 58.0%,远低于人类 87.2% 的水平。

问题 2:VLM 的预测性空间推理,和常规静态空间识别有什么不一样?

回答 2:常规静态空间识别只读取图片上已经可见的空间关系;VLM 预测性空间推理需要根据给定画面和动作,推理场景改变之后不可见的空间结果,更考验场景模拟能力。

问题 3:专门做空间优化的 VLM,在这套预测性空间推理测试里表现更好吗?

回答 3:并没有,这批专门优化空间方向的 VLM 在预测性空间推理任务上成绩接近随机猜测,平均大概 26% 左右,效果不如头部通用闭源 VLM。

问题 4:有什么办法可以提高 VLM 的预测性空间推理准确率?

回答 4:给 VLM 接入显式 3D 深度信息、增加过渡视角辅助、使用该基准合成数据微调都可以提升 VLM 预测性空间推理的准确率。

【参考资料】

[2026-11-13](VLM 在预测性空间推理上的缺口还有多大?21 个模型,最高准确率仅 58.0%)机器之心

[2026-10-08](SpaceCast-Bench: Evaluating Predictive Spatial Reasoning in Vision-Language Models)arXiv

[2026-11-13](浙大 SpaceCast-Bench 评测:VLM 很难预判场景空间变化)Pandaily

【免责声明】

本文内容基于 SpaceCast-Bench 论文与公开 AI 评测资讯整理,VLM 在预测性空间推理上的表现仅针对该 Benchmark 的任务设定;不同评测数据集、提示词、版本会带来结果差异,内容不代表所有 VLM 产品的能力上限,不构成模型采购、机器人 / AR 项目选型建议。

今日大家都在搜的词: