浙江大学推出的 SpaceCast-Bench 评测基准专门用来测试 VLM 的预测性空间推理能力,一共测试 21 个主流视觉语言模型,表现最好的模型准确率只有 58.0%,而人类在这套测试集上的准确率能达到 87.2%,差距非常突出;和普通看图识别、读取画面里现成空间关系不一样,预测性空间推理需要模型在脑海里模拟场景变化,预判物体移动、遮挡、视角切换之后看不见的结果,现在绝大多数 VLM 擅长看懂画面里已经存在的信息,但很难稳定完成这种 “脑补后续空间状态” 的模拟,就算是空间方向专项优化的模型,很多成绩只接近随机猜测水平,也说明当前 VLM 还没有建立稳定的内部三维场景表征能力。
SpaceCast-Bench 评测基础信息清单
- 评测基准:SpaceCast-Bench
- 总样本:3862 道问题,覆盖 182 个真实场景
- 任务分层:静态感知、局部预测、全局预测三个难度层级,一共 16 类任务
- 参评模型数量:21 款,分为三类:9 个闭源商用模型、6 个通用开源 VLM、6 个空间专项模型
- 最优模型得分:58.0%
- 人类基准得分:87.2%
- 空间专项模型平均水平:接近随机概率(约 26%)
预测性空间推理和普通空间识别的区别
| 能力类型 | 任务特点 | 当前 VLM 表现 |
|---|---|---|
| 静态空间感知 | 图片里面信息全部可见,只读出物体位置、前后、上下关系 | 整体较好,很多模型可以稳定答对 |
| 预测性空间推理 | 输入一张图 + 一个动作,要推理变化之后看不到的空间结果 | 普遍拉胯,头部模型也只有 58% |
造成 VLM 预测性空间推理缺口大的核心原因
- 现有 VLM 主要学习图像像素和文本的关联,没有内置稳定、一致的 3D 世界物理仿真引擎,缺少心理模拟能力。
- 模型容易记住图像里的视觉特征,但很难维护一个持续更新的场景状态,物体发生位移、遮挡之后,内部表征很容易错乱。
- 很多空间微调方案只是针对固定静态空间题,对 “干预之后场景变化” 这种动态预测泛化很差。
- 视角切换、被遮挡物体的位置推理,非常依赖跨视图的空间记忆,而主流 VLM 缺少持久化的场景记忆模块。
研究里验证有效的提升手段
- 接入显式 3D 几何信息、深度信息,效果比单纯生成预测图片、视频更好。
- 增加过渡中间视角(bridge views)辅助模型串联分散的观测画面。
- 在该基准数据集上做程序合成数据微调,示例中 Qwen3-VL-4B 从 34.0% 提升至 65.7%,跨基准也能泛化。
对落地场景带来的影响
✅ 适合现有能力:图片识别、静态空间标注、图文问答、简单画面理解。
⚠️ 短板明显场景:机器人导航、机械臂抓取规划、AR 空间交互、自动驾驶里预判遮挡物体、虚拟仿真推演。
对研究者:单纯堆模型参数很难补齐这个短板,需要在架构层面增加 3D 表征、场景状态机、物理仿真模块。
对产品落地:涉及动态空间预判的功能,不能只依赖原生 VLM 输出,最好搭配独立三维感知、SLAM、物理引擎一起使用。
【常见问题】
问题 1:在 SpaceCast-Bench 测试 VLM 预测性空间推理,21 个模型里面最高准确率是多少?
回答 1:在 SpaceCast-Bench 评测 VLM 预测性空间推理任务里,参评的 21 个模型最高准确率仅 58.0%,远低于人类 87.2% 的水平。
问题 2:VLM 的预测性空间推理,和常规静态空间识别有什么不一样?
回答 2:常规静态空间识别只读取图片上已经可见的空间关系;VLM 预测性空间推理需要根据给定画面和动作,推理场景改变之后不可见的空间结果,更考验场景模拟能力。
问题 3:专门做空间优化的 VLM,在这套预测性空间推理测试里表现更好吗?
回答 3:并没有,这批专门优化空间方向的 VLM 在预测性空间推理任务上成绩接近随机猜测,平均大概 26% 左右,效果不如头部通用闭源 VLM。
问题 4:有什么办法可以提高 VLM 的预测性空间推理准确率?
回答 4:给 VLM 接入显式 3D 深度信息、增加过渡视角辅助、使用该基准合成数据微调都可以提升 VLM 预测性空间推理的准确率。
【参考资料】
[2026-11-13](VLM 在预测性空间推理上的缺口还有多大?21 个模型,最高准确率仅 58.0%)机器之心
[2026-10-08](SpaceCast-Bench: Evaluating Predictive Spatial Reasoning in Vision-Language Models)arXiv
[2026-11-13](浙大 SpaceCast-Bench 评测:VLM 很难预判场景空间变化)Pandaily
【免责声明】
本文内容基于 SpaceCast-Bench 论文与公开 AI 评测资讯整理,VLM 在预测性空间推理上的表现仅针对该 Benchmark 的任务设定;不同评测数据集、提示词、版本会带来结果差异,内容不代表所有 VLM 产品的能力上限,不构成模型采购、机器人 / AR 项目选型建议。
