您的位置首页 >机器人 >

NeurIPS 2026 | 视觉语言大模型不关注场景中的人类,反而靠物体大小判断谁更关键

NeurIPS 2026 这篇论文得出一个很反直觉的结论,现在主流视觉语言大模型判断画面里谁更重要的时候,不会优先关注场景里的人类,反而过度依赖物体像素大小、位置居中这类底层视觉特征,这也是模型视觉理解和人类感知拉开差距的核心原因。人类看图片会优先把人当成高优先级对象,会优先理解人的动作、身份、相关事件,小物体只要语义关键也会重点留意;但这批被测试的 VLMs 不一样,它们更容易被画面里占像素面积大、处在画面中心、对比度高的物体带偏,哪怕这个物体和场景主线无关。研究团队专门做了一套叫 CSS 反事实语义显著性的评测方案,不靠传统注意力图,而是把画面里单个物体删掉,看模型输出描述发生多大变化,以此客观衡量物体在模型眼里的真实权重。整套实验收集了一万六千多条人类标注样本,在 307 张自然场景图、1306 组修改后的对照图上,对多款主流视觉语言大模型做统一测试,最后统计相关性发现,模型对物体大小的偏好偏差,是造成人机理解不一致最主要的因素,相关性达到 0.613。除了大小之外,模型同时还有中心偏好、底层视觉显著性偏好,但是这两项带来的影响都比不上大小偏好。

评测方案 CSS 反事实语义显著性说明

  • 评测思路:黑盒因果消融,移除场景里某一个物体,观察模型生成描述的变化幅度,变化越大,代表这个物体在模型判断里越关键
  • 优势:不受闭源模型限制,对比注意力图、Grad-CAM 这类白盒方法,能更真实测出模型实际依赖的判断依据
  • 对比结论:传统注意力可视化结果,和 CSS 测出的物体重要性经常对不上,不能单靠注意力图判断模型重点理解什么

模型和人类的判断偏好对比清单

  1. 人类判断逻辑:优先人、优先语义关系;物体大小只是次要参考,小但关键的物体也会重点关注
  2. 视觉语言大模型判断逻辑:优先物体像素尺寸、画面中心位置、高对比视觉特征;对场景中人的存在敏感度偏低
  3. 核心偏差来源:预训练图文数据集大多把主体放在画面中间、占更大面积,模型在学习过程里慢慢把 “尺寸大 = 更重要” 固化成强先验

潜在风险场景

  • 自动驾驶:画面里行人占像素偏小,模型反而优先识别旁边大型路牌、山体,忽略行人风险
  • 安防监控:小型关键物品、远处人员容易被大尺寸干扰物掩盖
  • 图文理解、机器人交互:会出现和人理解完全相反的描述结果

【相关 FAQ】

问题 1:NeurIPS 2026 这项研究里,视觉语言大模型为什么不靠人、靠物体大小判断关键目标?

回答 1:NeurIPS 2026 这项研究指出,视觉语言大模型长期在主体居中、主体占画面更大区域的图文数据集训练,慢慢形成大小偏好,模型会把物体尺寸当成判断重要性的强线索,不像人类天生优先关注场景里的人。

问题 2:NeurIPS 2026 论文用的 CSS 反事实语义显著性,怎么衡量视觉语言大模型认为物体是否关键?

回答 2:CSS 反事实语义显著性通过移除画面里单个物体,对比视觉语言大模型前后输出描述的变化幅度,变化越大,代表模型判定这个物体越关键,属于因果类黑盒评测手段。

问题 3:视觉语言大模型靠物体大小判断关键目标这个偏差,会带来哪些实际问题?

回答 3:视觉语言大模型靠物体大小判断关键目标,会在自动驾驶、安防场景里忽略尺寸小但语义重要的行人、小件目标,也会让图文描述、机器人任务里 AI 理解和人的预期不一致。

【参考资料】

[2026-11-21](NeurIPS 2026 | 视觉语言大模型不关注场景中的人类,反而靠物体大小判断谁更关键)新浪财经

[2026-10-28](Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency)alphaXiv

[2026-05-13](Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency)arXiv

【免责声明】

本文内容基于 NeurIPS 2026 公开论文与媒体报道整理,视觉语言大模型靠物体大小判断关键目标、对场景中人不敏感是该 CSS 评测框架下观测到的统计偏差,不代表所有 VLMs 都存在同等程度问题,不同模型、提示词、任务类型会改变表现,不构成项目选型、安全系统落地的直接依据。

今日大家都在搜的词: