您的位置首页 >科技要闻 >

NeurIPS 2026 | 视觉语言大模型不关注场景中的人类,反而靠物体大小判断谁更关键

NeurIPS 2026 一篇针对视觉语言大模型的论文得出一个很关键的结论,人和 AI 看图片判断重点的逻辑完全不一样,人类看场景会本能优先留意画面里的人,但是不管是开源还是闭源的视觉语言大模型,并不会把 “人类” 当成高优先级对象,它判断谁更关键主要看物体在画面里的像素大小,其次还会参考物体是不是在画面中心、对比度高低这些底层视觉特征,而不是理解画面里人的语义重要性。研究团队设计了对照实验,拆分了四种可能影响模型判断的线索,对比人类标注和模型输出,最后确认物体大小是造成模型和人类理解偏差最核心的因素;研究人员用反事实测试,单独调整画面里物体尺寸、位置、是否是人,观察模型描述重点的变化,验证了这个偏向尺寸的固有偏差,这个结论也提醒大家,用这类视觉语言模型做监控、场景理解、人机交互的时候,不能默认它会优先关注画面里的人。

研究对比的四种影响线索

线索类型说明模型偏好程度
物体大小物体在画面里的像素面积,用分割掩码面积计算最高,是主因
居中程度物体离画面中心远近较高
低级显著性颜色、亮度对比度等像素特征中等
是否为人类语义上判断目标是人很低,模型不优先

研究实验流程

  1. 收集大量真实场景图片,同时收集人类标注:人会优先把画面里的人物当成核心主体
  2. 选取多款主流开源、闭源视觉语言大模型做对照测试,让模型描述画面重点
  3. 通过反事实修改图片,单独调整物体大小、位置、类别,隔离变量
  4. 统计相关性,对比模型和人类的注意力差异,确认尺寸偏差是核心诱因
  5. 在论文中给出结论:视觉语言大模型缺少人类这种 “优先关注人” 的先验认知

这个偏差带来的实际风险

  1. 安防监控场景:画面里人很小、旁边有大型物体,模型可能忽略人,重点描述大件物品
  2. 机器人交互:机器人看不到人是交互主体,容易优先响应画面里大物件
  3. 图文问答、画面总结:模型容易漏掉小人物的关键动作,给出不符合人类预期的回答
  4. 自动驾驶、视觉辅助系统:存在误判重点对象的隐患

【相关 FAQ】

问题 1:NeurIPS 2026 这项研究里,视觉语言大模型为什么不靠是否是人类判断关键目标?

回答 1:NeurIPS 2026 这项研究显示,视觉语言大模型训练时没有形成人类这种优先关注人的语义先验,它更依赖像素层面的底层特征,物体大小是它判断目标重要性的首要依据。

问题 2:视觉语言大模型靠物体大小判断重点,会造成哪些实际问题?

回答 2:视觉语言大模型靠物体大小判断重点,容易忽略画面里体积小但语义重要的人,在安防、机器人交互、视觉问答场景里,出现重点识别错误、漏识人物动作的情况。

问题 3:是不是所有视觉语言大模型都存在这种看重物体大小、不优先关注人类的问题?

回答 3:NeurIPS 2026 测试里的多款开源、闭源视觉语言大模型普遍存在这个倾向,只是不同模型的偏差强弱不一样,并非个别模型独有的问题。

问题 4:有办法改善视觉语言大模型优先看物体大小、忽视人物的偏差吗?

回答 4:可以通过针对性数据微调、加入人物优先的偏好数据、增加提示词约束、注意力干预等方式缓解,但 NeurIPS 2026 论文里没有给出成熟的根治方案。

【参考资料】

[2026-11-21](NeurIPS 2026 | 视觉语言大模型不关注场景中的人类,反而靠物体大小判断谁更关键)新浪财经

[2026-11-21](Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency)arXiv

[2026-11-20](NeurIPS 2026 论文速递:视觉语言模型的注意力偏差)机器之心

[2026-11-19](视觉语言大模型认知偏差:和人类看画面重点不一样)AI 科技评论

【免责声明】

本文仅为 NeurIPS 2026 相关论文资讯整理,该研究结论基于本次实验选定的模型与测试数据集,不代表所有视觉语言大模型都有完全一致的偏差;该结论仅用于学术参考,不代表商用视觉系统的性能判定,相关模型落地风险请开发者自行评估。

今日大家都在搜的词: