您的位置首页 >人工智能 >

多模态大语言模型幻觉缓解方法综述

这篇《A Survey on Hallucination Mitigation in Multimodal Large Language Models》综述聚焦多模态大语言模型(MLLM,也常称视觉语言大模型 LVLM)的幻觉问题,核心研究目标是解决模型生成文本和图像视觉事实不一致的现象;多模态幻觉和纯文本幻觉有明显区别,根源来自图文跨模态对齐缺陷,分为不存在物体、属性错误、物体关系错乱三类。综述完整梳理幻觉成因、评测基准、四大类缓解技术路线,同时总结当前瓶颈与开放研究方向,是提升多模态大模型可靠性、支撑落地应用的重要文献。

一、多模态幻觉的定义与分类

幻觉指多模态大模型输出的文字描述和图片真实内容不匹配,综述划分三类典型幻觉:

  1. 实体幻觉:编造图片里不存在的物体、生物、物品;
  2. 属性幻觉:物体本身存在,但颜色、数量、材质、动作描述出错;
  3. 关系幻觉:实体、属性描述正确,但物体之间位置、交互、从属关系不符合图像事实。

产生幻觉的底层诱因:跨模态融合存在信息瓶颈、视觉编码器细节提取不足、语言先验过度压制视觉信号、训练图文数据存在噪声、自回归解码偏向流畅性而非事实正确性。

二、幻觉缓解四大主流技术路线(综述主线)

1. 数据层面优化(从源头降低幻觉概率)

核心思路是改善图文训练数据分布,减少模型学到错误关联。

  • 清洗、筛选图文对:过滤标注错误、图文不匹配样本;
  • 引入负样本、反事实样本:构造不存在物体、错误属性的样本,让模型学会识别错误描述;
  • 高质量视觉指令数据:增加精细标注、强对齐的视觉问答、描述样本;

优点:治本效果稳定;缺点:高质量标注成本高、大规模采集难度大。

2. 模型结构与跨模态对齐优化

改造多模态架构,强化视觉信息在模型中的话语权,削弱语言先验的强势干扰。

  • 提升视觉编码器分辨率、增强细粒度特征提取能力;
  • 优化投影层(Connector),减少视觉特征在模态转换时丢失信息;
  • 增加跨模态对齐模块、门控机制,动态控制视觉 token 和文本 token 的注意力权重;

代表工作:LLaVA 系列、InternVL、HallE-Switch 等结构改进方案。

3. 训练策略优化(主流热门方向)

在训练目标上引导模型忠于图像事实,而不是只生成通顺文字。

  • 对比学习:对齐图文特征,拉大正确描述和幻觉描述之间特征距离;
  • 偏好优化 DPO、RLAIF、RLHF:用偏好信号训练,让模型优先选择符合图像事实的输出;
  • 额外视觉监督信号:增加计数、属性检测、目标识别辅助损失;

优势:训练完成后推理阶段无额外开销;短板:需要大量偏好标注,算力消耗高。

4. 推理阶段干预(轻量化方案,无需重训模型)

推理时动态修正生成结果,成本更低、部署灵活,也是工业界常用方案。

  • 对比解码(VCD、DoLa):对比有无完整视觉输入的输出分布,抑制幻觉 token;
  • 幻觉检测 + 回溯修正:识别到可疑幻觉片段,回退到前置位置重新采样;
  • 外部校验:调用视觉检测器、OCR、知识库,对生成内容做事实核验;
  • KV 缓存、注意力调控:减少冗余视觉噪声,强化有效视觉信息的影响。

三、幻觉评测基准与指标(综述重点整理)

幻觉很难人工逐个核验,领域已经形成一批标准评测集:

  • POPE:对抗式二分类评测,判断物体是否存在;
  • CHAIR:统计文本里不存在物体的占比,经典幻觉指标;
  • MME、MMHal-Bench:综合评测实体、属性、关系三类幻觉;
  • MMBench:兼顾理解能力与幻觉风险;

评测难点:幻觉没有统一判定标准,部分模糊场景,不同标注者结论不一致。

四、现存核心挑战

  1. 语言先验压制视觉信号:模型依靠文本预训练知识编造内容,忽略图片信息;
  2. 细粒度对齐困难:颜色、数量、微小交互这类细节,跨模态对齐难度远高于粗粒度物体识别;
  3. 幻觉连锁传播:一处幻觉 token 生成后,后续文本顺着错误信息持续跑偏;
  4. 权衡难题:强幻觉抑制容易降低模型的表达丰富度、回答灵活性;
  5. 开放场景泛化差:在评测集上效果很好,真实复杂图片下幻觉反弹明显。

五、前沿研究方向总结

  1. 可解释幻觉溯源:定位是哪一段视觉特征引发幻觉;
  2. 统一幻觉检测 + 缓解一体化框架;
  3. 小样本、无标注场景下的幻觉抑制;
  4. 多轮对话、长图文上下文的幻觉缓解;
  5. 多模态工具调用结合校验,借助外部工具验证图像事实;
  6. 面向扩散类多模态生成模型的幻觉控制方案。

六、总结

这篇综述清晰区分多模态幻觉和纯文本幻觉,把缓解方案归纳为数据、模型结构、训练策略、推理干预四大体系。数据与结构优化偏向治本,但成本高;推理干预轻量化、易落地,是现阶段工程实践首选。整体来看,幻觉本质是图文跨模态对齐缺陷、语言先验和视觉信息博弈的结果;想要规模化落地多模态大模型,不能只追求评测指标,还需要在开放真实图像中持续控制幻觉风险。

【相关 FAQ】

问题 1,多模态大语言模型幻觉和普通大模型幻觉有什么区别?

回答 1,普通文本大模型幻觉来自知识记忆缺陷;多模态大语言模型幻觉大多是图文跨模态对齐失败,分为编造不存在物体、属性描述错误、物体关系错乱三类,视觉信号没有主导生成过程是核心诱因。

问题 2,多模态幻觉缓解的对比解码方法是什么?

回答 2,对比解码属于推理阶段幻觉干预方案,对比完整图像输入和掩码 / 去掉图像条件下的输出分布,抑制更容易产生幻觉的 token,不需要重新训练多模态模型,部署灵活。

问题 3,POPE、CHAIR 这类数据集在幻觉研究里的作用是什么?

回答 3,POPE、CHAIR 是多模态幻觉的标准评测基准,POPE 侧重物体存在性的对抗测试,CHAIR 统计不存在实体的文本占比,用来量化对比各类幻觉缓解方法的效果。

问题 4,为什么语言先验会造成多模态大模型幻觉?

回答 4,多模态大模型的基座 LLM 在海量文本上预训练,拥有很强的语言生成惯性;当视觉特征较弱、图文对齐不足时,模型优先按照文本知识生成通顺内容,无视图片真实信息,进而产生幻觉。

【参考资料】

[2026-11-22](A Survey on Hallucination Mitigation in Multimodal Large Language Models)arXiv

[2025-04-18](Hallucination of Multimodal Large Language Models: A Survey)arXiv

[2024-10-15](Hallucination in Multimodal Foundation Models: A Survey)arXiv

[2025-12-01](多模态大模型幻觉评测综述)北京理工大学 ISSCEC

免责声明

本文基于综述原文与领域公开学术资料整理;不同幻觉缓解方法在模型架构、数据集上效果差异较大,落地前需要在自身业务场景完成对照验证。

今日大家都在搜的词: