很多 AI 工程师做 RAG 的时候都会碰到一个典型问题,前面几句还能老老实实照着检索回来的内容回答,答到一半模型就开始自己编造信息,也就是中途幻觉,想要修好这个问题,核心不是只改提示词,而是要把检索阈值和拒答机制做成完整的流水线门控,出现这个现象最常见的根源有两个,一是召回的片段相关度参差不齐,前面有少量匹配内容、后面缺少支撑材料,模型没有收到 “证据不足就要停” 的指令,就自动拿训练知识库补全内容;二是很多团队只做了检索前过滤,缺少生成过程校验、输出后校验两层关卡,等到上线才发现,模型很容易在上下文信息耗尽之后放飞自我。整套实操流程是先搭建检索打分和重排,用离线评测集标定适合业务的检索阈值,低于阈值直接拒答,中等分数进入约束生成模式,高分才放开正常回答,再搭配生成时的溯源强制要求、输出后的事实校验,最后持续收集线上 badcase 迭代参数,这样就能明显抑制 RAG 答到一半开始编造的情况,但要明白没有方案可以做到完全零幻觉,目标是把无依据编造的概率压到业务可接受范围。
一、RAG 答一半就编造的几类典型根因清单
- 召回内容残缺:chunk 切分不合理、跨段落事实被拆开,前面拿到部分信息,后半段关键信息没有召回回来
- 阈值一刀切或者根本没设阈值:不管匹配度高低,全部丢给大模型去生成,弱相关片段很容易引导模型脑补
- 缺少中途约束:prompt 只写了参考资料作答,没有明确证据不足时必须拒答,模型默认要输出完整答案
- 上下文丢失:长回答过程中,大模型遗忘前面给的参考原文,脱离资料自由发挥
- 没有后置校验:生成完直接返回给用户,不检查答案里的说法能不能在检索片段找到对应依据
二、检索阈值设计实操方案
| 分级档位 | 重排 / 相似度分数规则 | 处理逻辑 | 适用场景 |
|---|---|---|---|
| 直接拒答档 | 最高分低于下限阈值 | 直接返回知识库没有足够信息,不送入大模型生成 | 金融、医疗、合规等高风险业务 |
| 谨慎生成档 | 分数介于下限到优质阈值之间 | 强约束 prompt,强制标注来源,禁止拓展推理,只复述原文信息 | 企业内部问答、产品手册查询 |
| 正常生成档 | 分数高于优质阈值 | 允许合理总结、梳理,依然要求标注引用来源 | 普通客服、文档查阅场景 |
- 阈值不要凭经验随便写,要准备标注评测集,里面同时放可以回答、不能回答的样本,统计误拒率和误答率再找平衡点,高风险业务优先拉高阈值,宁可少回答,不要错回答。
- 推荐搭配混合检索 + 重排模型,向量相似度只做初筛,重排分数作为最终判断阈值依据,比只用向量距离稳定很多。
三、三层拒答机制搭建步骤
- 检索层拒答:召回之后先打分过滤,全部分数不达标的样本直接短路拒答,不消耗 token 调用大模型
- 生成层拒答:prompt 里固定写入逃逸话术,明确告诉模型,如果现有上下文不足以完整回答,直接输出固定拒答文案,不要自己编造内容
- 结果校验层拒答:生成完成后,单独跑校验模块,提取答案里每一条事实,核对是否能在检索上下文找到支撑,无源内容直接拦截拒答或者转人工复核
四、上线之后持续调优的踩坑要点
- 不要把阈值写死在代码里,做成配置项,方便线上根据 badcase 动态调整
- 日志必须保存:用户问题、召回 chunk、分数、模型输出、是否触发拒答,用来复盘幻觉案例
- 温度参数调低,降低模型创造性,RAG 场景不需要高随机性输出
- 强制溯源标注,每一条事实带上文档编号,方便快速定位是检索漏了还是模型编了
- 定期重新切片、更新向量索引,修复因为文档拆分导致的事实断裂问题
五、两种主流落地思路对比
- 保守路线:阈值偏高、校验严格,拒答率上升,幻觉率很低,适合对错误零容忍的业务,缺点是部分能回答的问题会被拦截
- 宽松路线:阈值偏低,允许适度推理,用户体验更流畅,但是需要持续投入人力巡检幻觉输出,适合低风险咨询场景
【常见问题】
问题 1:RAG 答一半开始编造内容,只靠修改 prompt 能不能解决检索阈值和拒答机制对应的幻觉?
回答 1:只改 prompt 很难根治 RAG 答一半编造的问题,prompt 约束只能起到辅助作用,如果检索阈值没有做好、缺少拒答门控,在召回证据不足的时候,模型依然容易中途编造,必须检索过滤、生成约束、后置校验整套拒答机制配合使用。
问题 2:设置 RAG 检索阈值的时候,高风险业务为什么要优先把阈值调高,接受更高拒答率?
回答 2:高风险业务里面 RAG 编造错误信息带来的损失很大,调高检索阈值、开启严格拒答机制,能大幅减少模型拿到弱相关资料之后中途编造内容的概率,误拒的代价远低于给出虚假信息带来的风险。
问题 3:RAG 拒答机制三层结构里面,检索层拒答相比后置校验有什么优势?
回答 3:检索层拒答是在送入大模型之前就拦截低分召回,既能避免 RAG 出现中途编造,还能节省大模型调用成本,减少 token 消耗,和生成层、校验层拒答一起构成完整防线。
【参考资料】
[2026-10-26](RAG 查不到,还硬答吗?)腾讯云开发者社区
[2026-10-23](RAG 不是万能药:电商客服 Agent 的检索质量门控实践)华为云社区
[2026-10-19](别再死磕 MySQL 了:向量数据库与 RAG 生产落地实录)博客园
[2026-06-27](Reducing Hallucinations in RAG Systems)Boolean & Beyond
[2026-06-13](本地文档对话系统:PDF 解析、向量索引与 RAG 全流程实战)CSDN
【免责声明】
本文内容为 RAG 检索阈值、拒答机制相关工程经验梳理,不同向量模型、重排模型、业务知识库对应的阈值参数不通用;文中方案仅作技术参考,不保证完全消除 RAG 幻觉,上线前务必完成充分测试和人工校验,高风险业务请配套人工复核流程。
