很多 RAG、向量检索项目里会遇到一个诡异现象:不管查询什么内容,向量算出来的相似度几乎全部卡在 0.9 附近,文档之间语义差别很大,但是分数拉不开,检索结果乱排序、相关性完全失效,这个坑绝大多数情况就是向量没有做 L2 归一化带来的量纲灾难,高维空间里向量模长、特征尺度混在一起干扰相似度计算,分数失去区分度,最麻烦的是程序不会报错,没有异常日志,只会默默返回错误的检索结果,排查周期经常要几天,属于 AI 工程里隐蔽性极强的经典问题。
一、归一化与否的相似度表现对比表
| 对比项 | 向量未归一化(量纲灾难场景) | 向量完成 L2 归一化(标准检索场景) |
|---|---|---|
| 相似度特征 | 分数扎堆,大量结果集中在 0.85~0.95 区间,区分度极差 | 分数分布散开,相近内容高分、无关内容低分,分层清晰 |
| 计算逻辑 | 点积结果同时受向量方向、模长(大小)双重影响 | 模长固定为 1,点积等价余弦相似度,只看向量方向,也就是语义 |
| 典型现象 | 随便搜,top 结果固定是模长最大的向量,和语义无关 | 检索结果由语义远近决定,不受文档长短、输出模长干扰 |
| 适用指标 | 只适合明确要保留模长信息的特殊任务 | 绝大多数 BGE、E5、CLIP 等预训练 Embedding 模型,RAG 语义检索 |
| 风险点 | 无报错,静默失效,上线后才发现召回混乱 | 只要统一归一入库、查询,稳定性高 |
二、为什么不归一化,会出现相似度扎堆 0.9 的量纲灾难
- 高维向量天然存在各向异性,Embedding 本身就容易挤在同一个方向锥内
- 点积和余弦相似度公式混淆,忽略分母模长除法
- 入库和查询代码归一逻辑不一致,一半归一一半不归一
- 模型本身训练目标就是归一向量,直接裸用原始输出破坏模型预设
- 不同特征量纲互相干扰,多模态、混合特征向量会放大这个问题
主流文本 Embedding 模型输出的向量空间不是均匀分布,向量天然偏向集中在一个窄角度区间,就算语义无关,原始余弦分数本来就偏高,如果再叠加模长干扰,分数会进一步挤在 0.9 附近,根本没法区分好坏。
很多工程师直接拿原始向量做点积当成相似度,没有做 L2 归一,也没有调用库自带余弦接口。点积 = 向量方向 × 向量长度,模长越大分数越高,语义退居次要地位,这就是量纲污染。
最常见的 bug:历史文档入库时做了归一,新的增量文档、查询向量忘记归一,混合向量池里尺度混乱,所有对比结果全部失真,分数集中在一个窄区间。
BGE、E5 这类常用检索模型,预训练目标就是归一化向量,模型学到的语义边界建立在单位向量球面;跳过归一步骤,等于脱离模型设计的向量空间,输出结果完全不符合预期。
如果是自己拼接的混合特征向量,不同特征数值范围不一样,有的特征数值大、有的很小,大数值特征直接主导相似度,语义信息被淹没。
三、完整排查和修复步骤
- 先做诊断:抽样打印向量的 L2 模长,看模长是不是都不等于 1
- 确认 Embedding 模型的官方要求:看模型文档是否要求输出归一
- 统一归一逻辑:入库文档向量、查询向量,必须用同一套 L2 归一函数
- 向量数据库指标核对:Inner Product(内积)指标,要求向量归一;Cosine 指标部分库内部自动归一,但是不要依赖库自动处理,自己前置归一更稳妥。
- 重新跑测试:归一完成后,随机抽多组差异大的 query,观察相似度分数是否拉开差距
- 增加校验埋点:向量入库时自动校验模长,偏离 1 超过阈值直接告警,提前拦截这类问题。
- 特殊场景兜底:如果业务确实需要保留模长信息,放弃余弦 / 内积,改用欧氏距离,并且单独做特征标准化。
正常归一后的向量模长≈1;如果模长五花八门,大小差异明显,就是没有归一。
BGE、E5、text-embedding 系列默认推荐归一;部分特殊模型需要保留模长,不要盲目归一。
不能入库归一、查询不归一,也不能反过来,两边规则必须完全对齐。
无关文档降到 0.3、0.4,相关文档 0.8 以上,就是恢复正常。
四、避坑清单
- 坑 1:看到向量库选了 Cosine 相似度,就认为库会自动处理归一,不再自己做前置校验,不同向量库实现逻辑不一样。
- 坑 2:只归一查询向量,存量历史向量不重新归一,混合向量池持续出错。
- 坑 3:分数扎堆就直接调高阈值,以为阈值设置问题,根源是向量尺度污染。
- 坑 4:所有场景一刀切归一,部分任务里向量模长本身代表置信度、信息丰富度,归一会丢失有效信号。
- 坑 5:高维各向异性当成归一问题,归一之后分数依旧扎堆,这时需要做去均值、白化(Whitening)等进阶优化。
【常见问题】
问题 1:手把手教你:相似度全是 0.9?向量没归一化的量纲灾难|AI 工程师踩坑实录・第 10 篇,相似度全部卡在 0.9 一定是向量没归一吗?
回答 1:手把手教你:相似度全是 0.9?向量没归一化的量纲灾难|AI 工程师踩坑实录・第 10 篇,大概率是向量未归一导致的量纲灾难,但还有一种情况是 Embedding 空间本身各向异性,向量天然集中在一个方向,归一之后依旧扎堆,需要白化、去均值处理。
问题 2:手把手教你:相似度全是 0.9?向量没归一化的量纲灾难|AI 工程师踩坑实录・第 10 篇,L2 归一到底做了什么?
回答 2:手把手教你:相似度全是 0.9?向量没归一化的量纲灾难|AI 工程师踩坑实录・第 10 篇,L2 归一就是把向量每个元素除以向量的 L2 模长,让向量长度固定为 1,消除模长带来的量纲干扰,此时内积等价余弦相似度,只对比向量方向也就是语义。
问题 3:手把手教你:相似度全是 0.9?向量没归一化的量纲灾难|AI 工程师踩坑实录・第 10 篇,向量数据库选内积指标要不要归一?
回答 3:手把手教你:相似度全是 0.9?向量没归一化的量纲灾难|AI 工程师踩坑实录・第 10 篇,使用内积(Inner Product)做检索,必须提前 L2 归一,否则分数会被向量模长主导,出现量纲灾难、排序错乱。
问题 4:手把手教你:相似度全是 0.9?向量没归一化的量纲灾难|AI 工程师踩坑实录・第 10 篇,归一之后相似度还是拉不开怎么办?
回答 4:手把手教你:相似度全是 0.9?向量没归一化的量纲灾难|AI 工程师踩坑实录・第 10 篇,先确认入库和查询归一逻辑一致;如果还是扎堆,就是 Embedding 空间各向异性,可尝试均值中心化、白化、更换 Embedding 模型、做微调优化。
【参考资料】
[2026-09-05](Normalize Embeddings Before Dot-Product Similarity)Nalar 开发者技术站
[2026-08-24](Vector Retrieval: Common Mistakes・RAG)LMVersity
[2026-08-03](Should You Normalize Embeddings? L2 Norm Explained)AI/TLDR
[2026-07-07](A field guide to vector similarity measures)chrissimpson.co.uk
[2026-04-25](Semantics at an Angle: When Cosine Similarity Works Until It Doesn't)arXiv
【免责声明】
本文内容基于向量检索公开工程实践、Embedding 相关技术文档整理,向量归一策略、相似度分布会受 Embedding 模型、向量库版本、业务数据分布影响;本文仅为踩坑排查科普,不替代业务场景离线评估,上线前务必做充分对照测试,确认检索效果符合业务预期。
