您的位置首页 >人工智能 >

ES synthetic_source_keep=arrays 详解部分字段会额外存一份源数据,新版本修复重复存储问题

Elasticsearch 开启 synthetic source(合成源)模式之后,默认配置 synthetic_source_keep=arrays,这个参数的作用是保留数组字段原始顺序、重复元素,但是在 9.1 版本之前,keyword、integer 这类原生支持多值的字段,本身 docvalues 就可以承载数组信息,再开启 arrays 就会额外保存一份源片段,等于同一份数据存两遍,也就是大家说的白存一份,浪费磁盘空间;9.1 版本改动规则之后,只要字段类型本身原生支持数组解析,arrays 就不再额外存储,只对嵌套对象数组、复杂结构体数组这类类型生效,它支持索引级别全局配置,也可以单独给某个字段设置,字段级配置优先级高于索引级别,另外还有 none 和 all 两个可选值,all 模式会同时保存单值和数组的源片段,存储开销更大,一般只用于特殊日志、HTTP 头、DNS 记录这类强依赖顺序和重复值的场景。

synthetic_source_keep 三个取值对比表

参数值存储行为适用场景存储开销
none不额外保存源片段,全部靠索引重建_source对数组顺序、重复值无要求,追求极致省空间最低
arrays仅数组形式字段保留源片段(9.1 后原生多值字段不再重复存)日志、header、数组顺序 / 重复元素不能丢的业务中等,9.1 后大幅优化
all单值、数组都保存源片段,对象子字段一并保留需要完全还原原始 JSON 结构,对重建精度要求极高最高

开启 synthetic_source_keep=arrays 的基础配置清单

  1. 索引先开启合成源模式:"_source": {"mode": "synthetic"}
  2. 索引全局配置:"index.mapping.synthetic_source_keep": "arrays"
  3. 单字段单独配置(优先级更高):在 mapping 字段内写 "synthetic_source_keep": "arrays"
  4. logsdb 流默认自带 arrays,不需要手动配置,专门适配日志场景
  5. 注意:all 不支持索引级配置,只能写在字段 mapping 里面

9.1 版本前后行为变化说明

  1. 9.1 之前:只要字段是数组格式,synthetic_source_keep=arrays 就会额外存一份源;keyword、int 等原生多值字段也会重复存储,造成冗余。
  2. 9.1 及更新版本:判断字段类型能力,如果该类型原生支持多值数组,不再额外保存源片段,避免重复存储;嵌套对象数组、复杂结构数组依旧保留存储。
  3. 业务影响:升级后磁盘占用下降;极少数依赖旧版重建结果的业务,有可能发现数组顺序和之前返回不一致,需要回归测试。

适合用 arrays、不适合用 arrays 的场景

✅ 推荐开启 arrays

  • HTTP header、DNS 记录、顺序日志、链路追踪数组,顺序和重复值有业务意义
  • 嵌套对象数组,docvalues 无法还原完整对象结构
  • keyword 标签、数字多值字段,只用来过滤、聚合,不关心顺序、重复元素
  • 海量日志,存储压力大,想要压缩磁盘占用

❌ 建议改成 none

排查和调优步骤

  1. 先确认 ES 版本,判断是否存在旧版重复存储的问题。
  2. 查看 mapping,区分是索引全局配置,还是字段单独配置。
  3. 对原生多值简单字段,改成 synthetic_source_keep=none 减少存储。
  4. 嵌套对象数组保留 arrays,保证_source 重建后结构正确。
  5. 上线后抽样对比原始写入文档和查询返回的_source,校验数组顺序是否符合预期。

【常见问题】

问题 1:检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份,synthetic_source_keep=arrays 为什么会白存一份数据?

回答 1:检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份,9.1 版本之前 keyword、integer 这类原生支持多值的字段,本身 docvalues 就能存数组,arrays 又额外存一份源片段,两份内容一样,就是冗余白存;9.1 版本修复了这个逻辑,原生多值字段不再重复存储。

问题 2:检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份,synthetic_source_keep=arrays 和 all 有什么区别?

回答 2:检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份,arrays 只保存数组形式字段的源片段;all 不管是单值还是数组都保存源片段,存储开销更大,all 只能字段级配置,不能全局索引配置。

问题 3:检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份,logsdb 索引模式下默认的 synthetic_source_keep 是什么?

回答 3:检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份,logsdb 数据流默认就是 synthetic_source_keep=arrays,专门适配日志里数组顺序、重复元素需要保留的场景。

问题 4:检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份,字段级配置和索引级的 synthetic_source_keep 哪个优先级更高?

回答 4:检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份,字段上直接配置的 synthetic_source_keep 优先级高于索引全局的 index.mapping.synthetic_source_keep 设置。

【参考资料】

[2026-11-13](检索|ES 的 synthetic_source_keep=arrays 对某些字段是白存一份)腾讯云开发者社区

[2026-09-02](_source 合成源参数 synthetic_source_keep 官方文档)Elastic 官方文档

[2026-08-10](LogsDB 数据流 synthetic source 配置说明)Elastic 官方文档

[2026-07-21](Elasticsearch 9.1 synthetic_source_keep arrays 行为变更)Elastic 社区

【免责声明】

本文信息来自 Elastic 官方文档、开发者社区实测文章,ES synthetic_source_keep=arrays 的行为随版本变化明显,不同版本重建_source 结果、存储逻辑存在差异,上线前建议在对应版本做验证测试,本文仅做技术资讯整理,不直接作为生产环境变更依据。

今日大家都在搜的词: