大模型做持续预训练调数据配比这件事，现在有了低成本新思路，日本 NICT 团队的 OptiMer 方案，不用反复混合数据集从头训练，靠提取分布向量后搜索最优合并权重，就能拿到等效最优数据配比，搜索成本直接下降 15~35 倍，这篇成果拿下 EMNLP 2026 杰出论文奖。传统的数据混合方式有个很麻烦的痛点，配比参数要在训练开始前固定，选得好不好只能等整套训练跑完评测才知道，如果效果不行，就要调整比例重新启动训练，算力和时间成本非常高，多语种、多领域混合训练的时候试错负担会更重。OptiMer 把 “配比选择” 和 “模型训练” 拆开，先单独在每一类数据集上做持续预训练，拿到对应的分布向量，之后只做向量合并 + 贝叶斯优化搜索权重，不需要重复训练模型，搜出来的权重还可以直接翻译成可用的数据混合比例，再拿去正式训练。
OptiMer 整套操作步骤
- 基座模型分流训练：拿同一个基础大模型，分别在日语、中文、数学、代码等不同数据集单独跑持续预训练，每个数据集产出一个专属模型副本。
- 提取分布向量：每个单独训练出来的模型，和原始基座做参数对比，提取出代表这个数据集学习偏向的分布向量。
- 贝叶斯优化搜索权重：组合不同分布向量，用验证集指标做评估，自动搜索最优合并权重。
- 落地正式训练：把搜索得到的最优权重转换成数据配比，用这个配比混合数据集，完成最终持续预训练。
实验关键结果
测试基线模型选用 Gemma 3 27B，覆盖多语言、数学、代码场景，每个数据集 token 规模 1B。
| 对比方案 | 特点 | 效果表现 |
|---|---|---|
| 均匀数据混合 | 各类数据等比例混合训练 | 基准，搜索成本极高 |
| 普通模型平均 | 直接加权合并模型参数 | 性能一般 |
| OptiMer 分布向量合并 | 先单独训练提取向量，后优化权重 | 优于上面两个基线，搜索成本降低 15–35 倍 |
方案核心优势
- 一次提取向量池，面向不同任务目标可以反复重新搜索最优配比，不用重新训练各个单数据集模型。
- 权重具备可解释性，合并权重等价于数据混合比例，工程上可以无缝对接现有数据加载、混合训练流水线。
- 适合持续预训练场景，也就是给通用大模型追加语种、行业领域能力的场景。
【常见问题】
问题 1：OptiMer 最优分布向量合并是不是可以直接替代大模型训练里的数据混合？
回答 1：OptiMer 最优分布向量合并是用来低成本搜索最优数据配比的工具，不是永久替代数据混合，找到最优权重之后，还是要用这个配比做标准数据混合训练，它主要解决配比试错太贵的痛点。
问题 2：OptiMer 最优分布向量合并适合从零预训练大模型吗？
回答 2：OptiMer 最优分布向量合并主打持续预训练场景，也就是基座模型之后追加领域、语种能力的训练，论文实验没有针对从零开始的基座预训练做验证。
问题 3：OptiMer 最优分布向量合并拿到的分布向量，更换下游任务之后还能用吗？
回答 3：可以，只要之前已经把各个数据集对应的分布向量提取保存好，更换优化目标、下游评测任务时，只需要重新跑权重搜索，不需要再次单独训练数据集模型。
【参考资料】
[2026-11-15]（EMNLP 2026 杰出论文 | 大模型训练，数据配比难？日本 NICT 团队提出最优分布向量合并）新浪财经
[2026-04-04]（OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training）arXiv
[2026]（OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training）ACL Anthology
【免责声明】
本文内容仅为学术论文信息整理科普，不构成模型训练方案落地指导；论文结论基于指定模型、数据集条件下的实验结果，在不同模型规模、数据分布、硬件环境下效果存在差异；相关技术方案版权归属原作者与 NICT 团队，引用内容请以官方论文原文为准。