传统大模型 SFT 监督微调基本都用交叉熵 CE 损失做优化,它会强行让模型去拟合训练数据里的标准答案分布,很容易出现死记训练样本、过拟合,生成内容的选择空间变窄、多样性不足,做 best-of-n 采样的时候很难刷出更好结果,这篇 Entropic Distribution Matching 论文提出 GEM 熵分布匹配方案,把最大熵原理引入 SFT,用带熵正则项的反向 KL 散度替代 CE 损失,在对齐标注数据的同时保留模型分布的平坦度,既能学会指令跟随,又降低过拟合、拉高输出多样性,在 Llama-3-8B 上测试,通用指令集任务 IFEval 指标更好,数学、代码任务采样后最高涨 7 个点,领域数据集微调最高能涨 10 个点,而且计算开销和原版交叉熵差不多,不用额外改造模型结构。
一、传统 CE SFT 的痛点清单
- 优化目标激进:只拉高标注 token 概率,打压其他合理备选 token,模型分布变尖锐
- 容易过拟合:小数据集微调时很容易记住训练文本,泛化能力变差
- 生成多样性差:采样时备选方案变少,best-of-n 多采样策略收益很低
- 容易发生能力遗忘:预训练阶段学到的备选知识被挤压丢失
二、GEM 熵分布匹配核心原理
GEM 全称 Generative Entropic Matching,就是论文里这套熵分布匹配 SFT 算法,核心是两个部分组合:
- 反向 KL 散度(reverse KL):让模型分布往标注分布靠近,避免正向 KL 容易产生的模态坍缩
- 熵正则器:加入最大熵约束,鼓励模型维持相对平滑的 token 概率分布,保留更多合理候选
对比表格
| 优化目标 | 核心思路 | 主要特点 |
|---|---|---|
| CE 交叉熵 | 最大化标注 token 似然 | 收敛快,容易过拟合、多样性低 |
| GEM 熵分布匹配 | 反向 KL + 熵正则,熵分布匹配 | 抑制过拟合,保留生成多样性,算力开销接近 CE |
三、落地使用关键步骤
- 替换 loss:训练代码里把 SFT 的交叉熵损失替换成 GEM 损失函数,模型主干、数据加载逻辑不用改动
- 调熵正则系数:正则权重是核心超参,权重太高对齐效果差,太低和普通 CE 差别不大,需要在目标数据集上扫参
- 数据集选择:通用指令微调可以用 UltraFeedback;数学、代码场景搭配领域专用 SFT 数据集
- 评测验证:除了常规 pass@1,一定要跑 best-of-n 采样,GEM 的优势在多采样场景最明显
- 基线对照:同参数基座(论文实验 Llama-3-8B)、相同训练轮次、batch 做对照,看困惑度、IFEval、数学 / 代码指标
四、GEM 熵分布匹配 SFT 效果边界
- 优势场景:指令微调、数学推理、代码生成,依赖采样择优的任务提升明显
- 不擅长场景:强标准答案、唯一正确输出的分类任务,多样性收益体现不出来
- 成本:训练速度和 CE 接近,不会明显增加训练耗时
- 限制:不是消除过拟合,只是缓解,小样本极端场景依然需要数据增强、早停等手段配合
【常见问题】
问题 1:熵分布匹配 SFT 里的 GEM 算法,是直接替换掉 SFT 整个训练流程吗?
回答 1:熵分布匹配 SFT 里的 GEM 算法不需要改动 SFT 整体流程,只替换损失函数,基座模型、SFT 数据格式、训练框架都可以沿用,用反向 KL 加熵正则替代原本的交叉熵损失。
问题 2:熵分布匹配 SFT 相比普通 CE SFT,一定会让 pass@1 指标上涨吗?
回答 2:熵分布匹配 SFT 的核心增益来自输出多样性,best-of-n 采样提升很明显,pass@1 单样本生成不一定稳定上涨,它的定位不是单纯拉高单次正确率,而是给采样留出更多优质候选。
问题 3:熵分布匹配 SFT 的熵正则系数怎么调,调大了会发生什么?
回答 3:熵分布匹配 SFT 的熵正则系数越大,模型分布越平缓、多样性越高,但对齐标注指令的能力会下降;系数太小就和普通 CE 微调效果接近,一般要在验证集上遍历找到平衡点。
问题 4:熵分布匹配 SFT 可以在 70B 大模型上跑吗?
回答 4:熵分布匹配 SFT 支持 3B 到 70B 区间的大模型,论文实验覆盖了不同尺寸基座,GEM 计算开销和 CE 接近,大卡集群上可以直接部署做 SFT 微调。
【参考资料】
[2026-11-16](
【大模型后训练 SFT】Entropic Distribution Matching in Supervised Fine-tuning of LLMs)阿里云开发者社区
[2025-01-23](Preserving Diversity in Supervised Fine-Tuning of Large Language Models)OpenReview
[2024-08-30](Entropic Distribution Matching in Supervised Fine-tuning of LLMs)智源社区
[2024-08-29](Entropic Distribution Matching in Supervised Fine-tuning of LLMs: Less Overfitting and Better Diversity)arXiv
【免责声明】
本文内容仅为技术论文解读资讯,熵分布匹配 SFT 的 GEM 算法效果受基座模型、数据集、超参、训练方案影响;相关指标来自论文公开实验结果,不代表你复现后一定能拿到同等收益,上线微调前请自行完成对照实验与业务验证。
