您的位置首页 >人工智能 >

熵分布匹配 SFTGEM 算法解决大模型监督微调过拟合、输出单一问题

传统大模型 SFT 监督微调基本都用交叉熵 CE 损失做优化,它会强行让模型去拟合训练数据里的标准答案分布,很容易出现死记训练样本、过拟合,生成内容的选择空间变窄、多样性不足,做 best-of-n 采样的时候很难刷出更好结果,这篇 Entropic Distribution Matching 论文提出 GEM 熵分布匹配方案,把最大熵原理引入 SFT,用带熵正则项的反向 KL 散度替代 CE 损失,在对齐标注数据的同时保留模型分布的平坦度,既能学会指令跟随,又降低过拟合、拉高输出多样性,在 Llama-3-8B 上测试,通用指令集任务 IFEval 指标更好,数学、代码任务采样后最高涨 7 个点,领域数据集微调最高能涨 10 个点,而且计算开销和原版交叉熵差不多,不用额外改造模型结构。

一、传统 CE SFT 的痛点清单

  • 优化目标激进:只拉高标注 token 概率,打压其他合理备选 token,模型分布变尖锐
  • 容易过拟合:小数据集微调时很容易记住训练文本,泛化能力变差
  • 生成多样性差:采样时备选方案变少,best-of-n 多采样策略收益很低
  • 容易发生能力遗忘:预训练阶段学到的备选知识被挤压丢失

二、GEM 熵分布匹配核心原理

GEM 全称 Generative Entropic Matching,就是论文里这套熵分布匹配 SFT 算法,核心是两个部分组合:

  1. 反向 KL 散度(reverse KL):让模型分布往标注分布靠近,避免正向 KL 容易产生的模态坍缩
  2. 熵正则器:加入最大熵约束,鼓励模型维持相对平滑的 token 概率分布,保留更多合理候选

对比表格

优化目标核心思路主要特点
CE 交叉熵最大化标注 token 似然收敛快,容易过拟合、多样性低
GEM 熵分布匹配反向 KL + 熵正则,熵分布匹配抑制过拟合,保留生成多样性,算力开销接近 CE

三、落地使用关键步骤

  1. 替换 loss:训练代码里把 SFT 的交叉熵损失替换成 GEM 损失函数,模型主干、数据加载逻辑不用改动
  2. 调熵正则系数:正则权重是核心超参,权重太高对齐效果差,太低和普通 CE 差别不大,需要在目标数据集上扫参
  3. 数据集选择:通用指令微调可以用 UltraFeedback;数学、代码场景搭配领域专用 SFT 数据集
  4. 评测验证:除了常规 pass@1,一定要跑 best-of-n 采样,GEM 的优势在多采样场景最明显
  5. 基线对照:同参数基座(论文实验 Llama-3-8B)、相同训练轮次、batch 做对照,看困惑度、IFEval、数学 / 代码指标

四、GEM 熵分布匹配 SFT 效果边界

  • 优势场景:指令微调、数学推理、代码生成,依赖采样择优的任务提升明显
  • 不擅长场景:强标准答案、唯一正确输出的分类任务,多样性收益体现不出来
  • 成本:训练速度和 CE 接近,不会明显增加训练耗时
  • 限制:不是消除过拟合,只是缓解,小样本极端场景依然需要数据增强、早停等手段配合

【常见问题】

问题 1:熵分布匹配 SFT 里的 GEM 算法,是直接替换掉 SFT 整个训练流程吗?

回答 1:熵分布匹配 SFT 里的 GEM 算法不需要改动 SFT 整体流程,只替换损失函数,基座模型、SFT 数据格式、训练框架都可以沿用,用反向 KL 加熵正则替代原本的交叉熵损失。

问题 2:熵分布匹配 SFT 相比普通 CE SFT,一定会让 pass@1 指标上涨吗?

回答 2:熵分布匹配 SFT 的核心增益来自输出多样性,best-of-n 采样提升很明显,pass@1 单样本生成不一定稳定上涨,它的定位不是单纯拉高单次正确率,而是给采样留出更多优质候选。

问题 3:熵分布匹配 SFT 的熵正则系数怎么调,调大了会发生什么?

回答 3:熵分布匹配 SFT 的熵正则系数越大,模型分布越平缓、多样性越高,但对齐标注指令的能力会下降;系数太小就和普通 CE 微调效果接近,一般要在验证集上遍历找到平衡点。

问题 4:熵分布匹配 SFT 可以在 70B 大模型上跑吗?

回答 4:熵分布匹配 SFT 支持 3B 到 70B 区间的大模型,论文实验覆盖了不同尺寸基座,GEM 计算开销和 CE 接近,大卡集群上可以直接部署做 SFT 微调。

【参考资料】

[2026-11-16](

【大模型后训练 SFT】Entropic Distribution Matching in Supervised Fine-tuning of LLMs)阿里云开发者社区

[2025-01-23](Preserving Diversity in Supervised Fine-Tuning of Large Language Models)OpenReview

[2024-08-30](Entropic Distribution Matching in Supervised Fine-tuning of LLMs)智源社区

[2024-08-29](Entropic Distribution Matching in Supervised Fine-tuning of LLMs: Less Overfitting and Better Diversity)arXiv

【免责声明】

本文内容仅为技术论文解读资讯,熵分布匹配 SFT 的 GEM 算法效果受基座模型、数据集、超参、训练方案影响;相关指标来自论文公开实验结果,不代表你复现后一定能拿到同等收益,上线微调前请自行完成对照实验与业务验证。

今日大家都在搜的词: