行业里一直有个主流看法,认为 SFT 监督微调只会死记训练样本,泛化能力弱,想要模型在陌生推理任务上表现好,就得靠 RL 强化学习,但是新加坡国立大学 NUS 和耶鲁大学的联合研究推翻了这个简单结论,过去大家测出 SFT 不如 RL,核心原因不是 SFT 这个训练方式本身不行,而是两组实验用的数据规模、生成轨迹数量、数据来源没有对齐,当 SFT 采用混合数据源、并且把生成轨迹总预算和 RL 保持一致之后,SFT 的域外泛化表现可以超过 RL,实验是在 Qwen2.5、Qwen3 模型上完成的,这个结论也给大模型后训练带来新方向,很多场景不用复杂、高成本的 RL,靠精心设计 SFT 数据集就能拿到不错的推理泛化效果。
一、传统认知和本次研究的核心差异
| 传统固有观点 | 本次 NUS + 耶鲁团队新结论 |
|---|---|
| SFT 擅长记住训练集内容,域外 OOD 泛化差,偏向死记硬背 | SFT 泛化短板主要来自数据不足、数据单一,不是算法本身有上限 |
| RL 依靠奖励信号探索,天然拥有更强泛化能力 | RL 的优势很大一部分来自它的轨迹预算,对齐数据条件后 SFT 可以反超 |
| SFT 和 RL 的差距是训练范式带来的本质差距 | 差距是数据规模、正确轨迹数量、数据源混合方式带来的,范式不是决定性因素 |
二、研究里三步对齐实验逻辑
- 第一步:对齐正确轨迹数量
- 第二步:对齐总生成轨迹预算
- 第三步:搭配混合数据源训练
先保证 SFT 和 RL 能拿到的正确解答样本数量一致,这一步做完,SFT 的泛化分数就明显上涨,缩小和 RL 的差距。
把 SFT 训练用的全部生成轨迹总量,和 RL 的 rollout 预算拉平,此时 SFT 泛化水平已经和 RL 基本持平。
不只用单一来源数据,混合不同类型的推理轨迹,覆盖更多小众、长尾解题思路,这一步之后,SFT 泛化指标超过 RL。
三、背后原理:长尾解题思路是泛化关键
研究团队标注了训练数据里不同解题方法,发现轨迹总量更大、混合后的数据集,能覆盖更多长尾解法。
- 普通 SFT:一条 prompt 只配一条标准答案,解法单一,模型只会固定套路,遇到新题型就容易失效,也就是大家说的死记硬背。
- 对齐后的 SFT:同一个 prompt 搭配多条不同思路的正确轨迹,模型学到多种解题路径,而不是单一模板,泛化能力跟着提升。
- RL:本身会采样大量不同轨迹,天然接触到更多解法,之前的对比实验没有给 SFT 同等规模的数据,所以显得 RL 更强。
四、对工程落地的实际影响清单
- 成本层面:RL 算力开销大、调参难度高、奖励模型容易不稳定;对齐后的 SFT 实现简单、稳定性更好,适合预算有限的推理模型迭代。
- 方案选择:不是所有场景都必须上 RL,数学、逻辑推理类任务,优先优化 SFT 数据集的轨迹多样性和总量,性价比更高。
- 边界提醒:这个结论不是说 RL 没用,RL 在偏好对齐、复杂多轮偏好优化场景依然有不可替代价值,二者不是替代关系。
- 评估建议:以后对比 SFT 和 RL 效果,必须先锁定轨迹预算、数据源,不然对比结果没有参考意义。
【常见问题】
问题 1:SFT 真的只会死记硬背吗,NUS、耶鲁团队的研究怎么解释?
回答 1:SFT 并不是天生只会死记硬背,NUS、耶鲁团队的研究证明,我们平时看到 SFT 泛化差,大多是因为训练轨迹数量少、数据源单一;当 SFT 数据集做好混合、轨迹预算和 RL 对齐之后,SFT 的泛化能力可以超过 RL。
问题 2:数据对齐后的 SFT 泛化反超 RL,这个实验是在哪些大模型上完成的?
回答 2:NUS、耶鲁团队的这组 SFT 与 RL 对比实验,是基于 Qwen2.5、Qwen3 系列模型开展,在数学、通用推理类基准测试上验证了数据对齐之后 SFT 泛化反超 RL 的现象。
问题 3:想要让 SFT 泛化追上甚至超过 RL,数据对齐要做到哪几点?
回答 3:想要实现 SFT 泛化反超 RL,需要三件事同步做好:对齐 SFT 和 RL 的正确轨迹数量、对齐总生成轨迹预算、采用多来源混合数据集,覆盖更多长尾解题思路,只靠单一样本的普通 SFT 达不到这个效果。
问题 4:SFT 数据对齐后泛化反超 RL,是不是意味着 RL 以后就不用做了?
回答 4:不是,NUS、耶鲁团队的研究只说明推理泛化场景下,满足数据条件的 SFT 可以超过 RL;RL 在人类偏好对齐、复杂偏好优化等场景依然有独特优势,SFT 和 RL 属于互补方案,不是互相取代。
【参考资料】
[2026-11-18](SFT 只会 “死记硬背”?NUS、耶鲁团队:数据对齐后,泛化反超 RL)36 氪
[2026-11-17](Paper: SFT Hits 43.7 vs RL's 43.8 With 9.5x More SFT Data)FourWeekMBA
[2026-11-11](Rethinking “RL Generalizes, SFT Memorizes”: The Role of SFT Data)arXiv
[2026-10-11](SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training)PMLR
免责声明:本文内容仅为 AI 学术资讯科普,不构成大模型训练、微调方案选型指导;SFT 泛化反超 RL 存在严格实验前提,受模型基座、任务类型、数据集质量、算力配置影响,不能直接套用在所有大模型微调项目,相关结论请以论文原文和复现实验为准。
