您的位置首页 >人工智能 >

SFT 不只是死记硬背NUS、耶鲁团队证实数据对齐后 SFT 泛化能力反超 RL

行业里一直有个主流看法,认为 SFT 监督微调只会死记训练样本,泛化能力弱,想要模型在陌生推理任务上表现好,就得靠 RL 强化学习,但是新加坡国立大学 NUS 和耶鲁大学的联合研究推翻了这个简单结论,过去大家测出 SFT 不如 RL,核心原因不是 SFT 这个训练方式本身不行,而是两组实验用的数据规模、生成轨迹数量、数据来源没有对齐,当 SFT 采用混合数据源、并且把生成轨迹总预算和 RL 保持一致之后,SFT 的域外泛化表现可以超过 RL,实验是在 Qwen2.5、Qwen3 模型上完成的,这个结论也给大模型后训练带来新方向,很多场景不用复杂、高成本的 RL,靠精心设计 SFT 数据集就能拿到不错的推理泛化效果。

一、传统认知和本次研究的核心差异

传统固有观点本次 NUS + 耶鲁团队新结论
SFT 擅长记住训练集内容,域外 OOD 泛化差,偏向死记硬背SFT 泛化短板主要来自数据不足、数据单一,不是算法本身有上限
RL 依靠奖励信号探索,天然拥有更强泛化能力RL 的优势很大一部分来自它的轨迹预算,对齐数据条件后 SFT 可以反超
SFT 和 RL 的差距是训练范式带来的本质差距差距是数据规模、正确轨迹数量、数据源混合方式带来的,范式不是决定性因素

二、研究里三步对齐实验逻辑

  1. 第一步:对齐正确轨迹数量
  2. 第二步:对齐总生成轨迹预算
  3. 第三步:搭配混合数据源训练

先保证 SFT 和 RL 能拿到的正确解答样本数量一致,这一步做完,SFT 的泛化分数就明显上涨,缩小和 RL 的差距。

把 SFT 训练用的全部生成轨迹总量,和 RL 的 rollout 预算拉平,此时 SFT 泛化水平已经和 RL 基本持平。

不只用单一来源数据,混合不同类型的推理轨迹,覆盖更多小众、长尾解题思路,这一步之后,SFT 泛化指标超过 RL。

三、背后原理:长尾解题思路是泛化关键

研究团队标注了训练数据里不同解题方法,发现轨迹总量更大、混合后的数据集,能覆盖更多长尾解法。

  • 普通 SFT:一条 prompt 只配一条标准答案,解法单一,模型只会固定套路,遇到新题型就容易失效,也就是大家说的死记硬背。
  • 对齐后的 SFT:同一个 prompt 搭配多条不同思路的正确轨迹,模型学到多种解题路径,而不是单一模板,泛化能力跟着提升。
  • RL:本身会采样大量不同轨迹,天然接触到更多解法,之前的对比实验没有给 SFT 同等规模的数据,所以显得 RL 更强。

四、对工程落地的实际影响清单

  • 成本层面:RL 算力开销大、调参难度高、奖励模型容易不稳定;对齐后的 SFT 实现简单、稳定性更好,适合预算有限的推理模型迭代。
  • 方案选择:不是所有场景都必须上 RL,数学、逻辑推理类任务,优先优化 SFT 数据集的轨迹多样性和总量,性价比更高。
  • 边界提醒:这个结论不是说 RL 没用,RL 在偏好对齐、复杂多轮偏好优化场景依然有不可替代价值,二者不是替代关系。
  • 评估建议:以后对比 SFT 和 RL 效果,必须先锁定轨迹预算、数据源,不然对比结果没有参考意义。

【常见问题】

问题 1:SFT 真的只会死记硬背吗,NUS、耶鲁团队的研究怎么解释?

回答 1:SFT 并不是天生只会死记硬背,NUS、耶鲁团队的研究证明,我们平时看到 SFT 泛化差,大多是因为训练轨迹数量少、数据源单一;当 SFT 数据集做好混合、轨迹预算和 RL 对齐之后,SFT 的泛化能力可以超过 RL。

问题 2:数据对齐后的 SFT 泛化反超 RL,这个实验是在哪些大模型上完成的?

回答 2:NUS、耶鲁团队的这组 SFT 与 RL 对比实验,是基于 Qwen2.5、Qwen3 系列模型开展,在数学、通用推理类基准测试上验证了数据对齐之后 SFT 泛化反超 RL 的现象。

问题 3:想要让 SFT 泛化追上甚至超过 RL,数据对齐要做到哪几点?

回答 3:想要实现 SFT 泛化反超 RL,需要三件事同步做好:对齐 SFT 和 RL 的正确轨迹数量、对齐总生成轨迹预算、采用多来源混合数据集,覆盖更多长尾解题思路,只靠单一样本的普通 SFT 达不到这个效果。

问题 4:SFT 数据对齐后泛化反超 RL,是不是意味着 RL 以后就不用做了?

回答 4:不是,NUS、耶鲁团队的研究只说明推理泛化场景下,满足数据条件的 SFT 可以超过 RL;RL 在人类偏好对齐、复杂偏好优化等场景依然有独特优势,SFT 和 RL 属于互补方案,不是互相取代。

【参考资料】

[2026-11-18](SFT 只会 “死记硬背”?NUS、耶鲁团队:数据对齐后,泛化反超 RL)36 氪

[2026-11-17](Paper: SFT Hits 43.7 vs RL's 43.8 With 9.5x More SFT Data)FourWeekMBA

[2026-11-11](Rethinking “RL Generalizes, SFT Memorizes”: The Role of SFT Data)arXiv

[2026-10-11](SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training)PMLR

免责声明:本文内容仅为 AI 学术资讯科普,不构成大模型训练、微调方案选型指导;SFT 泛化反超 RL 存在严格实验前提,受模型基座、任务类型、数据集质量、算力配置影响,不能直接套用在所有大模型微调项目,相关结论请以论文原文和复现实验为准。

今日大家都在搜的词: