您的位置首页 >人工智能 >

NeurIPS 2026 | 大模型抗遗忘新范式「先微调,后矫正」实现无遗忘等价条

清华大学联合滴滴自动驾驶的研究登上 NeurIPS 2026,提出了「先微调,后矫正」这套大模型抗遗忘新范式,也就是 JANUS 框架,它跳出了传统微调时加约束、加正则的思路,先放开模型正常学新任务,等微调全部做完之后,再做后处理矫正参数,从数学上给出无遗忘等价条件,解决大模型持续学习里经典的稳定性可塑性矛盾。过去绝大多数抗遗忘方法,都是在微调阶段就增加限制,要么回放旧数据、要么给梯度加正交约束,这些做法会拖慢训练速度,还容易压低新任务的效果;而 JANUS 不需要改动原有微调代码,也不用在训练阶段增加约束,等微调完成后,依靠参数迹正交的等价条件做自适应投影矫正,修复被破坏的旧知识,同时新任务性能几乎不损失。团队在 LLaMA-2-7B 模型上做数学、代码任务测试,旧知识保留指标大幅上涨,新任务指标仅小幅下降,整套方案可以直接对接任意微调方式,即插即用,论文和配套代码已经对外公开。

JANUS「先微调,后矫正」完整流程

  1. 第一阶段:无约束微调。直接使用常规 SFT、LoRA 等任意微调方案,让模型充分学习新任务,不设置任何抗遗忘正则项,这个阶段模型会正常出现灾难性遗忘。
  2. 第二阶段:计算 JANUS 偏移量。把偏移量当成遗忘程度的代理指标,定位参数更新里破坏旧知识的部分。
  3. 第三阶段:自适应参数矫正。基于研究提出的迹正交无遗忘等价条件,对参数更新做投影修正,恢复原有预训练知识。
  4. 附加优化:搭配 ghost 操作、SVD 压缩,降低矫正环节的算力和内存开销。

核心实验结果(LLaMA-2-7B)

测试任务原始微调旧知识保留率JANUS 矫正后旧知识保留率新任务性能下降幅度
数学任务67.55%106.16%约 1%
代码任务79.71%109.83%约 1%

和传统抗遗忘方案对比

  • 传统正则 / 梯度正交法:训练阶段加约束,容易压缩新任务学习上限,训练开销更高
  • 数据回放法:需要留存旧数据,有隐私风险,存储成本高
  • JANUS 先微调后矫正:训练无额外开销,兼容所有微调方法,矫正放在训练之后,不需要原始预训练数据

【相关 FAQ】

问题 1:NeurIPS2026 这套「先微调,后矫正」大模型抗遗忘新范式,对应的框架叫什么?

回答 1:NeurIPS2026 这套「先微调,后矫正」大模型抗遗忘新范式对应的框架是 JANUS,由清华与滴滴自动驾驶联合提出,依靠无遗忘等价条件完成后矫正。

问题 2:JANUS「先微调,后矫正」实现无遗忘等价条件,和传统抗遗忘方法最大区别是什么?

回答 2:JANUS「先微调,后矫正」实现无遗忘等价条件,不会在微调过程中增加约束,等微调结束再做参数修复;传统方法大多是训练时加正则、回放旧数据,会限制新任务学习效果。

问题 3:JANUS「先微调,后矫正」实现无遗忘等价条件,能不能直接用于 LoRA 微调?

回答 3:可以,JANUS「先微调,后矫正」实现无遗忘等价条件属于即插即用的后处理方案,兼容 SFT、LoRA 等市面上主流微调方式,不需要修改微调脚本。

问题 4:JANUS「先微调,后矫正」实现无遗忘等价条件,实验里用的基础模型是什么?

回答 4:JANUS「先微调,后矫正」实现无遗忘等价条件,核心实验基于 LLaMA-2-7B 开展,在数学、代码两类任务上验证了抗遗忘效果。

问题 5:JANUS 提出的无遗忘等价条件,是什么数学条件?

回答 5:JANUS 提出的无遗忘等价条件是参数迹正交条件 Tr (ΔWM)=0,它比之前的子空间正交约束更容易落地,是这套「先微调,后矫正」范式的理论基础。

【参考资料】

[2026-11-22](NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件)新浪财经

[2026-11-22](Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification)arXiv

[2026-11-22](清华滴滴联合工作入选 NeurIPS2026,后矫正新思路解决大模型灾难性遗忘)机器之心

【免责声明】

本文仅为学术论文资讯整理,JANUS「先微调,后矫正」的无遗忘等价条件相关实验数据基于 LLaMA-2-7B 特定测试环境;不同基座模型、任务、微调策略下,抗遗忘效果会存在差异,该方法仍属于学术研究阶段,不代表工业场景落地保证,不构成技术选型建议。

今日大家都在搜的词: