清华和滴滴自动驾驶联合提出的 JANUS 后矫正方案,一改过去在微调阶段加约束防止遗忘的思路,先正常对大模型做任务微调、学习新能力,微调结束之后再做参数矫正,从理论上推导出了参数空间正交这一无遗忘等价条件,这套方案不用改动原有微调流程,属于即插即用的后处理模块,在 LLaMA-2-7B 的数学、代码任务测试里,历史知识留存率大幅上涨,新任务的性能只掉大约 1 个百分点,论文已经被 NeurIPS 2026 接收,配套论文和代码对外公开。
新旧抗遗忘思路对比表
| 传统抗遗忘方案 | JANUS「先微调,后矫正」新范式 |
|---|---|
| 在微调训练阶段增加约束、正则、梯度投影 | 不干预微调过程,矫正全部放在微调完成之后 |
| 条件严格,落地难度高,容易限制新任务学习效果 | 兼容 LoRA、全参数微调等各类微调方式,适配性强 |
| 侧重经验缓解遗忘,缺少严谨的无遗忘等价理论 | 给出一阶条件下防止灾难性遗忘的充要等价条件 |
JANUS 框架完整操作步骤
- 正常微调阶段:使用你原本的微调方案,让大模型学习新任务,这个阶段不会加任何防遗忘限制,允许模型参数正常更新
- 计算 JANUS 偏移指标:评估本次微调对历史旧知识造成的遗忘程度,作为矫正的判断依据
- 多步自适应参数矫正:把微调带来的参数更新投影到雅可比零空间,逐步修复被破坏的历史知识
- 压缩优化加速:搭配 Ghost 投影、SVD 序列压缩技术,降低矫正阶段算力、显存开销
- 效果验证:分别测试新任务效果、历史旧任务留存能力,确认遗忘抑制效果
核心理论要点清单
- 推翻之前广泛使用的子空间正交约束,证明它条件太苛刻,现实很难实现
- 提出参数空间正交Tr (ΔWM)=0,是一阶层面实现无遗忘的等价条件
- 矫正只作用于微调后的权重更新量,不会破坏基础模型原有结构
- 稳定性可塑性两难(学新知识和保旧知识冲突)得到明显改善
实测关键效果
- 测试模型:LLaMA-2-7B
- 数学任务历史知识保留:67.55% → 106.16%
- 代码任务历史知识保留:79.71% → 109.83%
- 新任务性能损失:仅约 1 个百分点,几乎不影响新学能力
【相关 FAQ】
问题 1:NeurIPS 2026 的先微调后矫正 JANUS 范式,什么是无遗忘等价条件?
回答 1:JANUS 推导出的无遗忘等价条件是参数空间正交 Tr (ΔWM)=0,满足这个条件时,一阶近似下大模型微调新任务不会损害历史旧知识,相比过去的子空间正交条件更容易落地实现。
问题 2:JANUS 先微调后矫正范式和传统大模型抗遗忘方法差别在哪?
回答 2:传统抗遗忘方法在微调训练时就加上各类约束来限制遗忘,而 JANUS 先放开微调让模型学好新任务,等微调完成再用后矫正修复旧知识,兼容市面上所有主流微调方式,使用门槛更低。
问题 3:使用 JANUS 先微调后矫正框架,会不会大幅增加微调阶段的计算成本?
回答 3:不会,微调阶段完全没有额外开销,矫正属于微调结束之后的后处理步骤,搭配 SVD 压缩、Ghost 投影之后,矫正的时间和显存开销都可控。
【参考资料】
[2026-11-22](NeurIPS 2026 | 大模型抗遗忘新范式:「先微调,后矫正」实现无遗忘等价条件)机器之心
[2026-11-22](NeurIPS 2026 JANUS 框架:后矫正缓解大模型持续学习遗忘)新浪财经
[2026-09-17](Past, Future, All at Once: Mitigating Stability-Plasticity Dilemma via Post-hoc JANUS Rectification)arXiv
【免责声明】
本次 NeurIPS 2026 先微调后矫正 JANUS 框架相关内容仅为论文公开信息解读,理论效果基于论文在 LLaMA-2-7B 上的特定实验得出;不同基座模型、数据集、微调方案下,矫正之后的抗遗忘效果会存在差异;该方案为学术研究成果,不代表可以直接商用部署,相关技术落地需要自行验证适配性。
