纽约大学团队推出名为 Deletion Tuning（删除调优）的大模型后训练方案，只需要把模型里不足 0.05% 的权重置零，其余预训练权重保持原样不变，就能让 AI 大模型拿到新任务能力，效果可以对标全参数微调，同时遗忘旧知识的幅度远小于 LoRA、全量微调等常规方案，它和传统模型剪枝不是一回事，剪枝主要是为了压缩、提速，而 Deletion Tuning 是直接用 “删除权重” 作为微调手段来学习新任务。传统微调思路大多是修改权重数值、新增低秩分支，大家默认要改动大量参数才能学会新能力，而这个研究发现，模型本身预训练阶段已经沉淀了足够的能力，很多时候只需要关掉一小部分干扰性权重通路，就能解锁新任务表现。这套方案的执行流程，是先冻结基础大模型全部原始权重，只训练一张二值掩码，用来判断哪些权重需要置零；训练完成后，只保留这个极小的掩码文件，推理时原始权重不动，掩码标记的权重直接归零；最后在 SFT 监督微调、RLVR 可验证奖励强化学习、OPD 同策略蒸馏三类任务上做验证，对比全参微调、LoRA 等基线方案。总的来说，Deletion Tuning 给大模型微调开辟了一条减法路线，适配持续学习场景，适配器文件体积极小，能大幅降低多任务部署的存储开销。
Deletion Tuning 核心特性清单
- 参数改动量：仅删除不到 0.05% 权重，原始权重数值完全不改动
- 记忆保留：旧任务遗忘更少，适合持续学习场景
- 存储优势：最终只保存二进制掩码，文件远小于全量微调权重
- 适配范式：支持监督微调、可验证奖励强化学习、同策略蒸馏
- 底层逻辑：学习权重开关掩码，不是修改权重数值，和普通剪枝目标不同
主流微调方案对比表
| 方案 | 操作方式 | 遗忘风险 | 适配器大小 | 核心用途 |
|---|---|---|---|---|
| 全参数微调 FFT | 更新全部模型权重 | 高 | 极大 | 追求任务上限，成本高 |
| LoRA 低秩微调 | 新增低秩矩阵叠加 | 中等 | 中等 | 现在最主流轻量化微调 |
| Deletion Tuning | 学习掩码，少量权重置零 | 低 | 极小 | 少遗忘、多任务轻量化适配 |
| 传统剪枝 | 删除权重，尽量保住原有能力 | 中 | 压缩后模型 | 推理加速、模型瘦身 |
适用研究与落地场景
- 大模型持续学习，连续新增任务
- 数学推理、工具调用等强化学习微调
- 多任务部署，节省多套适配器存储空间
- 对模型灾难性遗忘敏感的行业私有化模型
【常见问题】
问题 1：Deletion Tuning 是什么，只删除不到 0.05% 权重就能给 AI 大模型带来新能力吗？
回答 1：Deletion Tuning 是纽约大学团队提出的后训练方法，只删除不到 0.05% 权重，不修改其余权重数值，在测试任务上可以达到接近全参数微调的效果，让 AI 大模型获得新能力。
问题 2：Deletion Tuning 和普通模型剪枝有什么区别？
回答 2：普通剪枝目标是删掉冗余权重、压缩模型、加快推理；Deletion Tuning 把删除权重当成微调手段，靠关闭少量权重通路来学习新任务，不是为了单纯压缩模型。
问题 3：Deletion Tuning 相比 LoRA 微调，最大优势是什么？
回答 3：Deletion Tuning 相比 LoRA 微调，在新增任务时旧能力遗忘更少，输出的掩码文件体积极小，适合需要持续学习、多任务并行部署的 AI 大模型场景。
【参考资料】
[2026-11-14]（仅删除不到 0.05% 权重，AI 大模型就能获得新能力？纽约大学团队提出 Deletion Tuning）新浪财经
[2026-11-12]（Meta Llama Learns by Deleting 0.05% of Weights: 3,600x Less）FourWeekMBA
[2026-11-07]（The Surprising Effectiveness of Deleting Weights in LLM Post-Training）arXiv
【免责声明】
本文仅为学术资讯整理，Deletion Tuning 目前属于前沿研究方案，相关效果来自论文实验，在不同模型、不同任务上的表现存在差异，不代表可以直接商用落地，完整实验结论以 arXiv 原版论文为准。