西北工业大学团队的 ROSE 拿到 NeurIPS 2026 Spotlight,它是一套面向多模态大模型的终身知识编辑框架,专门解决连续改知识时模型容易遗忘旧内容、知识边界混乱的老问题,不用全量重训,就能持续更新图文类事实,连续上千次编辑后依旧稳定,是多模态知识编辑方向一个很关键的新方案。之前很多多模态知识编辑方法,每次新增或者修改一条事实,都会改动模型里重叠的参数空间,改得多了之后就会出现灾难性遗忘,老知识被覆盖,还会出现不该触发的错误响应,也就是局部性侵蚀;ROSE 的核心思路是 “先导航、再融合”,把每一次参数更新限定在和之前编辑空间正交的子空间里,不让新修改和旧修改互相打架,同时搭配动态风险掩码,把模型基础能力依赖的参数保护起来,避免伤到模型原本的图文理解能力。推理阶段它采用多粒度知识融合策略,靠原型锚定语义门控,判断输入内容和编辑知识是否相关,相关才激活修改后的知识,无关请求依旧走原始预训练主干。在两套主流多模态测试集上,ROSE 在 5 项核心指标上和顶尖方法持平,并且可以稳定跑完 1000 轮连续编辑,代码也已经开源。
一、ROSE 两大核心阶段
- 编辑阶段:风险感知正交子空间导航
- 划定正交子空间:新的知识更新,只在之前编辑空间的正交补空间内调整参数,减少新旧编辑互相干扰
- 动态风险掩码:自动识别对模型基础能力很重要的参数子空间,打上保护标记,更新时不去改动
- 推理阶段:多粒度知识集成
- 原型锚定语义门控:计算输入和知识原型的相似度,判断要不要启用编辑后的知识
- 扰动驱动子空间融合:匹配上相关知识就融合编辑子空间;匹配不上,直接交给原始主干模型输出
二、ROSE 和传统多模态编辑方案对比
| 方案 | 是否支持连续上千次编辑 | 是否容易遗忘旧知识 | 是否保护模型基础能力 | 是否需要全量重训练 |
|---|---|---|---|---|
| ROSE | 支持,稳定性优秀 | 低,正交隔离新旧编辑 | 有动态风险掩码保护 | 不需要 |
| 单轮知识编辑 | 不适合连续叠加 | 高,多次编辑互相干扰 | 无专门保护机制 | 不需要 |
| 全量微调 | 基本不适合 | 极高,容易覆盖全部知识 | 无 | 需要,算力成本巨大 |
三、这项工作的核心亮点清单
- 拿到 NeurIPS 2026 Spotlight,属于会议重点推荐论文
- 专门针对多模态(图文)场景,不是只做文本大模型知识编辑
- 正交子空间 + 风险掩码组合,同时缓解灾难性遗忘和局部性侵蚀
- 1000 次连续编辑实验验证,长期迭代稳定性强
- 配套代码开源,方便其他研究者复现和二次开发
四、当前局限
- 目前只在标准多模态基准数据集上验证,真实海量持续更新场景还需要进一步测试
- 对超大规模多模态模型的显存开销、编辑速度,论文没有做详细优化对比
- 只聚焦事实类知识修改,不擅长大规模能力注入、风格改写这类任务
【相关 FAQ】
问题 1:NeurIPS 2026 Spotlight 里西工大 ROSE 是什么,属于多模态终身知识编辑吗?
回答 1:ROSE 是西北工业大学提出的风险感知正交子空间导航框架,是 NeurIPS 2026 Spotlight 论文,属于多模态终身知识编辑新范式,用来持续更新多模态大模型的图文事实知识。
问题 2:ROSE 做多模态终身知识编辑,怎么解决灾难性遗忘?
回答 2:ROSE 做多模态终身知识编辑时,把每一轮参数更新限制在历史编辑子空间的正交补空间,搭配动态风险掩码保护关键参数,减少新编辑覆盖旧知识,缓解灾难性遗忘。
问题 3:ROSE 多模态终身知识编辑,最多能稳定完成多少次连续编辑?
回答 3:在实验中 ROSE 这套多模态终身知识编辑方案可以稳定完成 1000 轮连续更新,在 5 项评价指标上保持和顶尖方案相当的效果。
问题 4:ROSE 做的多模态终身知识编辑,和全量微调有什么差别?
回答 4:ROSE 做的多模态终身知识编辑不需要全量重训,只修改限定子空间参数,不会大量破坏原有能力;全量微调算力开销极大,多次微调很容易出现严重遗忘。
【参考资料】
[2026-11-06](ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models)arXiv
[2026-11-06](NeurIPS 2026 Spotlight 西工大 ROSE:多模态大模型终身知识编辑)机器之心
[2026-11-05](西北工业大学 ROSE 论文开源:面向多模态大模型的终身知识编辑)AI 研究前线
【免责声明】
本文为 NeurIPS 2026 Spotlight ROSE 多模态终身知识编辑论文资讯整理,技术效果、指标结果以论文原文、开源代码实验结果为准;该技术仍处于学术研究阶段,不代表可直接商用落地,不构成技术选型、产品开发建议。
