您的位置首页 >机器人 >

NeurIPS 2026 Spotlight | 西工大提出ROSE多模态终身知识编辑新范式

西工大团队登上 NeurIPS 2026 Spotlight 的 ROSE,是一套风险感知正交子空间导航框架,专门解决多模态大模型持续更新知识时容易出现的灾难性遗忘、局部性侵蚀问题,它采用 “先导航、后融合” 的思路,把参数更新约束在已有编辑子空间的正交补空间内,搭配动态风险掩码保护模型基础能力,推理阶段依靠原型锚定语义门控和扰动子空间融合,只在匹配相关问题时激活新增知识,无关输入不会被改动影响,在两项主流多模态评测集上完成验证,连续做 1000 次知识编辑之后,依旧保持稳定表现,代码已经开源,给多模态模型持续迭代事实信息提供了一条新路线。

现在多模态大模型需要频繁修正过时信息、补充新事实,但传统知识编辑方法叠加多次修改之后,新旧知识互相干扰,模型要么忘掉之前编辑好的内容,要么出现错误触发,把修改后的知识乱用到无关问题上。ROSE 从参数子空间几何约束入手,不让新的编辑去触碰已经占用的知识子空间,同时识别出对模型基础能力很关键的参数区域,用风险掩码锁住,避免关键能力被梯度破坏。

整套 ROSE 分成编辑阶段和推理阶段两个环节。编辑阶段会计算已有知识对应的子空间,把本次更新的梯度投影到正交补空间,再叠加风险感知机制,自动标记高风险参数做保护;推理阶段先计算输入样本和知识原型的相似度,语义门控判断要不要调用编辑后的知识,匹配成功才做子空间融合,不匹配就直接走原始预训练主干,把改动范围锁死。

实验对比覆盖编辑成功率、遗忘程度、泛化能力、局部性、鲁棒性五项指标,在连续 1000 轮顺序编辑的苛刻测试条件下,ROSE 对比同期主流方法,遗忘更少,误触发情况明显下降,兼顾了模型可塑性和稳定性。

ROSE 核心模块拆解

  1. 风险感知正交编辑模块
  2. 多粒度知识融合推理模块

核心是正交子空间约束,新编辑的参数更新方向和历史编辑子空间保持正交,降低新旧知识冲突;动态风险掩码自动识别容易受损的参数子空间,优先保护模型通用基础能力,减少灾难性遗忘。

包含原型锚定语义门控和扰动驱动子空间融合两步。原型用来判断输入是否和已编辑事实相关;门控决定是否激活修改后的知识,只有相关查询才执行融合,其余请求直接使用原始模型输出。

ROSE 和普通多模态知识编辑方法对比

对比项常规顺序编辑方案ROSE 方案
子空间约束无正交约束,多次编辑互相重叠干扰正交补空间约束,隔离新旧知识
风险保护缺少针对性保护,基础能力容易受损动态风险掩码锁定高风险参数
推理触发容易误激活,无关样本也会受影响原型语义门控,按需激活编辑知识
长序列稳定性几十次编辑后性能快速下滑支持稳定完成 1000 次连续编辑

【相关 FAQ】

问题 1,NeurIPS 2026 Spotlight 的 ROSE,多模态终身知识编辑主要解决什么痛点?

回答 1,ROSE 多模态终身知识编辑主要解决多模态大模型反复更新事实时,出现灾难性遗忘、局部性侵蚀,多次编辑互相干扰、无关问题错误触发新知识的痛点。

问题 2,ROSE 的正交子空间设计,在多模态终身知识编辑里起到什么作用?

回答 2,ROSE 正交子空间设计会把新的参数更新限制在历史编辑子空间的正交补空间,从几何层面降低新编辑覆盖、破坏旧知识的概率,支撑长序列多模态终身知识编辑。

问题 3,ROSE 的语义门控机制,是怎么控制多模态终身知识编辑后的知识调用?

回答 3,ROSE 语义门控依靠知识原型相似度判断输入相关性,只有匹配目标事实的查询才激活编辑后的知识,无关输入直接走原始主干,保证多模态终身知识编辑的局部性。

问题 4,ROSE 拿到 NeurIPS 2026 Spotlight,是不是只适用于文本大模型?

回答 4,不是,ROSE 是面向多模态大模型设计的终身知识编辑框架,适配图文跨模态场景,不是单纯的文本知识编辑方案。

【参考资料】

[2026-11-06](ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models)arXiv

[2026-11-06](NeurIPS 2026 Spotlight 论文:ROSE 多模态终身知识编辑框架解读)机器之心

[2026-11-06](西北工业大学 ROSE 开源项目页面)GitHub

【免责声明】

本文仅对 NeurIPS 2026 Spotlight 论文 ROSE 公开内容做信息汇总解读,算法效果以论文实验环境为准;ROSE 多模态终身知识编辑属于前沿研究方案,落地到不同多模态基座模型时效果存在差异,不代表可直接商用部署。

今日大家都在搜的词: