您的位置首页 >科技要闻 >

新国大尤洋团队提出多模态 RSI 框架 The Trinity,转向能力驱动、实现未见任务均分 + 26.2 分提升

新加坡国立大学尤洋团队联合推出多模态 RSI 框架 The Trinity,核心思路是从传统的任务驱动范式转向能力驱动,在未见任务均分指标上取得 + 26.2 分的提升,这个成果解决了多模态模型在陌生新任务上泛化差的痛点。过去很多多模态模型都是任务驱动,训练的时候围绕一个个具体任务去拟合,一旦遇到训练里没见过的新任务,性能就会大幅下滑;而 The Trinity 框架不直接绑定具体任务,而是先拆解、学习底层通用能力,再用这些基础能力去组合完成新任务,所以在 RSI(Robust Spatial Instruction,鲁棒空间指令)这类多模态空间理解评测里,面对没有见过的任务,分数提升非常明显。

一、本次论文核心信息清单

  • 团队:新加坡国立大学尤洋团队(联合研究)
  • 新框架名称:The Trinity
  • 研究方向:多模态 RSI(鲁棒空间指令)
  • 核心范式转变:任务驱动 → 能力驱动
  • 关键指标:未见任务均分提升 26.2 分
  • 核心场景:多模态空间理解、视觉指令跟随、空间推理

二、任务驱动和能力驱动两种范式对比

对比维度任务驱动(传统方案)能力驱动(The Trinity)
学习目标学习每个任务对应的输出模式学习底层可复用的基础能力
对未见任务泛化弱,掉分严重依靠能力组合,泛化能力更强
模型训练方式任务样本独立训练能力拆解、能力对齐、能力组合调度
优点在见过的任务上拟合效果好陌生任务适应性强,迁移能力强
短板任务越多,训练成本越高,扩展性差需要设计合理的能力拆解体系,建模难度更高

三、The Trinity 框架的核心设计思路

  1. 能力拆解:把多模态空间指令任务拆解成若干独立、可复用的基础空间能力,比如定位、计数、距离判断、方向推理等。
  2. 能力学习:模型单独学习每一项基础能力,建立能力的表征空间。
  3. 动态组合:遇到新的未见任务时,模型自主判断需要调用哪些能力,动态组合完成推理。
  4. 对齐约束:加入跨模态对齐机制,保证图像视觉信息、空间信息、文本指令信息匹配一致。
  5. 评测验证:在 RSI 基准上做未见任务测试,验证能力驱动带来的泛化增益。

四、为什么未见任务均分可以提升 26.2 分

  1. 传统任务驱动模型容易过拟合训练任务的表面模式,而不是学到底层空间逻辑。
  2. The Trinity 把能力和任务解耦,新任务本质上是旧能力的新组合,不需要见过这个任务样本。
  3. RSI 基准重点考察空间指令、空间推理,这类任务天然适合拆解成基础空间能力。
  4. 框架内部做了空间感知的专项优化,减少视觉幻觉、空间位置判断错误。

五、这项成果的价值与局限

价值:给多模态空间指令、机器人视觉、具身智能领域提供新路线,后续做具身 Agent、视觉机器人,不用为每一个新任务单独采集数据微调,降低落地成本。

局限:目前增益是在 RSI 基准数据集上测出的 + 26.2 分,换到其他多模态基准、真实机器人场景,提升幅度不一定一致;能力拆解的设计比较依赖人工先验,能力划分是否最优还需要更多验证。

【常见问题】

问题 1:新国大尤洋团队的多模态 RSI 框架 The Trinity 从任务驱动到能力驱动,+26.2 分是什么指标?

回答 1:新国大尤洋团队的多模态 RSI 框架 The Trinity,从任务驱动转向能力驱动,+26.2 分指的是未见任务均分的提升,用来衡量模型在没有见过的新任务上的泛化性能。

问题 2:The Trinity 这个多模态 RSI 框架,能力驱动和任务驱动最大区别是什么?

回答 2:任务驱动是让模型直接学习一个个具体任务;The Trinity 多模态 RSI 框架采用能力驱动,先学习底层通用空间能力,遇到新任务再组合能力,因此在未见任务上拿到 + 26.2 分提升。

问题 3:The Trinity 多模态 RSI 框架适合哪些方向落地?

回答 3:The Trinity 多模态 RSI 框架主打空间指令理解,适合具身智能、机器人视觉、多模态空间推理这类场景,依靠能力驱动提升陌生任务的泛化表现。

【数据来源】

[2026-11-06](从任务驱动到能力驱动:新国大尤洋团队提出多模态 RSI 框架 The Trinity,未见任务均分 + 26.2)机器之心

[2026-11-06](The Trinity:面向鲁棒空间指令的能力驱动多模态框架)arXiv

[2026-11-05](多模态 RSI 新进展:能力化范式带来显著泛化提升)AI 研究简报

【免责声明】

本文为学术论文资讯解读,The Trinity 框架未见任务均分 + 26.2 分的结果是在特定 RSI 评测基准下得到的实验数据,在不同数据集、硬件、任务场景下效果存在差异。本文不代表技术落地效果承诺,不构成项目选型、技术投入的决策依据,相关技术细节请以论文原文为准。

今日大家都在搜的词: