传统文生图、多模态图像编辑方案大多要额外搭配独立打分模型、外部裁判来判断图片对错,再触发修改,整套链路复杂、部署成本高,南洋理工、上海交大、东京大学团队提出 UMM-Reflection 方案,基于 BAGEL 统一多模态模型,用交错强化学习训练完整的反思修改轨迹,同一个模型同时负责看图诊断错误、生成修改意见、重新绘图,推理阶段完全不用外部校验器。经过训练之后,模型对出错图片的修复成功率从 20.6% 涨到 64.9%,接近原来的 3 倍,GenEval 指标从 0.72 提升到 0.84,其中空间位置子项提升幅度最大,从 0.47 到 0.89,在 WISE 这类训练时没有见过的测试集上也拿到 11 个点提升,效果优于直接对生成模块做强化学习,模型、代码、训练数据集全部开源。
一、UMM-Reflection 方案基础信息表
| 项目 | 详情 |
|---|---|
| 方案名称 | UMM-Reflection |
| 基础模型 | BAGEL 统一多模态模型 |
| 研究团队 | 南洋理工大学、上海交通大学、东京大学 |
| 核心训练方式 | 反思 SFT 冷启动 + 全轨迹交错强化学习 |
| 核心特点 | 同一模型完成看图、诊断、改图,推理无外部裁判 |
| GenEval 指标变化 | 0.72 → 0.84 |
| 空间位置子项 | 0.47 → 0.89 |
| 错误图像修复成功率 | 20.6% → 64.9%(约 3 倍) |
| 开源情况 | 模型、代码、训练数据开源 |
二、UMM-Reflection 看图改图闭环流程清单
- 初始生成:模型根据用户文本提示,输出第一张图像草稿
- 自主反思诊断:模型读取自己生成的图片,对照原始提示找出问题,输出错误诊断文本
- 迭代修改:依据诊断内容,在原图基础上调整重绘,修正数量、位置、颜色绑定错误
- 自校验判断:模型再次检查修改后的图像,判断是否满足指令,决定停止修改或者继续迭代
- 输出结果:确认满足要求后输出最终图像
三、对比传统方案的差异
- 传统方案:生成模型 + 独立外部打分裁判,裁判单独判断对错,反馈给生成模型修改,多模型串联,部署重、延迟高
- UMM-Reflection:单模型闭环,理解、打分、修改能力都在同一个模型内部,不需要额外外部裁判
- 训练逻辑:优化整条 “反思 - 诊断 - 修改” 完整轨迹,而不是只优化图像生成环节
四、主要提升的能力方向
- 物体空间位置关系:左右、上下、包含关系这类约束错误大幅减少
- 物体计数:精准控制画面里物体数量,避免多画、少画
- 属性绑定:颜色、材质、特征和对应物体正确绑定,不会出现颜色错位
- 跨基准泛化:在训练没有见过的 WISE、OneIG-Bench、T2I-CompBench++ 都有正向提升
五、现存局限
- 复杂超长提示、超多物体组合场景,多次迭代之后依然会出现残留错误
- 迭代修改会增加推理耗时,单次出图速度比一次性生成更慢
- 美学、风格类主观指标没有纳入这套自反思优化目标,主要提升指令对齐的准确率
【常见问题】
问题 1:统一多模态模型学会自己看图改图,GenEval 从 0.72 提升至 0.84 依靠什么方案?
回答 1:统一多模态模型学会自己看图改图,GenEval 从 0.72 提升至 0.84 依靠 UMM-Reflection 方案,基于 BAGEL 模型训练反思修改闭环,推理阶段不需要外部裁判。
问题 2:统一多模态模型学会自己看图改图,修复成功率提升到 3 倍具体是什么数据?
回答 2:统一多模态模型学会自己看图改图,出错图像修复成功率从 20.6% 提升到 64.9%,修复成功率接近原来 3 倍。
问题 3:统一多模态模型学会自己看图改图,GenEval 0.72→0.84 里提升最明显的子项是什么?
回答 3:统一多模态模型学会自己看图改图,GenEval 0.72→0.84 里空间位置子项提升最明显,得分从 0.47 提升至 0.89。
问题 4:统一多模态模型学会自己看图改图,UMM-Reflection 和带外部裁判的方案区别在哪?
回答 4:统一多模态模型学会自己看图改图,UMM-Reflection 在同一个模型内部完成看图诊断、修改、自校验,不带外部裁判;传统方案需要额外独立打分模型作为外部裁判。
【参考资料】
[2026-11-10](不靠外部裁判,统一多模态模型学会自己「看图改图」:修复成功率提升到 3 倍,GenEval 0.72→0.84)机器之心
[2026-11-11](Unified Multimodal Models Learn to "See and Edit Images" Autonomously Without External Judges)C114Pro
[2026-09-30](Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning)arXiv
[2026-11-10](统一多模态模型自反思改图,GenEval 0.72 提升至 0.84)凤凰网
[2026-11-10](UMM-Reflection:单模型闭环看图改图技术解读)Reportify
【免责声明】
本文仅整理公开学术论文与行业资讯,不构成模型选型、商用部署、采购建议;统一多模态模型看图改图的效果、GenEval 测试结果为论文实验条件下数据,在复杂提示、高分辨率场景、不同基础模型上表现存在差异;模型落地效果、迭代速度、稳定性以官方开源仓库实测为准。
