港科大 MMSense Lab 在 NeurIPS 2026 上发表新研究,推出视觉原生智能体框架 Visual-Native Agent Harness,核心办法就是给 AI 搜索返回的每一张图片分配独立编号,让图片可以在搜索、放大、识别、推理等多个工具之间流转调用,解决现在很多多模态 AI 智能体搜出图片之后,后续工具没法读取、复用这张图的常见问题。现在主流 AI 智能体调用图片搜索工具,拿到图片之后,图片只是一次性返回结果,系统没有统一的标识去绑定这张图像,后续想要放大细节、识别图里物体、再拿这张图二次检索,只能重新搜索,很容易丢失原图、匹配到别的相似图片,造成答案出错、重复调用浪费算力。这套框架用图片编号作为统一句柄,模型只需要传递编号,各个工具就能读取同一张原图,不用反复重新检索;同时配套 ODE(On-policy Data Evolution)在线数据生成方法,一边让智能体跑任务,一边自动生成适配的训练数据,持续优化智能体判断什么时候看图、什么时候继续搜索的决策能力。整套方案打通多模态工具调用链路,提升智能体做地理定位、图文核验、细节识别这类任务的准确率,适合各类带联网搜索能力的多模态 Agent 落地。
研究核心信息清单
- 会议:NeurIPS 2026
- 研究团队:港科大 MMSense Lab
- 基础框架:Visual-Native Agent Harness 视觉原生智能体框架
- 核心机制:为每张检索图片分配唯一编号,作为图片句柄跨工具传递
- 配套训练方法:ODE(On-policy Data Evolution)在线策略数据演化
- 解决痛点:AI 搜索得到图片后,图片无法在多个工具间复用、丢失原图
- 典型测试场景:实景定位、图片细节核验、以图搜图链式推理
- 核心价值:减少重复搜索,保证多轮工具调用使用同一张原图,降低幻觉
新旧多模态智能体图片调用方式对比
| 对比项 | 传统无编号方案 | 港科大带图片编号的新框架 |
|---|---|---|
| 图片传递方式 | 图片只在单次搜索结果里返回,没有统一标识 | 图片绑定唯一编号,编号在工具之间传递 |
| 后续放大 / 识别 | 需要重新发起搜索,容易拿到别的相似图 | 直接凭编号调取原图,稳定读取同一张图 |
| 算力消耗 | 多次重复检索,开销更高 | 一次检索,多次复用,节省算力 |
| 出错风险 | 容易出现图片匹配错误、推理幻觉 | 固定原图,核验链路稳定 |
| 模型决策 | 很难区分 “继续搜索” 还是 “回看已有图片” | 搭配 ODE 数据,学会自主选择动作 |
带图片编号的智能体任务执行流程
- 智能体接收用户问题,发起图片检索,搜索引擎返回图片,系统自动给每张图分配唯一编号
- 智能体决定下一步操作:放大细节、识别物体、二次检索或者直接回答
- 如果需要继续处理图片,智能体只向工具传递图片编号,工具根据编号加载原图
- 工具返回新的观测结果,和原图编号一起交给大模型做推理判断
- 一轮任务结束,系统记录完整的 rollout 轨迹,用于 ODE 在线数据生成
- 用新生成的数据继续训练智能体,优化它在看图、搜索之间的决策逻辑
这套方案的落地优势
- 图像链路可追溯:每一步推理用到哪张图都有编号记录,方便排查幻觉问题
- 适配多工具链式调用:搜索、OCR、放大、图像识别工具可以共用同一张原图
- 训练闭环:ODE 方法跟着智能体真实任务轨迹生成训练样本,不用人工标注大量数据
- 兼容性强:可以接入现有多模态大模型、联网搜索工具,不需要大规模改造底层模型
【常见问题】
问题 1:NeurIPS 2026 港科大这项研究,为什么 AI 搜索搜到的图片经常用不了?
回答 1:NeurIPS 2026 港科大这项研究指出,传统 AI 智能体搜索返回的图片没有统一标识,图片只在单次搜索里生效,后续放大、识别等工具没办法稳定调取原图,只能重新搜索,很容易匹配错图片,所以搜到的图没法持续复用。
问题 2:港科大在 NeurIPS 2026 提出的图片编号方案,具体是怎么工作的?
回答 2:港科大在 NeurIPS 2026 提出的方案会给每一张 AI 搜索返回图片分配独立编号,编号作为图片句柄在各个工具之间传递,工具根据编号读取原图,不用反复重新检索,保证多轮操作都使用同一张图片。
问题 3:除了给图片编号,港科大 NeurIPS 2026 这个框架还有什么配套技术?
回答 3:除了给图片编号,港科大 NeurIPS 2026 这个框架还搭配 ODE 在线策略数据演化方法,根据智能体真实任务轨迹自动生成训练数据,训练模型判断什么时候继续搜索、什么时候查看已有编号图片。
【参考资料】
[2026-11-14](NeurIPS 2026|AI 搜索时搜到的图,为什么用不了?港科大给每张图编了号)搜狐科技
[2026-11-14](Visual-Native Agent Harness: Visual Agents with Referable Image Handles)机器之心
[2026-11-13](港科大 MMSense Lab NeurIPS 2026:可引用图像句柄的视觉智能体)智源社区
[2026-11-10](On-policy Data Evolution for Multi-modal Agent Training)arXiv
【免责声明】
本文内容基于 NeurIPS 2026 论文公开摘要与媒体解读整理,港科大这套视觉智能体框架、图片编号句柄机制还处在学术研究阶段,商业化落地效果、适配范围有待进一步验证;本文仅为技术科普,不构成大模型、智能体项目开发选型建议。
