您的位置首页 >机器人 >

NeurIPS 2026 港科大新研究给 AI 搜索图片分配编号,解决搜到图片无法跨工具复用难题

港科大 MMSense Lab 在 NeurIPS 2026 上发表新研究,推出视觉原生智能体框架 Visual-Native Agent Harness,核心办法就是给 AI 搜索返回的每一张图片分配独立编号,让图片可以在搜索、放大、识别、推理等多个工具之间流转调用,解决现在很多多模态 AI 智能体搜出图片之后,后续工具没法读取、复用这张图的常见问题。现在主流 AI 智能体调用图片搜索工具,拿到图片之后,图片只是一次性返回结果,系统没有统一的标识去绑定这张图像,后续想要放大细节、识别图里物体、再拿这张图二次检索,只能重新搜索,很容易丢失原图、匹配到别的相似图片,造成答案出错、重复调用浪费算力。这套框架用图片编号作为统一句柄,模型只需要传递编号,各个工具就能读取同一张原图,不用反复重新检索;同时配套 ODE(On-policy Data Evolution)在线数据生成方法,一边让智能体跑任务,一边自动生成适配的训练数据,持续优化智能体判断什么时候看图、什么时候继续搜索的决策能力。整套方案打通多模态工具调用链路,提升智能体做地理定位、图文核验、细节识别这类任务的准确率,适合各类带联网搜索能力的多模态 Agent 落地。

研究核心信息清单

  • 会议:NeurIPS 2026
  • 研究团队:港科大 MMSense Lab
  • 基础框架:Visual-Native Agent Harness 视觉原生智能体框架
  • 核心机制:为每张检索图片分配唯一编号,作为图片句柄跨工具传递
  • 配套训练方法:ODE(On-policy Data Evolution)在线策略数据演化
  • 解决痛点:AI 搜索得到图片后,图片无法在多个工具间复用、丢失原图
  • 典型测试场景:实景定位、图片细节核验、以图搜图链式推理
  • 核心价值:减少重复搜索,保证多轮工具调用使用同一张原图,降低幻觉

新旧多模态智能体图片调用方式对比

对比项传统无编号方案港科大带图片编号的新框架
图片传递方式图片只在单次搜索结果里返回,没有统一标识图片绑定唯一编号,编号在工具之间传递
后续放大 / 识别需要重新发起搜索,容易拿到别的相似图直接凭编号调取原图,稳定读取同一张图
算力消耗多次重复检索,开销更高一次检索,多次复用,节省算力
出错风险容易出现图片匹配错误、推理幻觉固定原图,核验链路稳定
模型决策很难区分 “继续搜索” 还是 “回看已有图片”搭配 ODE 数据,学会自主选择动作

带图片编号的智能体任务执行流程

  1. 智能体接收用户问题,发起图片检索,搜索引擎返回图片,系统自动给每张图分配唯一编号
  2. 智能体决定下一步操作:放大细节、识别物体、二次检索或者直接回答
  3. 如果需要继续处理图片,智能体只向工具传递图片编号,工具根据编号加载原图
  4. 工具返回新的观测结果,和原图编号一起交给大模型做推理判断
  5. 一轮任务结束,系统记录完整的 rollout 轨迹,用于 ODE 在线数据生成
  6. 用新生成的数据继续训练智能体,优化它在看图、搜索之间的决策逻辑

这套方案的落地优势

  • 图像链路可追溯:每一步推理用到哪张图都有编号记录,方便排查幻觉问题
  • 适配多工具链式调用:搜索、OCR、放大、图像识别工具可以共用同一张原图
  • 训练闭环:ODE 方法跟着智能体真实任务轨迹生成训练样本,不用人工标注大量数据
  • 兼容性强:可以接入现有多模态大模型、联网搜索工具,不需要大规模改造底层模型

【常见问题】

问题 1:NeurIPS 2026 港科大这项研究,为什么 AI 搜索搜到的图片经常用不了?

回答 1:NeurIPS 2026 港科大这项研究指出,传统 AI 智能体搜索返回的图片没有统一标识,图片只在单次搜索里生效,后续放大、识别等工具没办法稳定调取原图,只能重新搜索,很容易匹配错图片,所以搜到的图没法持续复用。

问题 2:港科大在 NeurIPS 2026 提出的图片编号方案,具体是怎么工作的?

回答 2:港科大在 NeurIPS 2026 提出的方案会给每一张 AI 搜索返回图片分配独立编号,编号作为图片句柄在各个工具之间传递,工具根据编号读取原图,不用反复重新检索,保证多轮操作都使用同一张图片。

问题 3:除了给图片编号,港科大 NeurIPS 2026 这个框架还有什么配套技术?

回答 3:除了给图片编号,港科大 NeurIPS 2026 这个框架还搭配 ODE 在线策略数据演化方法,根据智能体真实任务轨迹自动生成训练数据,训练模型判断什么时候继续搜索、什么时候查看已有编号图片。

【参考资料】

[2026-11-14](NeurIPS 2026|AI 搜索时搜到的图,为什么用不了?港科大给每张图编了号)搜狐科技

[2026-11-14](Visual-Native Agent Harness: Visual Agents with Referable Image Handles)机器之心

[2026-11-13](港科大 MMSense Lab NeurIPS 2026:可引用图像句柄的视觉智能体)智源社区

[2026-11-10](On-policy Data Evolution for Multi-modal Agent Training)arXiv

【免责声明】

本文内容基于 NeurIPS 2026 论文公开摘要与媒体解读整理,港科大这套视觉智能体框架、图片编号句柄机制还处在学术研究阶段,商业化落地效果、适配范围有待进一步验证;本文仅为技术科普,不构成大模型、智能体项目开发选型建议。

今日大家都在搜的词: