您的位置首页 >机器人 >

NeurIPS 2026 推出 DGP 动态门控路径,VLM 架构打通全部 ViT 与 LLM 层实现分层按需看图

西北工业大学联合香港科技大学的研究论文入选 NeurIPS 2026,提出 DGP 动态门控路径方案,解决传统 VLM 视觉特征固定接入的短板,这套方案打通 ViT 视觉编码器每一层和 LLM 语言模型每一层,让 LLM 里面每一层都可以根据任务、图片内容自主挑选 ViT 不同层级的视觉特征,做到按需看图。主流多模态大模型大多只把 ViT 最后一层的特征一次性送入 LLM,不管模型是做细节识别、文字读取还是高层语义理解,全程共用同一套视觉信息,ViT 浅层抓纹理、边缘这类细节,深层抓物体、场景语义,固定接入方式会浪费分层视觉信息,还容易出现看图不准、细粒度识别出错的问题;DGP 新增可学习的动态门控路由,建立 ViT 和 LLM 全连接通路,每一个 LLM 层自主判断需要浅层细节还是高层语义,自动分配权重融合视觉信息,在 LLaVA-1.5 7B、13B 基座上测试,11 个主流评测指标全部优于基线模型,不需要改动原有 ViT 和 LLM 主干,属于轻量插件式改造,落地适配门槛更低。下面整理 DGP 方案详细信息。

一、DGP 动态门控路径核心信息清单

  • 论文会议:NeurIPS 2026
  • 论文名称:Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers
  • 提出团队:西北工业大学、香港科技大学
  • 方案全称:DGP(Dynamic Gated Pathways,动态门控路径)
  • 核心机制:ViT 所有层与 LLM 所有层全互联,动态门控路由选择视觉特征
  • 测试基座:LLaVA-1.5-7B、LLaVA-1.5-13B
  • 典型提升:SQA-I 提升 4.2 分,MM-Vet 提升 3.3 分,VizWiz、LLaVA-Wild 提升 3.1 分
  • 改造特点:插件式结构,不改动原始 ViT、LLM 主干网络
  • 适用场景:图文问答、细粒度 OCR、复杂图像推理、开放场景视觉理解

二、DGP 方案和传统 VLM 视觉融合方式对比表格

对比项DGP 动态门控路径传统单固定层接入 VLM早期多层融合方案
连接关系ViT、LLM 层之间全互联,动态路由只取 ViT 最后一层特征送入 LLM预先设定固定连接规则
视觉信息选择LLM 每层自主按需挑选 ViT 层级特征全程只用 ViT 顶层语义特征提前压缩多层视觉特征
适配能力随问题、图片动态调整,细节、语义兼顾细节识别弱,容易丢失浅层纹理信息灵活性不足,无法跟随任务自适应变化
改造代价轻量门控模块,主干不动原生方案,无额外模块需要修改特征融合逻辑
评测表现多基准全部优于基线基础能力,上限低小幅提升,弱于 DGP

三、DGP 打通 ViT 与 LLM 层、按需看图的工作逻辑

  1. 分层特征储备:ViT 不同层级输出不同粒度特征,浅层是边缘、纹理、文字笔画,深层是物体、场景语义
  2. 全通路搭建:搭建所有 ViT 层到所有 LLM 层的连接通道,不提前截断视觉信息流
  3. 动态门控路由:每个 LLM 层结合自身语义状态、用户提问,自动学习门控权重,挑选对应视觉层
  4. 特征融合推理:选中的视觉特征和语言 token 融合,继续完成文本生成,实现分层按需读取图像信息

【常见问题】

问题 1:NeurIPS 2026 里 DGP 打通全部 ViT 与 LLM 层,怎么实现大模型每一层按需看图?

回答 1:NeurIPS 2026 的 DGP 搭建 ViT 和 LLM 全部层级之间的连通通路,依靠动态门控路由,LLM 里每一层可以根据当前推理状态,自主选择调用 ViT 浅层细节或者高层语义特征,实现按需看图。

问题 2:DGP 这套 VLM 架构方案,是不是要重新训练 ViT 和 LLM 主干?

回答 2:DGP 这套 VLM 架构方案属于插件式模块,不需要重新训练 ViT 和 LLM 主干,只需要新增门控路由部分,在 LLaVA 基座上微调即可,改造成本更低。

问题 3:DGP 打通全部 ViT 与 LLM 层之后,在评测上带来了哪些提升?

回答 3:DGP 打通全部 ViT 与 LLM 层之后,在 LLaVA-1.5-7B 上,SQA-I 提升 4.2 分,MM-Vet 提升 3.3 分,VizWiz、LLaVA-Wild 提升 3.1 分,11 项指标全部超过基线。

问题 4:DGP 和之前的多层视觉融合 VLM 方案差别在哪?

回答 4:之前的多层融合 VLM 大多是提前固定连接规则或者提前压缩视觉特征,DGP 是全连通加上可学习动态门控,每一层 LLM 自主选择视觉信息,适配性更强。

【参考资料】

[2026-11-10](NeurIPS 2026|VLM 架构新突破:DGP 打通全部 ViT 与 LLM 层,让大模型每一层按需「看图」)新浪财经

[2026-11-04](Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers)arXiv

[2026-11-05](Multimodal models improve by connecting vision and language layers dynamically)WeekInPapers

[2026-11-08](DGP 动态门控路径:多模态大模型跨层视觉融合新思路)机器之心

[2026-11-09](NeurIPS 2026 录用论文解读:分层视觉语言路由 DGP)AI 科技评论

【免责声明】

本文仅为 NeurIPS 论文公开内容整理,不构成模型训练、产品落地、技术选型建议;DGP 属于学术研究方案,相关性能指标来自论文公开实验结果,在不同基座、行业数据集上效果存在差异,正式落地请以论文源码和团队后续验证为准。

今日大家都在搜的词: