西北工业大学联合香港科技大学的研究论文入选 NeurIPS 2026,提出 DGP 动态门控路径方案,解决传统 VLM 视觉特征固定接入的短板,这套方案打通 ViT 视觉编码器每一层和 LLM 语言模型每一层,让 LLM 里面每一层都可以根据任务、图片内容自主挑选 ViT 不同层级的视觉特征,做到按需看图。主流多模态大模型大多只把 ViT 最后一层的特征一次性送入 LLM,不管模型是做细节识别、文字读取还是高层语义理解,全程共用同一套视觉信息,ViT 浅层抓纹理、边缘这类细节,深层抓物体、场景语义,固定接入方式会浪费分层视觉信息,还容易出现看图不准、细粒度识别出错的问题;DGP 新增可学习的动态门控路由,建立 ViT 和 LLM 全连接通路,每一个 LLM 层自主判断需要浅层细节还是高层语义,自动分配权重融合视觉信息,在 LLaVA-1.5 7B、13B 基座上测试,11 个主流评测指标全部优于基线模型,不需要改动原有 ViT 和 LLM 主干,属于轻量插件式改造,落地适配门槛更低。下面整理 DGP 方案详细信息。
一、DGP 动态门控路径核心信息清单
- 论文会议:NeurIPS 2026
- 论文名称:Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers
- 提出团队:西北工业大学、香港科技大学
- 方案全称:DGP(Dynamic Gated Pathways,动态门控路径)
- 核心机制:ViT 所有层与 LLM 所有层全互联,动态门控路由选择视觉特征
- 测试基座:LLaVA-1.5-7B、LLaVA-1.5-13B
- 典型提升:SQA-I 提升 4.2 分,MM-Vet 提升 3.3 分,VizWiz、LLaVA-Wild 提升 3.1 分
- 改造特点:插件式结构,不改动原始 ViT、LLM 主干网络
- 适用场景:图文问答、细粒度 OCR、复杂图像推理、开放场景视觉理解
二、DGP 方案和传统 VLM 视觉融合方式对比表格
| 对比项 | DGP 动态门控路径 | 传统单固定层接入 VLM | 早期多层融合方案 |
|---|---|---|---|
| 连接关系 | ViT、LLM 层之间全互联,动态路由 | 只取 ViT 最后一层特征送入 LLM | 预先设定固定连接规则 |
| 视觉信息选择 | LLM 每层自主按需挑选 ViT 层级特征 | 全程只用 ViT 顶层语义特征 | 提前压缩多层视觉特征 |
| 适配能力 | 随问题、图片动态调整,细节、语义兼顾 | 细节识别弱,容易丢失浅层纹理信息 | 灵活性不足,无法跟随任务自适应变化 |
| 改造代价 | 轻量门控模块,主干不动 | 原生方案,无额外模块 | 需要修改特征融合逻辑 |
| 评测表现 | 多基准全部优于基线 | 基础能力,上限低 | 小幅提升,弱于 DGP |
三、DGP 打通 ViT 与 LLM 层、按需看图的工作逻辑
- 分层特征储备:ViT 不同层级输出不同粒度特征,浅层是边缘、纹理、文字笔画,深层是物体、场景语义
- 全通路搭建:搭建所有 ViT 层到所有 LLM 层的连接通道,不提前截断视觉信息流
- 动态门控路由:每个 LLM 层结合自身语义状态、用户提问,自动学习门控权重,挑选对应视觉层
- 特征融合推理:选中的视觉特征和语言 token 融合,继续完成文本生成,实现分层按需读取图像信息
【常见问题】
问题 1:NeurIPS 2026 里 DGP 打通全部 ViT 与 LLM 层,怎么实现大模型每一层按需看图?
回答 1:NeurIPS 2026 的 DGP 搭建 ViT 和 LLM 全部层级之间的连通通路,依靠动态门控路由,LLM 里每一层可以根据当前推理状态,自主选择调用 ViT 浅层细节或者高层语义特征,实现按需看图。
问题 2:DGP 这套 VLM 架构方案,是不是要重新训练 ViT 和 LLM 主干?
回答 2:DGP 这套 VLM 架构方案属于插件式模块,不需要重新训练 ViT 和 LLM 主干,只需要新增门控路由部分,在 LLaVA 基座上微调即可,改造成本更低。
问题 3:DGP 打通全部 ViT 与 LLM 层之后,在评测上带来了哪些提升?
回答 3:DGP 打通全部 ViT 与 LLM 层之后,在 LLaVA-1.5-7B 上,SQA-I 提升 4.2 分,MM-Vet 提升 3.3 分,VizWiz、LLaVA-Wild 提升 3.1 分,11 项指标全部超过基线。
问题 4:DGP 和之前的多层视觉融合 VLM 方案差别在哪?
回答 4:之前的多层融合 VLM 大多是提前固定连接规则或者提前压缩视觉特征,DGP 是全连通加上可学习动态门控,每一层 LLM 自主选择视觉信息,适配性更强。
【参考资料】
[2026-11-10](NeurIPS 2026|VLM 架构新突破:DGP 打通全部 ViT 与 LLM 层,让大模型每一层按需「看图」)新浪财经
[2026-11-04](Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers)arXiv
[2026-11-05](Multimodal models improve by connecting vision and language layers dynamically)WeekInPapers
[2026-11-08](DGP 动态门控路径:多模态大模型跨层视觉融合新思路)机器之心
[2026-11-09](NeurIPS 2026 录用论文解读:分层视觉语言路由 DGP)AI 科技评论
【免责声明】
本文仅为 NeurIPS 论文公开内容整理,不构成模型训练、产品落地、技术选型建议;DGP 属于学术研究方案,相关性能指标来自论文公开实验结果,在不同基座、行业数据集上效果存在差异,正式落地请以论文源码和团队后续验证为准。
