NeurIPS 2026 收录论文 DGP（Dynamic Gated Pathways，动态门控通路）提出 VLM 架构创新方案，构建 ViT 视觉编码器所有层与 LLM 大语言模型所有层之间的全连接通路，每个 LLM 层可以根据自身语义状态，动态选择不同粒度的 ViT 视觉特征，实现每一层都能按需 “看图”，解决传统多模态模型固定单点注入视觉信息的缺陷。主流 VLM 大多只把 ViT 最后一层特征送入 LLM，或者提前预设固定跨层连接，LLM 浅层、深层拿到的视觉信息粒度统一，和当前推理阶段需要的细节 / 全局视觉信息不匹配；DGP 采用动态路由门控机制，不预先锁死连接关系，模型在推理时自主决定每一层取用哪一层 ViT 特征，浅层偏向细节纹理、深层偏向全局语义，视觉对齐更贴合语言推理流程。该方案基于 LLaVA-1.5-7B、13B 基线改造，在 SQA-I、MM-Vet、VizWiz 等多模态基准上稳定提升，代码已开源，属于轻量化插入式模块，不用大规模重训基座模型。
一、DGP 架构核心信息清单
- 论文会议：NeurIPS 2026
- 方案全称：Dynamic Gated Pathways（DGP，动态门控通路）
- 核心机制：ViT 全部层 ↔ LLM 全部层全互联，动态门控路由
- 基线模型：LLaVA-1.5 7B / 13B
- 核心效果：SQA-I 提升 + 4.2、MM-Vet 提升 + 3.3、VizWiz、LLaVA-W 提升 + 3.1，优于过往多层融合方案
- 开源地址：https://github.com/YingyingYan1/DGP
- 改造形式：插件式路由模块，冻结基座，轻量微调即可接入
- 核心优势：动态自适应视觉粒度，而非固定视觉注入位置
- 局限：全互联通路会带来一定推理开销，需要门控做稀疏化约束
二、DGP 对比传统 VLM 视觉融合方案对比表
| 方案 | 视觉注入方式 | 视觉粒度选择 | 适配推理阶段 | 计算开销 |
|---|---|---|---|---|
| 传统单点注入（LLaVA 原版） | 仅 ViT 最后一层特征送入 LLM 固定位置 | 全局固定粒度，不可选 | 所有 LLM 层共用同一套视觉特征 | 低 |
| 预设多层融合 | 提前定义好 ViT 层和 LLM 层连接关系 | 连接固定，无法动态调整 | 无法随语义推理自适应切换 | 中等 |
| DGP 动态门控通路 | ViT 所有层与 LLM 所有层全连通，门控动态选通 | 每层自主选择细粒度 / 粗粒度视觉特征 | LLM 浅层抓细节、深层抓全局语义 | 偏高，依赖门控稀疏化降本 |
三、DGP 模块落地与验证操作步骤
- 准备基础 VLM 基座，如 LLaVA-1.5，冻结 ViT、LLM 主干权重
- 插入 DGP 动态门控路由模块，建立 ViT 各层特征池，每一层 LLM 接入路由选择器
- 多模态指令微调，学习门控策略：根据当前 LLM 隐状态，学习选择对应 ViT 层级特征
- 推理阶段，每个 LLM Transformer 层独立触发门控，动态调取对应视觉特征
- 在多模态评测集（MM-Vet、SQA-I、VizWiz）上对比图文问答、视觉推理指标
- 观测路由热力图，验证浅层倾向底层 ViT 细节特征、高层倾向顶层全局语义特征
四、架构创新价值与现存短板
创新价值
- 打破 “固定位置注入视觉特征” 的行业惯性，让 VLM 每一层都拥有自主取用图像信息的能力
- 视觉粒度分层匹配语言推理流程，提升复杂图文推理、细粒度视觉问答效果
- 模块化设计，可直接嫁接在现有主流 VLM 之上，不需要从零训练多模态基座
- 路由可视化，方便研究者分析 VLM 内部视觉语义对齐过程，可解释性更强
短板与待优化点
- 全连接通路天然存在冗余计算，推理延迟、显存占用高于单点注入方案
- 门控策略依赖微调数据分布，跨领域、陌生图像场景下路由选择稳定性有待验证
- 当前仅在 LLaVA 系列验证，在 Gemini、Qwen-VL 等其他 VLM 基座上的泛化性还需要更多测试
- 没有改变 ViT 和 LLM 本身主干，属于融合层优化，对底层视觉编码器缺陷修复有限
【常见问题】
问题 1：NeurIPS 2026 的 DGP VLM 架构新突破，怎么实现打通全部 ViT 与 LLM 层、每层按需看图？
回答 1：DGP 搭建 ViT 所有层和 LLM 所有层之间的全连通通路，搭配动态门控路由；每一个 LLM 层会根据自身当前语义状态，自主选择调用 ViT 低层细节特征或者高层全局特征，而不是统一接收固定位置的图像特征，实现按需看图。
问题 2：DGP 和之前的多层视觉融合方案核心差别在哪？
回答 2：之前多层融合大多是提前写死 ViT 层和 LLM 层的连接关系，属于静态通路；DGP 没有预先固定连接，由模型在推理时动态决定选哪一层视觉特征，是自适应路由机制。
问题 3：DGP 是全新大模型，还是可以直接叠加在现有 VLM 上？
回答 3：DGP 属于插件式路由模块，不是全新基座，论文基于 LLaVA-1.5 改造，冻结主干，只微调门控路由部分，轻量化接入现有 VLM。
问题 4：DGP 在哪些评测任务上取得提升，提升幅度是多少？
回答 4：在 SQA-I 提升 4.2 分、MM-Vet 提升 3.3 分、VizWiz 和 LLaVA-W 提升 3.1 分，在大部分多模态基准上优于之前的多层视觉融合方案。
问题 5：DGP 全层互连会不会大幅拉高推理成本？
回答 5：全互联理论上冗余很高，DGP 依靠门控做稀疏选择，只激活有用通路降低开销，但整体推理开销依然高于传统单点注入的 VLM 方案。
【参考资料】
[2026-11-04]（Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers）arXiv
[2026-11-04]（NeurIPS 2026 论文 DGP：全层动态门控打通 VLM 视觉与语言通路）机器之心
[2026-11-04]（DGP 开源仓库）GitHub
[2026-11-05]（DGP 动态路由 VLM：解决多模态模型视觉注入位置瓶颈）AI 科技评论
[2026-11-07]（NeurIPS 2026 多模态方向亮点：DGP 自适应跨层视觉融合）CatalyzeX
【免责声明】
本文仅为 NeurIPS 2026 DGP 论文公开学术内容整理，不构成工程落地、模型采购建议。DGP 方案效果、推理开销、跨基座泛化能力以官方论文、开源代码实测结果为准。