西北工业大学、香港科技大学联合团队在 NeurIPS 2026 发表 DGP（Dynamic Gated Pathways，动态门控路径）方案，它一改传统 VLM 只拿 ViT 最后一层视觉特征一次性送入 LLM 的固定模式，搭建 ViT 所有层和 LLM 所有层之间全连通的路由通道，每一层语言模块都能根据当前语义任务，自主挑选不同粒度的视觉特征，需要细文字细节就调用 ViT 浅层纹理信息，需要全局场景理解就调用 ViT 高层语义特征，这套方案属于轻量化插件，不用大改原有多模态基座，在 LLaVA、Qwen3-VL 等主流 VLM 上都拿到稳定正向提升，能直接降低图像文字识别、复杂图表推理、开放场景问答的出错概率。
DGP 和传统 VLM 融合方案对比
| 方案类型 | 视觉接入方式 | 信息特点 | 短板 |
|---|---|---|---|
| 传统单层投影 | 取 ViT 末尾一层特征，一次性送入 LLM | 结构简单、算力开销低 | 固定粒度，细节和全局信息无法按需切换，复杂推理容易丢信息 |
| 固定多层融合 | 预先设定 ViT 几层特征，按固定权重拼接 | 比单层信息丰富 | 连接规则写死，不会跟着问题动态调整 |
| DGP 动态门控通路 | 全部 ViT 层 ↔ 全部 LLM 层全连接，门控动态分配权重 | 每层 LLM 自主选视觉粒度 | 增加少量路由计算开销 |
DGP 核心技术要点清单
- 全对全跨层连接：打通 ViT 编码器每一层、LLM 解码器每一层之间的通路，不再是单向单次输送视觉信息
- 可学习动态门控：门控模块根据 LLM 当前层的语义状态、用户提问、图像内容，自动分配每层 ViT 特征的权重
- 即插即用插件化：不需要重新预训练整个大模型，只作为融合模块叠加在已有 VLM 基座上，适配 LLaVA、Qwen3-VL、LLaVA-NeXT
- 分层路由可解释：论文可视化验证，LLM 浅层更偏向抓取纹理、文字细节，深层更偏向整合全局语义做推理
公开实验指标（LLaVA-1.5-7B 基线）
- SQA-I：提升 4.2 分
- MM-Vet：提升 3.3 分
- VizWiz：提升 3.1 分
- LLaVA-Wild：提升 3.1 分
- 其余多模态评测集均保持正向增益，不存在部分任务反向掉点情况
落地与开源信息
- 论文已被 NeurIPS 2026 主会接收，预印本在 arXiv 公开
- 项目代码、实验脚本开源，仓库地址随论文同步放出
- 适合图表理解、文档 OCR 推理、复杂视觉问答这类对多粒度视觉信息要求高的场景
【常见问题】
问题 1：NeurIPS2026 提出的 DGP VLM 架构，是直接替换 ViT 或者 LLM 主干吗？
回答 1：DGP 不是替换 ViT、LLM 主干，属于视觉 - 语言融合层的插件模块，叠加在现有 VLM 上，不用从头预训练基座，就能实现每层 LLM 按需调用 ViT 各层图像特征。
问题 2：DGP 打通 ViT 与 LLM 全部层级之后，会不会带来巨大算力上涨？
回答 2：DGP 新增的是轻量门控路由网络，相比完整重训模型算力成本很低，只是会小幅增加推理开销，在现有 7B、2B 级别的开源 VLM 上可以直接部署测试。
问题 3：DGP 这套 VLM 动态通路方案，在哪些任务上提升效果最明显？
回答 3：DGP 在图像文字读取、菜单计算、图表推理、开放世界视觉问答这类需要同时兼顾局部细节和全局理解的任务提升最突出，也是传统单层融合 VLM 容易翻车的场景。
问题 4：DGP 是 NeurIPS2026 论文方案，现在普通开发者可以拿到 DGP 的代码复现实验吗？
回答 4：DGP 论文配套代码已经开源，普通开发者可以下载，在 LLaVA、Qwen3-VL 等开源多模态模型上接入 DGP 模块，复现论文里的评测结果。
【参考资料】
[2026-11-10]（NeurIPS 2026｜VLM 架构新突破：DGP 打通全部 ViT 与 LLM 层，让大模型每一层按需「看图」）新浪财经
[2026-11-04]（Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers）arXiv
[2026-11-04]（DGP 动态门控路径 VLM 项目介绍）CatalyzeX
[2026-11-03]（NeurIPS 2026 接收论文速递：多模态大模型方向）机器之心
【免责声明】
本文内容基于 NeurIPS 2026 公开论文预印本、行业媒体报道整理；DGP 属于学术研究方案，尚未大规模商用落地，实际线上部署效果受基座模型、训练数据、推理框架影响；评测结果为论文实验室环境数据，不代表所有场景稳定生效；内容仅做技术科普，不构成模型采购、项目落地的投资建议。