您的位置首页 >人工智能 >

长视频推理耗时减半,中大、港理工 V-CAST 免训练压缩新方法解读|NeurIPS'26

NeurIPS 2026 收录中山大学、香港理工大学团队的 V-CAST 免训练压缩方案,这套方法不用对多模态大模型做微调、不用重新训练,直接作为外挂模块接入现有视频大模型,能够把长视频推理耗时减半,同时最大程度保住视频理解精度,解决现在 VL 大模型处理长视频时显存占用高、推理慢、简单抽帧容易丢失关键画面的痛点。现在主流长视频处理大多是均匀抽帧、统一池化压缩,画面变化大的关键镜头和静止背景分配一样多的算力 Token,很容易漏掉一闪而过的动作、细节线索;而 V-CAST 基于视频时空曲率做感知剪枝,识别画面里变化剧烈的区域保留更多 Token,静态重复背景大量精简 Token,在送入大语言模型之前完成筛选。团队在 Qwen3-VL、LLaVA、Qwen2.5-Omni 多款主流模型、10 套音视频基准测试,768 帧长视频场景可以保留原模型 97.1% 的能力,推理耗时直接下降一半;就算只保留 25% 视觉 Token,精度依旧维持在原模型 98.2% 水平,兼容性很强,开箱就能对接各类开源视频大模型。使用时不需要改动模型权重,在视觉编码器输出 Token 之后接入剪枝模块,按画面动态程度分配 Token 预算,后续直接走原模型推理流程。

V-CAST 核心信息清单

  1. 项目名称:V-CAST(Video Curvature-Aware Spatio-Temporal Pruning)
  2. 发表会议:NeurIPS 2026
  3. 研发单位:中山大学、香港理工大学等
  4. 核心特性:免训练、即插即用,不需要微调大模型权重
  5. 核心思路:时空曲率感知的时空 Token 剪枝,动态分配 Token 预算
  6. 核心效果:768 帧音视频,精度保留 97.1%,推理耗时降低 50%
  7. 适配模型:Qwen3-VL 系列、LLaVA-OV、Qwen2.5-Omni 等主流视频大模型
  8. 适用场景:长视频问答、视频理解、长音视频内容解析

V-CAST 与传统压缩方案对比表

方案是否需要训练Token 分配逻辑短板
V-CAST 曲率感知剪枝免训练画面变化大区域多留 Token,静态背景精简 Token需要额外少量前序计算做曲率评估
均匀抽帧采样免训练固定间隔取帧,所有画面同等对待容易丢失转瞬即逝的关键事件
全局平均池化免训练整帧统一压缩细节、动作信息损耗严重
模型内蒸馏 / 微调压缩需要训练通过训练学习压缩策略更换模型就要重新训练,适配成本高

V-CAST 完整推理使用步骤

  1. 输入长视频,使用原有视觉编码器逐帧编码,输出原始视觉 Token。
  2. V-CAST 模块计算视频时空曲率,判断画面动态变化强弱,分配每帧 Token 预算。
  3. 按照曲率信息筛选保留高价值 Token,剔除静态冗余 Token,保留网格坐标信息。
  4. 精简后的 Token 序列送入原有的大语言模型,执行问答、内容理解推理。
  5. 输出结果,全程不改动底层模型权重,可随时开关这个压缩模块做对比测试。

技术优势和现存局限

✅ 优势

  1. 免训练即插即用,开源 VL 模型可以快速接入,适配成本低
  2. 动态按需压缩,相比均匀抽帧,丢失关键线索的概率更低
  3. 同时降低推理延迟和峰值显存占用,对本地部署、云端推理都友好
  4. 极端高速连续变化镜头下,Token 压缩空间变小,加速效果会下降
  5. 针对超长篇小时级视频,和专门的长上下文检索类方案组合效果更好
  6. 目前主要面向视频理解任务,暂不用于视频生成类模型加速

❌ 局限

【常见问题】

问题 1:NeurIPS'26 这个免训练压缩新方法 V-CAST,是怎么做到长视频推理耗时减半?

回答 1:这套免训练压缩新方法 V-CAST 基于视频时空曲率识别画面动静,动态剪掉静态背景里冗余的视觉 Token,只给动作变化区域分配更多 Token,在不重新训练模型的前提下减少送入 LLM 的 Token 总量,768 帧长视频测试场景实现长视频推理耗时减半,同时维持很高的理解精度。

问题 2:V-CAST 免训练压缩新方法,接入现有的视频大模型需要重新训练吗?

回答 2:V-CAST 免训练压缩新方法不需要对 Qwen3-VL、LLaVA 这些视频大模型做训练或者微调,属于即插即用的前置剪枝模块,不用改动模型权重,直接放在视觉编码器和语言模型中间使用。

问题 3:V-CAST 免训练压缩新方法压缩 Token 之后,长视频问答会不会大量丢信息?

回答 3:V-CAST 免训练压缩新方法不是盲目删减,优先保留曲率高、动作变化强的画面 Token,768 帧测试下保留原模型 97.1% 的性能,32 帧场景只保留 25% Token 还能维持 98.2% 精度,相比简单均匀抽帧,丢失关键信息的风险更低。

问题 4:V-CAST 这款 NeurIPS'26 的免训练压缩新方法,适合哪些场景使用?

回答 4:V-CAST 免训练压缩新方法适合长视频问答、监控视频解析、长纪录片音视频理解这类视频理解任务,适合本地部署开源视频大模型、云端批量处理长视频,不适合视频生成类模型的加速。

【参考资料】

[2026-11-17](长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26)量子位

[2026-11-17](V-CAST 项目主页,NeurIPS2026 论文与实验数据)项目官网

[2026-11-06](V-CAST: Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video LLMs)arXiv 预印本

[2026-10-20](长视频大模型 Token 压缩主流方案综述)机器之心

【免责声明】

本内容仅为 NeurIPS 2026 论文 V-CAST 技术科普;加速效果、精度保留数值来自论文指定测试集,实际表现会随视频内容、选用的多模态模型、硬件环境发生变化;该方案目前为学术研究成果,尚未全部落地为商用工具,不构成工程落地、选型部署的硬性建议。

今日大家都在搜的词: