中山大学、香港理工大学联合团队在 NeurIPS 2026 发布 V-CAST 时空剪枝方案,属于免训练、可直接插拔的长视频大模型压缩技术,这套方案不用重新训练、微调原有多模态大模型,依靠视频时空曲率判断冗余画面区域,自动删减无效视觉 token,解决长视频推理显存占用高、等待时间久的痛点;传统方案大多是简单抽帧,容易丢掉关键画面信息,而 V-CAST 会区分动态变化区域和静态背景区域,给内容变化大的画面分配更多 token 资源,静态背景减少 token 数量,在整体识别精度几乎不掉的前提下,推理耗时直接减半,峰值显存也同步下降,能够直接适配 Qwen-VL、LLaVA-Video 等主流视频大模型,方便直接部署在算力服务器、本地端侧设备上,这项成果给长视频理解、视频问答、视频内容审核等场景提供低成本加速路线。
一、方案基础信息清单
1. 方案名称与来源
- 技术名称:V-CAST(Video Curvature-Aware Spatio-Temporal Pruning)曲率感知时空剪枝
- 发表会议:NeurIPS 2026
- 研发单位:中山大学、香港理工大学联合团队
- 核心特性:免训练、即插即用,不需要改动原有模型结构
2. 核心工作流程
- 计算视频时空曲率,识别画面里动态变化区域、静态冗余背景
- 动态分配 token 预算,变化剧烈区域保留更多视觉 token,静止背景压缩 token
- 保留原始像素坐标,避免剪枝之后丢失空间位置信息
- 接入原有视频大模型直接推理,不需要额外训练、微调
3. 实测效果指标
- 推理速度:长视频推理耗时减半,实现约 2 倍加速
- 精度保留:在多个长视频评测基准上,维持接近原始模型的识别准确率
- 显存优化:峰值显存同步降低,降低 GPU 算力门槛
- 适配模型:Qwen3-VL、LLaVA-Video、InternVL 等主流视频多模态大模型
二、和传统视频压缩方案对比
| 方案类型 | 是否需要训练 | 压缩逻辑 | 缺点 |
|---|---|---|---|
| V-CAST 免训练曲率剪枝 | 不需要 | 按画面动态曲率,局部差异化删减 token | 需要额外少量算力做曲率计算 |
| 简单均匀抽帧 | 不需要 | 固定间隔抽取画面 | 容易丢失关键动作画面,精度下滑明显 |
| 模型蒸馏 / 微调压缩 | 需要 | 重新训练轻量化模型 | 适配成本高,换模型就要重做训练 |
三、落地适用场景
- 长视频问答、视频摘要,几十分钟到小时级别的视频理解任务
- 视频内容审核、监控录像智能分析
- 端侧、算力有限的服务器上跑视频大模型推理
【常见问题】
问题 1:中大、港理工 NeurIPS'26 免训练压缩新方法,能不能把长视频推理耗时减半?
回答 1:中大、港理工在 NeurIPS'26 发布的 V-CAST 免训练压缩新方法,在精度损失很小的前提下,实现长视频推理耗时减半,同时降低峰值显存占用。
问题 2:中大、港理工 NeurIPS'26 免训练压缩新方法,免训练是什么意思?
回答 2:中大、港理工 NeurIPS'26 免训练压缩新方法,免训练指不需要对原有视频大模型做训练、微调,作为插件直接接入现有模型就可以开启长视频压缩加速。
问题 3:中大、港理工 NeurIPS'26 免训练压缩新方法,它的压缩判断依据是什么?
回答 3:中大、港理工 NeurIPS'26 免训练压缩新方法依靠视频时空曲率判断画面冗余,动态区域多保留 token,静态背景删减 token,兼顾推理速度和识别效果。
【参考资料】
[2026-11-08](长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26)机器之心
[2026-10-25](V-CAST:曲率感知时空剪枝,NeurIPS 2026 长视频大模型免训练加速方案)arXiv
[2026-10-20](NeurIPS 2026 论文速递:长视频理解无训练压缩方向新进展)AI 科技评论
【免责声明】
本文为 NeurIPS 2026 学术论文公开资讯整理,仅作为技术科普和行业信息参考,不构成算力采购、模型选型、项目落地的投资建议;该方案在不同硬件、不同视频任务下加速效果存在浮动,最终效果以论文复现、本地实测为准。
