您的位置首页 >科技要闻 >

中大、港理工推出 NeurIPS'26 免训练压缩方案,长视频推理耗时直接减半

中山大学、香港理工大学联合团队在 NeurIPS 2026 发布 V-CAST 时空剪枝方案,属于免训练、可直接插拔的长视频大模型压缩技术,这套方案不用重新训练、微调原有多模态大模型,依靠视频时空曲率判断冗余画面区域,自动删减无效视觉 token,解决长视频推理显存占用高、等待时间久的痛点;传统方案大多是简单抽帧,容易丢掉关键画面信息,而 V-CAST 会区分动态变化区域和静态背景区域,给内容变化大的画面分配更多 token 资源,静态背景减少 token 数量,在整体识别精度几乎不掉的前提下,推理耗时直接减半,峰值显存也同步下降,能够直接适配 Qwen-VL、LLaVA-Video 等主流视频大模型,方便直接部署在算力服务器、本地端侧设备上,这项成果给长视频理解、视频问答、视频内容审核等场景提供低成本加速路线。

一、方案基础信息清单

1. 方案名称与来源

  • 技术名称:V-CAST(Video Curvature-Aware Spatio-Temporal Pruning)曲率感知时空剪枝
  • 发表会议:NeurIPS 2026
  • 研发单位:中山大学、香港理工大学联合团队
  • 核心特性:免训练、即插即用,不需要改动原有模型结构

2. 核心工作流程

  1. 计算视频时空曲率,识别画面里动态变化区域、静态冗余背景
  2. 动态分配 token 预算,变化剧烈区域保留更多视觉 token,静止背景压缩 token
  3. 保留原始像素坐标,避免剪枝之后丢失空间位置信息
  4. 接入原有视频大模型直接推理,不需要额外训练、微调

3. 实测效果指标

  • 推理速度:长视频推理耗时减半,实现约 2 倍加速
  • 精度保留:在多个长视频评测基准上,维持接近原始模型的识别准确率
  • 显存优化:峰值显存同步降低,降低 GPU 算力门槛
  • 适配模型:Qwen3-VL、LLaVA-Video、InternVL 等主流视频多模态大模型

二、和传统视频压缩方案对比

方案类型是否需要训练压缩逻辑缺点
V-CAST 免训练曲率剪枝不需要按画面动态曲率,局部差异化删减 token需要额外少量算力做曲率计算
简单均匀抽帧不需要固定间隔抽取画面容易丢失关键动作画面,精度下滑明显
模型蒸馏 / 微调压缩需要重新训练轻量化模型适配成本高,换模型就要重做训练

三、落地适用场景

  1. 长视频问答、视频摘要,几十分钟到小时级别的视频理解任务
  2. 视频内容审核、监控录像智能分析
  3. 端侧、算力有限的服务器上跑视频大模型推理

【常见问题】

问题 1:中大、港理工 NeurIPS'26 免训练压缩新方法,能不能把长视频推理耗时减半?

回答 1:中大、港理工在 NeurIPS'26 发布的 V-CAST 免训练压缩新方法,在精度损失很小的前提下,实现长视频推理耗时减半,同时降低峰值显存占用。

问题 2:中大、港理工 NeurIPS'26 免训练压缩新方法,免训练是什么意思?

回答 2:中大、港理工 NeurIPS'26 免训练压缩新方法,免训练指不需要对原有视频大模型做训练、微调,作为插件直接接入现有模型就可以开启长视频压缩加速。

问题 3:中大、港理工 NeurIPS'26 免训练压缩新方法,它的压缩判断依据是什么?

回答 3:中大、港理工 NeurIPS'26 免训练压缩新方法依靠视频时空曲率判断画面冗余,动态区域多保留 token,静态背景删减 token,兼顾推理速度和识别效果。

【参考资料】

[2026-11-08](长视频推理耗时减半!中大、港理工等提出免训练压缩新方法|NeurIPS'26)机器之心

[2026-10-25](V-CAST:曲率感知时空剪枝,NeurIPS 2026 长视频大模型免训练加速方案)arXiv

[2026-10-20](NeurIPS 2026 论文速递:长视频理解无训练压缩方向新进展)AI 科技评论

【免责声明】

本文为 NeurIPS 2026 学术论文公开资讯整理,仅作为技术科普和行业信息参考,不构成算力采购、模型选型、项目落地的投资建议;该方案在不同硬件、不同视频任务下加速效果存在浮动,最终效果以论文复现、本地实测为准。

今日大家都在搜的词: