您的位置首页 >人工智能 >

A Survey of Weakly-Supervised and Zero-Shot Temporal Action Localization Methods

这篇弱监督与零样本时序动作定位综述,专门针对视频理解里的时序动作定位(TAL)任务,梳理从弱监督伪标签挖掘到基于视觉语言模型的零样本开放词汇定位的完整技术路线;时序动作定位的目标是在没有裁剪的长视频里找到动作发生的开始、结束时间并识别动作类别,传统全监督方案需要逐段标注时间边界,标注成本极高,弱监督方案只用视频级类别标签训练,靠模型挖掘伪时序标签降低标注工作量,零样本时序动作定位依托 VLMs 图文对齐能力,直接识别训练阶段完全没见过的动作类别;综述对两大路线的方法范式、损失函数、提案生成策略、评测基准做了归类对比,同时指出伪标签噪声、时序边界模糊、跨动作语义混淆、长视频时序依赖建模困难这些行业痛点,并且给出统一时序 - 语义对齐、噪声鲁棒学习、开放域视频事件定位等后续研究方向,适合做视频监控、短视频内容解析、机器人视频感知方向的研究者快速理清赛道。

一、三种监督方案对比

方案类型可用标注信息优势短板
全监督 TAL每一个动作实例的起始、结束时间 + 类别标签定位边界准,精度上限高标注成本巨大,很难扩展大量类别
弱监督 TAL只有整条视频的类别标签,没有时间边界标注标注简单,数据容易收集伪标签自带噪声,边界预测容易漂移
零样本 TAL训练集和测试集动作类别完全不重合,依靠预训练图文先验支持开放词汇,新增动作不用重新标注训练细粒度时序定位精度偏低,容易误检漏检

二、弱监督时序动作定位主流范式

  1. 分类驱动伪挖掘方案
  2. 时序提案 + 选择优化方案
  3. 自监督时序对比方案

核心思路是先做视频片段分类,把高置信度片段当成动作发生区域,生成伪时间标签,再用伪标签训练定位分支;常见损失有多实例学习 MIL 损失、对比损失。缺点是容易出现 “分类不等于定位” 的偏差,很多高得分片段并不是动作真实区间。

预先生成大量时序候选片段,模型从候选池里面挑选符合视频标签的动作片段,同时抑制背景片段;AutoLoc 是这类路线里的代表方案,引入排斥损失抑制重复、重叠提案。

利用视频本身时序连续性做对比学习,学习帧之间的时序特征,减少对标签依赖,适合无标签视频预训练。

三、零样本时序动作定位主流范式

  1. 文本提示引导对齐范式
  2. 伪标签迁移范式
  3. 免训练推理范式

使用 CLIP、VideoCLIP 这类视频语言预训练模型,把动作名称、动作描述做成文本 prompt,计算视频片段特征和文本特征相似度,相似度高的时间段判定为目标动作。

在已有训练类别上学到时序定位能力,再通过语义嵌入空间迁移,把定位能力迁移到未见新动作;需要处理新旧类别语义分布差异。

直接使用现成 VLM 做相似度检索,不需要针对 TAL 任务微调,上手快,但是边界精度最差,适合快速原型验证。

四、标准训练与推理步骤

  1. 弱监督流程
  • 输入未裁剪视频和整条视频的类别标签;
  • 视频分帧、提取时序特征,生成大量时序候选提案;
  • 通过 MIL、排序损失筛选候选,生成伪起止边界;
  • 用伪标签回传更新模型,同时加入去噪机制过滤错误伪标签;
  • 在测试视频输出动作类别、开始结束时间。
  1. 零样本流程
  • 加载已经预训练好的视频 - 语言对齐模型;
  • 输入待检测视频,同时输入待查询动作的文本描述;
  • 滑动窗口在视频上采样时序片段,计算片段和文本的相似度;
  • 相似度峰值区域作为动作候选,做非极大值抑制合并重叠区间;
  • 输出未见类别的动作时序位置。

五、常用评测基准与指标

主流数据集:THUMOS14、ActivityNet、Charades。

核心评估指标:

  • mAP@tIoU:时序交并比在不同阈值下的平均精度,是 TAL 最核心指标;
  • Recall:动作召回率,衡量有没有漏掉真实动作;
  • 边界误差:预测起止时间和真实标注的时间偏差,衡量边界精细程度。

六、当前领域主要挑战

  1. 弱监督路线的伪标签噪声问题,很多伪标签是背景或者无关片段,持续污染模型。
  2. 动作本身边界模糊,很多动作是连续过渡,没有清晰的起止点,标注本身就存在歧义。
  3. 零样本场景下,语义相近的动作容易混淆,比如 “倒水” 和 “喝水” 特征区分度不足。
  4. 长视频、多动作重叠场景,多个动作穿插发生,时序提案容易互相干扰。
  5. 大部分方法只适合短视频,超长视频的长距离时序依赖建模能力不足。

七、综述给出的未来方向

构建对伪标签噪声鲁棒的弱监督学习框架;研究时序感知的视频语言对齐,提升零样本下边界定位精度;面向开放事件、自由文本查询的时序定位;融合自监督视频时序预训练,减少对标注数据依赖;面向监控、机器人等落地场景做轻量化、低延迟版本。

【相关 FAQ】

问题 1、

回答 1:弱监督时序动作定位和零样本时序动作定位的核心区别是什么?弱监督时序动作定位训练时使用视频级类别标签,只是缺少时间边界标注,动作类别还是封闭集合;零样本时序动作定位测试的动作类别在训练集里完全没有出现,依靠 VLM 语义对齐识别新动作,属于开放词汇定位。

问题 2、

回答 2:弱监督时序动作定位里面 MIL 多实例学习起到什么作用?弱监督时序动作定位没有时间标注,MIL 多实例学习把整条视频当成一个包,视频片段作为包内实例,只知道包里存在目标动作但不知道是哪一段,模型自动学习找出属于目标动作的片段,生成伪时序标签。

问题 3、

回答 3:零样本时序动作定位为什么边界精度普遍不如弱监督方案?零样本时序动作定位依靠跨模态相似度匹配,预训练 VLM 更擅长判断语义是否匹配,缺少专门针对时序边界回归的训练,很难精准捕捉动作开始和结束的过渡位置,边界容易偏大或者偏小。

【参考资料】

[2026-11-22](A Survey of Weakly-Supervised and Zero-Shot Temporal Action Localization Methods|弱监督与零样本时序动作定位方法综述)阿里云开发者社区

[2026-05-10](Zero-Shot Temporal Action Localization Through Textual Guidance)arXiv

[2025-08-14](Weakly-supervised Temporal Action Localization: A Review)arXiv

[2024-03-22](时序动作定位弱监督与开放词汇方法综述)中国图象图形学报

【免责声明】

本文仅对这篇弱监督与零样本时序动作定位综述进行内容解读,不同方法在数据集、tIoU 阈值、视频时长条件下性能差异很大;弱监督伪标签、零样本跨模态对齐方案都存在固有误差,本文内容不构成视频理解项目算法选型的唯一决策依据。

今日大家都在搜的词: