您的位置首页 >人工智能 >

Two-stream 卷积网络用于视频动作识别

Two-stream 卷积网络也就是双流卷积网络,是 2014 年提出的经典视频动作识别方案,核心思路是把视频拆成两条独立卷积分支,一条处理静态画面信息,一条处理帧间运动光流信息,分开训练之后再融合结果,解决早期单 CNN 只看单帧、抓不住运动信息的问题。单纯用图像分类 CNN 识别视频动作很容易出错,很多动作画面长得差不多,差别全在运动方式,比如挥手和摆手,单帧图片很难区分;而 3D 卷积算力开销又很大。双流网络直接分成空间流、时间流两个独立卷积网络,空间流输入单帧 RGB 图像,学习物体、场景、人物外观;时间流输入堆叠好的稠密光流图,专门捕捉像素位移、运动轨迹。两条分支单独训练,最后采用晚融合方式,把两个分支的 softmax 输出分数做平均或者送入 SVM 得到最终分类结果。这套方案在 UCF-101、HMDB-51 标准数据集上验证有效,是后续很多视频理解模型的基础,后续还有隐藏双流、时序移位网络等改进版本,用来解决光流预计算慢、端到端训练难的痛点。

双流网络两条分支清单

  • 空间流(Spatial Stream):输入单帧 RGB 图像,学习外观、物体、场景信息,可以用 ImageNet 预训练权重初始化
  • 时间流(Temporal Stream):输入堆叠稠密光流图,学习帧与帧之间的运动、位移信息,捕捉动作动态

空间流与时间流对比表

项目空间流时间流
输入数据单帧 RGB 图像多帧堆叠稠密光流图
学习目标画面外观、物体、场景、姿态像素运动方向、速度、动作轨迹
预训练方式ImageNet 图像预训练,迁移方便一般从零训练,容易过拟合
擅长场景区分依靠特定物体的动作区分外观相近、靠运动区分的动作
短板缺少时序信息,分不清相似动作光流计算耗时,容易受相机抖动干扰

Two-stream 卷积网络完整执行步骤

  1. 视频预处理:采样视频片段,一方面截取 RGB 帧给空间流;另一方面计算稠密光流,把光流图打包作为时间流输入
  2. 分支独立训练:两个卷积网络分开训练,不共享权重,各自输出动作分类概率
  3. 结果融合:采用晚融合,对两路输出分数做平均,或者把两路特征送入线性 SVM 做分类
  4. 多片段测试:对一个视频采样多个片段,把所有片段的结果平均,提升识别稳定性
  5. 模型迭代:后续优化方案尝试去掉离线光流,做成端到端版本

【相关 FAQ】

问题 1:Two-stream 卷积网络用于视频动作识别,它的核心原理是什么?

回答 1:Two-stream 卷积网络用于视频动作识别,核心原理是拆分空间流和时间流,空间流提取单帧画面外观特征,时间流用光流提取运动特征,两路独立训练后融合输出动作识别结果,兼顾静态画面和动态时序信息。

问题 2:Two-stream 卷积网络用于视频动作识别,光流在时间流里起到什么作用?

回答 2:Two-stream 卷积网络用于视频动作识别,时间流的输入是稠密光流图,光流记录相邻帧每个像素的位移方向和速度,让网络直接学习运动模式,而不是学习画面内容,识别外观相似、动作不同的样本。

问题 3:Two-stream 卷积网络用于视频动作识别,这个方案有哪些明显缺点?

回答 3:Two-stream 卷积网络用于视频动作识别,缺点是需要提前离线计算光流,计算成本高、速度慢;两路分开训练不是端到端;相机抖动带来的全局运动容易干扰光流,降低识别精度。

【参考资料】

[2026-09-20](深度网络第一次打败了手工特征,靠的居然是 "看两遍")新浪财经

[2014-12-01](Two-Stream Convolutional Networks for Action Recognition in Videos)NeurIPS

[2014-06-10](Two-Stream Convolutional Networks for Action Recognition in Videos)arXiv

[2017-04-01](Hidden Two-Stream Convolutional Networks for Action Recognition)arXiv

[2020-12-10](A Comprehensive Study of Deep Video Action Recognition)arXiv

【免责声明】

本文内容基于经典论文与公开技术解读整理,Two-stream 卷积网络属于早期经典方案,现在工程上更多使用 3D 卷积、时序移位、Video Transformer 等方案,本文不构成项目选型、算法落地的唯一参考。

今日大家都在搜的词: