这篇《A Survey of Vision State Space Models》综述系统性梳理视觉状态空间模型(VSSM)的发展脉络、核心扫描策略、网络架构范式、下游视觉任务落地情况,核心优势是相比 Vision Transformer,它具备线性计算复杂度,高分辨率图像输入时显存占用更低、推理速度更快,依靠 Mamba 的选择性状态转移机制建模长距离依赖;综述同时归纳了现有方案的固有缺陷,包括一维扫描带来的方向偏置、二维空间邻域关系容易被破坏、对数据分布偏移鲁棒性不足等问题,并且给出原生二维 SSM、自适应扫描、卷积 - SSM 融合等未来研究方向,方便研究者快速掌握 VSSM 整个赛道的分类、对比和研究缺口。
一、VSSM 基础原理
状态空间模型最早来自控制理论,Mamba 出现之后增加输入相关的选择性机制,让状态遗忘门根据内容动态调整记忆留存。放到视觉场景里,图像是二维网格,VSSM 主流做法是把二维特征图按照特定扫描顺序展开成一维序列,交给 SSM 做递归状态更新,再把输出序列还原回二维特征图。
- Transformer 注意力:复杂度 O (N²),分辨率越高算力开销暴涨
- VSSM 选择性扫描:复杂度 O (N),适合大图、视频长时序建模
- 核心单元:VSS 块(VSS Block)、SS2D 四向选择性扫描模块
二、VSSM 主流架构范式
| 架构类型 | 核心思路 | 代表模型 | 特点 |
|---|---|---|---|
| 纯 SSM 骨干网络 | 全部特征提取依靠 SSM 扫描,少量归一、激活层,无注意力 | Vim、VMamba | 速度最快,线性复杂度,适合高分辨率分割、检测 |
| 卷积 + SSM 混合架构 | 卷积抓局部纹理,SSM 负责全局长距离依赖 | Local-Mamba、Adventurer | 兼顾局部细节和全局上下文,稳定性更好 |
| Transformer+SSM 混合架构 | 注意力和 SSM 穿插搭配,互补优势 | Hybrid-VSSM | 精度上限更高,但复杂度不再是纯线性 |
| 多模态 VSSM 编码器 | VSSM 作为视觉编码器对接大语言模型 | VLMs-VSSM 系列 | 替代 ViT 做图文多模态,显存开销更低 |
三、二维扫描策略分类(综述重点讨论部分)
- 光栅顺序单向扫描:从左到右、从上到下展开,实现最简单;缺点是强烈方向偏置,对角、非连续邻域信息交互弱。
- 四向交叉扫描(SS2D,VMamba):沿着四个对角线方向分别扫描,四条序列并行处理之后再融合;是目前最主流方案,大幅缓解单向偏置。
- 窗口局部扫描:只在局部窗口内部做选择性扫描,类似窗口注意力;减少远距离无效记忆,降低扫描带来的空间断裂问题。
- 原生二维 SSM:不把 2D 图摊平成 1D 序列,直接定义二维状态转移方程,属于新兴方向,还在研究阶段。
四、VSSM 适用的视觉任务
- 图像分类:ImageNet 基准,VMamba、Vim 系列已经逼近 ViT 的精度,推理更快。
- 语义分割:ADE20K 等数据集,高分辨率输入场景下速度优势最明显。
- 目标检测:COCO 数据集,可替换骨干网络,适合实时检测场景。
- 视频理解、视频分割:视频属于超长序列,线性复杂度优势突出。
- 多模态图文任务:作为视觉编码器接入大模型,降低大图推理成本。
五、当前 VSSM 存在的主要痛点
- 扫描顺序引入空间偏差:一维序列本身自带因果顺序,和图像非因果的二维空间结构天然冲突。
- 邻域断裂问题:摊平成一维的时候,空间相邻的像素在序列里可能相隔很远,破坏局部连续性。
- 鲁棒性偏弱:面对图像噪声、域偏移、对抗扰动的时候,VSSM 的稳定性普遍弱于 CNN 和成熟 ViT。
- 硬件实现依赖优化:理论上是线性复杂度,但是扫描访存模式特殊,CUDA 实现质量对实际速度影响很大。
- 缺少统一基准:不同论文扫描方案、训练策略不一样,横向对比比较困难。
六、综述给出的未来研究方向
优先发展原生二维状态空间模型,不再依赖 2D 转 1D 的展开方式;研究自适应动态扫描顺序,让模型根据图像内容自动选择扫描路径;卷积、注意力、SSM 的轻量化融合方案;面向自动驾驶、医学影像等高可靠场景提升 VSSM 鲁棒性;还有视频、3D 点云、多模态场景下的 VSSM 拓展。
【相关 FAQ】
问题 1、
回答 1:视觉状态空间模型 VSSM 相比 Vision Transformer 最大的区别是什么?Vision Transformer 依靠自注意力,复杂度随 token 数量平方增长;视觉状态空间模型依靠选择性扫描,复杂度是线性 O (N),高分辨率图像和长视频场景显存、速度优势更大,但是容易存在扫描带来的二维空间方向偏置问题。
问题 2、
回答 2:VMamba 的 SS2D 四向选择性扫描在视觉状态空间模型里起到什么作用?SS2D 四向扫描把二维特征图沿着四个对角方向拆成多条一维序列并行扫描,再融合特征,用来缓解单向光栅扫描带来的方向偏见,是目前纯 VSSM 骨干里最经典的扫描方案。
问题 3、
回答 3:视觉状态空间模型 VSSM 适合哪些视觉任务,有哪些短板?VSSM 适合高分辨率语义分割、视频时序理解、实时目标检测、图文多模态编码;短板是一维扫描会破坏二维空间邻域关系,模型对噪声、域迁移的鲁棒性不足,实际速度高度依赖底层 CUDA 算子优化。
【参考资料】
[2026-10-15](A Survey of Vision State Space Models|视觉状态空间模型方法综述)arXiv
[2026-07-16](从序列到视觉:状态空间模型与视觉架构融合的全面综述与前沿展望)汉斯出版社
[2024-05-07](Vision Mamba: A Comprehensive Survey and Taxonomy)arXiv
[2026-02-04](Partial Ring Scan: Revisiting Scan Order in Vision State Space Models)arXiv
【免责声明】
本文仅对 A Survey of Vision State Space Models 这篇视觉状态空间模型综述做内容整理解读,模型性能、方案优劣结论均来自论文调研;不同 VSSM 模型的效果受算子实现、数据集、训练超参影响,不代表所有场景下 VSSM 一定优于 Transformer,不构成模型选型的唯一决策依据。
