这篇 A Survey of Vision Transformer Architecture Innovations 综述,核心是梳理原生 ViT 问世之后各类架构创新方案,把改进方向分成金字塔分层结构、高效注意力、位置编码优化、CNN-Transformer 混合架构、轻量化模块这几大类,同时对比不同方案的算力开销、归纳偏置、适合任务,原生 ViT 是整张图切 patch、全局注意力,复杂度是平方级,缺少局部空间先验,在检测、分割这类密集任务效果一般,后面绝大多数架构创新,都是围绕解决这个痛点展开,要么降低注意力计算量,要么补上局部特征提取能力,综述还汇总了各方案在分类、检测、分割、端侧部署上的优缺点,以及当下还没解决的研究难点,适合做计算机视觉骨干选型、复现对比的算法研发人员参考。
一、Vision Transformer 架构创新五大主流方向
- 金字塔分层结构创新
- 高效自注意力机制创新
- 位置编码模块创新
- CNN 与 Transformer 混合架构创新
- 纯 Transformer 轻量化、组件精细化创新
原生 ViT 全程分辨率不变,分层 ViT 参考 CNN 的金字塔思路,逐步下采样、多尺度特征输出,适配密集预测任务。代表方案:PVT、Swin Transformer、T2T-ViT、SegFormer。特点:多阶段输出不同尺度特征,是现在检测、分割最常用的骨干。
解决全局注意力 O (N²) 高算力瓶颈,在保留全局感知能力的前提下降低复杂度。代表方案:窗口移位注意力 Swin、线性注意力、Focal Attention、交叉尺度注意力。特点:限制注意力计算范围,通过窗口交互、token 汇总实现接近线性的计算开销。
原生固定正弦位置编码不能适配任意分辨率,后续大量创新改成动态、条件式位置编码。代表方案:CPVT 条件位置编码、RoPE 旋转位置编码、动态位置偏置。特点:支持任意尺寸图片输入,不用插值,泛化更好。
把卷积的局部提取能力和 Transformer 全局建模能力结合,兼顾精度和速度。代表方案:MobileViT、CvT、FasterViT、EfficientFormer。特点:浅层用卷积抓细节,深层用注意力建模全局,移动端友好。
不引入卷积,通过 token 精简、MLP 门控、register token、LayerScale 等组件优化。代表方案:ViT-5、LightViT、TNT。特点:纯 Transformer 结构,优化归一化、激活、门控组件,提升深层训练稳定性。
二、经典创新方案对比表
| 模型 | 架构创新点 | 复杂度特点 | 优势场景 |
|---|---|---|---|
| 原生 ViT | 全局注意力、固定 patch、固定位置编码 | O(N²) | 图像分类,大算力、低分辨率 |
| Swin Transformer | 移位窗口分层注意力 | 近似线性 | 目标检测、语义分割 |
| PVT | 金字塔、重叠 patch 嵌入 | 近似线性 | 密集预测任务 |
| CPVT | 卷积条件位置编码 | O(N²) | 任意分辨率输入 |
| MobileViT | 卷积 + Transformer 混合 | 低算力 | 移动端部署 |
| ViT-5 | RoPE、QK Norm、SwiGLU、Register Token | O(N²) | 通用视觉、预训练 |
三、综述总结的现存挑战
- 效率和性能很难同时拉满,线性注意力方案常常损失全局建模能力
- 分层窗口类 ViT 存在窗口边界效应,局部和全局信息融合有缺陷
- 很多创新方案只在分类数据集刷指标,在真实工业、低光照、小样本场景泛化差
- 轻量化纯 Transformer 方案,依然比同等算力 CNN 更难训练、数据需求更高
- 缺少统一基准,不同论文评测数据集、训练策略不一致,横向对比困难
四、落地选型参考
- 做分类大模型预训练:优先原生 ViT、ViT-5 这类基础组件优化路线
- 做检测、分割等密集任务:优先 Swin、PVT、SegFormer 分层窗口方案
- 移动端、边缘设备部署:优先 MobileViT、FasterViT 混合 CNN-Transformer 架构
- 输入图片尺寸经常变化:优先带条件位置编码、RoPE 的版本
【相关 FAQ】
问题 1:这篇 Vision Transformer 架构创新综述,核心是讲哪些内容?
回答 1:这篇 Vision Transformer 架构创新综述,主要汇总原生 ViT 之后各类架构创新分支,包含分层金字塔、高效注意力、位置编码、混合架构、轻量化模块,对比不同 Vision Transformer 架构创新方案的算力、适用任务、优缺点,梳理研究脉络。
问题 2:Vision Transformer 架构创新里面,Swin Transformer 属于哪一类创新?
回答 2:Vision Transformer 架构创新里面,Swin Transformer 属于分层金字塔 + 窗口移位注意力方向的创新,通过窗口约束注意力计算、移位窗口实现跨窗口信息交互,把复杂度从平方降到近似线性,是密集任务最经典的 Vision Transformer 架构创新。
问题 3:Vision Transformer 架构创新,混合 CNN-Transformer 方案相比纯 Transformer 有什么优势?
回答 3:Vision Transformer 架构创新里,CNN-Transformer 混合方案借助卷积自带的局部归纳偏置,更容易提取边缘纹理这类底层细节,训练对数据量要求更低,推理速度更快,适合移动端,是 Vision Transformer 架构创新里偏向工程落地的路线。
问题 4:看完这篇 Vision Transformer 架构创新综述,能不能直接选定骨干网络?
回答 4:不能,这篇 Vision Transformer 架构创新综述是路线梳理,只给出各方案的特性对比,最终选哪个 Vision Transformer 架构创新方案,要结合任务类型、算力平台、输入分辨率、数据集规模综合测试验证。
【参考资料】
[2026-10-25](A Survey of Vision Transformer Architecture Innovations)arXiv
[2026-08-24](Review of Transformer-Based Models for Computer Vision Tasks)arXiv
[2026-04-25](Research Review on Transformer Model in Computer Vision)ACM Digital Library
[2026-02-10](ViT-5: Vision Transformers for The Mid-2020s)arXiv
[2025-05-20](Transformers for Vision: A Survey on Innovative Methods for Computer Vision)IEEE Xplore
[2024-08-15](Visual Transformer-Based Models: A Survey)arXiv
【免责声明】
本文仅为该 Vision Transformer 架构创新综述的通俗解读整理,不替代原始论文结论,不同 Vision Transformer 架构创新方案在不同数据集、硬件上的效果存在差异,项目选型前请自行复现验证,不构成选型保证。
