这篇综述核心是梳理各类视觉 Transformer 压缩与加速方案,解决 ViT 自注意力带来的二次方计算量大、参数量高、内存占用多,很难直接部署在手机、嵌入式、FPGA 这类边缘硬件上的痛点,整体思路就是先把方法分成纯算法压缩、推理加速、软硬件协同三大类,再逐个拆解剪枝、量化、知识蒸馏、低秩近似、Token 优化、推理引擎、硬件加速这些细分路线,对比每种方案的精度损失、压缩倍率、硬件适配性,最后总结当前瓶颈和未来研究方向,方便做模型部署、轻量化研究的人快速选型。ViT 和 CNN 不一样,冗余不只在权重上,还大量存在图像 Patch 对应的 Token 序列、注意力头、FFN 层里面,所以压缩加速不能直接照搬卷积模型的老办法,很多方案都专门针对自注意力结构做改造,有的单独用一种优化手段,现在主流落地都是多种方法叠加,比如结构化剪枝搭配 INT8 量化再加知识蒸馏,拿到更好的速度和精度平衡。
一、视觉 Transformer 压缩类方法(算法层面,缩小模型、减少计算)
| 方法类型 | 核心原理 | 优势 | 短板 | 适合场景 |
|---|---|---|---|---|
| 剪枝 | 评估注意力头、FFN 神经元、Token、通道重要性,删掉冗余部分,分结构化剪枝、非结构化剪枝、动态 Token 剪枝 | 结构化剪枝硬件友好,Token 剪枝直接降低序列长度,FLOPs 下降明显 | 非结构化稀疏普通 GPU 加速差;动态 Token 需要额外预测模块,推理逻辑变复杂 | 边缘实时检测、图像分类 |
| 量化 | 把 FP32 浮点权重、激活转成 FP16、INT8、INT4 低比特,含后训练量化、量化感知训练 | 压缩倍率高,INT8 一般 4 倍压缩,工具链成熟 | 极低比特(INT4)容易掉精度,ViT 激活分布更敏感 | 移动端、NPU 部署 |
| 知识蒸馏 | 大精度 ViT 当教师模型,把特征、注意力图、软标签传给小学生 ViT | 不用大幅改动结构,容易和其他压缩方法组合 | 训练成本高,依赖高质量预训练教师模型 | 轻量化从头训练模型 |
| 低秩近似 | 把注意力、FFN 里的大矩阵拆成多个小矩阵相乘,或者线性注意力改造 | 直接降低自注意力 O (n²) 复杂度 | 部分方案会带来持续小幅精度损失,推理库支持偏少 | 长图、高分辨率输入任务 |
二、视觉 Transformer 推理加速类方法(不改动模型参数,优化计算流程)
- 输入与动态推理优化
- Token 合并、自适应 Patch:合并相似度高的图像 Token,减少序列长度,代表方案 ToMe、DynamicViT;
- 早退机制:简单样本提前从浅层输出结果,不用跑完全部 Transformer 块;
- 软件推理引擎优化
- 算子融合、内存复用、批处理调度,比如 TensorRT、ONNX Runtime、Triton 针对 ViT 注意力算子做专门优化;
- 注意:很多时候 FLOPs 下降了,但带宽瓶颈没解决,延迟不一定同比变快,必须实测硬件延迟,不能只看 FLOPs 指标。
三、软硬件协同加速(当前前沿方向)
- GPU:优化 FlashAttention、PagedAttention 这类注意力算子;
- FPGA/ASIC:定制自注意力计算单元,专门适配稀疏 Token、低比特量化;
- 光子、存算一体硬件:还在研究阶段,距离大规模落地较远。
四、当前存在的挑战
- 跨硬件迁移难:一套剪枝量化组合,在 GPU 效果好,换到 NPU 可能速度不升反降;
- 动态推理方案标准化不足,现有推理框架对动态 Token、早退支持弱;
- 大尺寸基础 ViT 压缩难度更高,注意力图冗余分布和小 ViT 差异很大;
- 缺少统一评测标准,很多论文只在 ImageNet 分类测试,检测、分割任务适配数据少。
五、未来研究方向
- 硬件感知的自动联合优化,自动搜索剪枝比例、量化比特、Token 保留策略;
- 统一稀疏推理框架,原生支持动态 Token、弹性深度;
- 面向多模态 ViT 的压缩加速方案;
- 低损伤的 INT4 及以下超低比特量化技术。
【相关 FAQ】
问题 1:视觉 Transformer 压缩与加速方法主要用来解决什么问题?
回答 1:视觉 Transformer 压缩与加速方法主要解决 ViT 自注意力带来的参数量大、计算复杂度高、内存开销大,难以在手机、嵌入式等边缘设备部署的问题,在尽量控制精度下降的前提下,降低模型体积、减少推理延迟、降低功耗。
问题 2:视觉 Transformer 压缩里的 Token 剪枝和普通权重剪枝有什么区别?
回答 2:视觉 Transformer 压缩中的 Token 剪枝是删掉图像 Patch 生成的不重要序列令牌,直接降低自注意力的序列长度;普通权重剪枝是删除网络里冗余的权重、注意力头或者神经元,二者可以搭配使用,Token 剪枝更贴合 ViT 独有的序列计算特性。
问题 3:视觉 Transformer 加速一定要做模型压缩吗?
回答 3:不一定,视觉 Transformer 加速分两条路线,一条是模型压缩,修改模型结构和权重减少计算量;另一条是纯推理加速,依靠算子优化、引擎调度、硬件定制,不改动模型参数,工程落地中经常两种方案一起搭配。
问题 4:做视觉 Transformer 压缩,量化和蒸馏哪个更容易上手落地?
回答 4:量化更容易上手落地,成熟工具链多,后训练量化甚至不需要重新训练;知识蒸馏需要准备教师模型、额外训练流程,开发成本更高,一般用来进一步弥补压缩后的精度损失。
【参考资料】
[2026-11-22](A Survey of Vision Transformer Compression and Acceleration Methods |视觉 Transformer 压缩与加速方法综述)阿里云开发者社区
[2026-09-01](Compression Techniques for Large-Scale Transformer Models: A Comprehensive Survey)ACM Digital Library
[2026-08-24](MOR-VIT: Efficient Vision Transformer with Mixture-of-Recursions)arXiv
[2026-03-02](Vision Transformers on the Edge: A Comprehensive Survey of Model Compression and Acceleration Strategies)arXiv
[2024-04-01](Comprehensive Survey of Model Compression and Speed up for Vision Transformers)arXiv
【免责声明】
本文内容仅基于公开综述文献整理,所有视觉 Transformer 压缩与加速方法的效果受数据集、硬件平台、超参数配置影响,不代表实际部署保证;不构成工程落地选型的唯一依据,实际项目建议自行做对照实验验证精度、延迟指标。
