您的位置首页 >人工智能 >

A Survey of Vision Transformer Compression and Acceleration Methods |视觉Transform

这篇综述核心是梳理各类视觉 Transformer 压缩与加速方案,解决 ViT 自注意力带来的二次方计算量大、参数量高、内存占用多,很难直接部署在手机、嵌入式、FPGA 这类边缘硬件上的痛点,整体思路就是先把方法分成纯算法压缩、推理加速、软硬件协同三大类,再逐个拆解剪枝、量化、知识蒸馏、低秩近似、Token 优化、推理引擎、硬件加速这些细分路线,对比每种方案的精度损失、压缩倍率、硬件适配性,最后总结当前瓶颈和未来研究方向,方便做模型部署、轻量化研究的人快速选型。ViT 和 CNN 不一样,冗余不只在权重上,还大量存在图像 Patch 对应的 Token 序列、注意力头、FFN 层里面,所以压缩加速不能直接照搬卷积模型的老办法,很多方案都专门针对自注意力结构做改造,有的单独用一种优化手段,现在主流落地都是多种方法叠加,比如结构化剪枝搭配 INT8 量化再加知识蒸馏,拿到更好的速度和精度平衡。

一、视觉 Transformer 压缩类方法(算法层面,缩小模型、减少计算)

方法类型核心原理优势短板适合场景
剪枝评估注意力头、FFN 神经元、Token、通道重要性,删掉冗余部分,分结构化剪枝、非结构化剪枝、动态 Token 剪枝结构化剪枝硬件友好,Token 剪枝直接降低序列长度,FLOPs 下降明显非结构化稀疏普通 GPU 加速差;动态 Token 需要额外预测模块,推理逻辑变复杂边缘实时检测、图像分类
量化把 FP32 浮点权重、激活转成 FP16、INT8、INT4 低比特,含后训练量化、量化感知训练压缩倍率高,INT8 一般 4 倍压缩,工具链成熟极低比特(INT4)容易掉精度,ViT 激活分布更敏感移动端、NPU 部署
知识蒸馏大精度 ViT 当教师模型,把特征、注意力图、软标签传给小学生 ViT不用大幅改动结构,容易和其他压缩方法组合训练成本高,依赖高质量预训练教师模型轻量化从头训练模型
低秩近似把注意力、FFN 里的大矩阵拆成多个小矩阵相乘,或者线性注意力改造直接降低自注意力 O (n²) 复杂度部分方案会带来持续小幅精度损失,推理库支持偏少长图、高分辨率输入任务

二、视觉 Transformer 推理加速类方法(不改动模型参数,优化计算流程)

  1. 输入与动态推理优化
  2. Token 合并、自适应 Patch:合并相似度高的图像 Token,减少序列长度,代表方案 ToMe、DynamicViT;
  3. 早退机制:简单样本提前从浅层输出结果,不用跑完全部 Transformer 块;
  4. 软件推理引擎优化
  5. 算子融合、内存复用、批处理调度,比如 TensorRT、ONNX Runtime、Triton 针对 ViT 注意力算子做专门优化;
  6. 注意:很多时候 FLOPs 下降了,但带宽瓶颈没解决,延迟不一定同比变快,必须实测硬件延迟,不能只看 FLOPs 指标。

三、软硬件协同加速(当前前沿方向)

  • GPU:优化 FlashAttention、PagedAttention 这类注意力算子;
  • FPGA/ASIC:定制自注意力计算单元,专门适配稀疏 Token、低比特量化;
  • 光子、存算一体硬件:还在研究阶段,距离大规模落地较远。

四、当前存在的挑战

  1. 跨硬件迁移难:一套剪枝量化组合,在 GPU 效果好,换到 NPU 可能速度不升反降;
  2. 动态推理方案标准化不足,现有推理框架对动态 Token、早退支持弱;
  3. 大尺寸基础 ViT 压缩难度更高,注意力图冗余分布和小 ViT 差异很大;
  4. 缺少统一评测标准,很多论文只在 ImageNet 分类测试,检测、分割任务适配数据少。

五、未来研究方向

  • 硬件感知的自动联合优化,自动搜索剪枝比例、量化比特、Token 保留策略;
  • 统一稀疏推理框架,原生支持动态 Token、弹性深度;
  • 面向多模态 ViT 的压缩加速方案;
  • 低损伤的 INT4 及以下超低比特量化技术。

【相关 FAQ】

问题 1:视觉 Transformer 压缩与加速方法主要用来解决什么问题?

回答 1:视觉 Transformer 压缩与加速方法主要解决 ViT 自注意力带来的参数量大、计算复杂度高、内存开销大,难以在手机、嵌入式等边缘设备部署的问题,在尽量控制精度下降的前提下,降低模型体积、减少推理延迟、降低功耗。

问题 2:视觉 Transformer 压缩里的 Token 剪枝和普通权重剪枝有什么区别?

回答 2:视觉 Transformer 压缩中的 Token 剪枝是删掉图像 Patch 生成的不重要序列令牌,直接降低自注意力的序列长度;普通权重剪枝是删除网络里冗余的权重、注意力头或者神经元,二者可以搭配使用,Token 剪枝更贴合 ViT 独有的序列计算特性。

问题 3:视觉 Transformer 加速一定要做模型压缩吗?

回答 3:不一定,视觉 Transformer 加速分两条路线,一条是模型压缩,修改模型结构和权重减少计算量;另一条是纯推理加速,依靠算子优化、引擎调度、硬件定制,不改动模型参数,工程落地中经常两种方案一起搭配。

问题 4:做视觉 Transformer 压缩,量化和蒸馏哪个更容易上手落地?

回答 4:量化更容易上手落地,成熟工具链多,后训练量化甚至不需要重新训练;知识蒸馏需要准备教师模型、额外训练流程,开发成本更高,一般用来进一步弥补压缩后的精度损失。

【参考资料】

[2026-11-22](A Survey of Vision Transformer Compression and Acceleration Methods |视觉 Transformer 压缩与加速方法综述)阿里云开发者社区

[2026-09-01](Compression Techniques for Large-Scale Transformer Models: A Comprehensive Survey)ACM Digital Library

[2026-08-24](MOR-VIT: Efficient Vision Transformer with Mixture-of-Recursions)arXiv

[2026-03-02](Vision Transformers on the Edge: A Comprehensive Survey of Model Compression and Acceleration Strategies)arXiv

[2024-04-01](Comprehensive Survey of Model Compression and Speed up for Vision Transformers)arXiv

【免责声明】

本文内容仅基于公开综述文献整理,所有视觉 Transformer 压缩与加速方法的效果受数据集、硬件平台、超参数配置影响,不代表实际部署保证;不构成工程落地选型的唯一依据,实际项目建议自行做对照实验验证精度、延迟指标。

今日大家都在搜的词: