这篇《A Survey on Diffusion Transformer Acceleration and Efficiency》综述,核心就是把 DiT(扩散 Transformer)目前所有加速方案做了归类梳理,点明 DiT 最大痛点是迭代去噪 + 自注意力二次方计算量,推理很慢,整篇文章把加速方向分成算法层、模型层、系统硬件层三大块,同时对比了各类方案的优缺点、适用场景、质量损失,还指出当前研究的短板,比如很多加速方案只能在图像场景生效、视频长序列泛化差、多种加速手段叠加之后容易出现画质崩坏,给后续 DiT 落地和研究划清楚路线。
一、DiT 加速四大主流技术路线
1、采样步优化(减少迭代次数)
- 原理:修改去噪调度策略,跳过冗余时间步,不用跑完几十步采样
- 代表方案:蒸馏采样、少步调度、自适应跳步
- 优点:改动小、兼容性强;缺点:跳步太多容易出现结构扭曲、色彩失真
2、特征缓存与动态稀疏(token 级冗余裁剪)
- 原理:相邻去噪步之间特征变化很小,缓存上一层特征,跳过重复计算;动态判断哪些 token 不用算注意力
- 代表方案:静态特征缓存、可学习 token 稀疏、LazyDiT 懒计算
- 优点:画质损失低;缺点:固定缓存策略在物体剧烈变化场景容易误差累积
3、模型压缩(剪枝、量化、蒸馏)
- 原理:降低模型权重精度、删掉冗余头 / 层、把大模型知识蒸馏到小 DiT
- 代表方案:FP8/INT4 量化、注意力头剪枝、离线蒸馏
- 优点:显存占用下降明显;缺点:低比特量化对长视频 DiT 稳定性差
4、系统与硬件协同优化
- 原理:算子重构、KV 缓存复用、分布式并行、针对 GPU/TPU 做算子适配
- 代表方案:FlashAttention、DiT 专用算子、张量并行推理
- 优点:不改动模型本身,画质几乎无损;缺点:强绑定硬件,迁移成本高
二、不同加速方案对比表
| 加速类别 | 典型速度提升 | 画质损失 | 是否需要微调 | 适合场景 |
|---|---|---|---|---|
| 采样步调度优化 | 1.5~3 倍 | 中 | 部分需要 | 图片生成、快速预览 |
| Token 特征缓存 | 1.3~2 倍 | 低 | 可选 | 静态图片、缓慢变化视频 |
| 量化 + 剪枝 | 2~4 倍 | 低 - 中 | 少量微调 | 端侧、显卡显存不足场景 |
| 硬件算子优化 | 1.2~2 倍 | 几乎无 | 不需要 | 云端大卡部署 |
| 多方案叠加组合 | 3~10 倍 | 较高 | 通常需要 | 追求极致速度,可接受轻微瑕疵 |
三、综述总结的现存问题
- 大部分加速方案只针对图像 DiT,视频 DiT 长序列、时序变化强,缓存策略很容易失效
- 很多加速方法是独立设计,叠加在一起的时候会互相干扰,FID、CLIP 分数会掉得很快
- 缺少统一评测标准,不同论文用的模型、采样步数不一样,速度提升很难横向对比
- 面向移动端、边缘设备的 DiT 加速研究偏少,大多只针对高端 GPU
四、综述给出的未来方向
- 跨时序、跨分辨率的统一自适应加速策略
- 训练和推理对齐的可学习缓存框架,减少训练推理 gap
- 面向视频 DiT 的专用稀疏注意力机制
- 统一评测基准,方便不同加速算法公平对比
【相关 FAQ】
问题 1:这篇扩散 Transformer 加速与效率综述主要讲了哪些 DiT 加速思路?
回答 1:这篇扩散 Transformer 加速与效率综述把 DiT 加速分成采样步优化、特征缓存与动态稀疏、模型压缩、硬件系统协同四大方向,同时对比各类方案的速度增益、画质代价、适用场景,还总结当前瓶颈和未来研究方向。
问题 2:DiT 用特征缓存加速有什么短板,综述里怎么说?
回答 2:综述提到,静态特征缓存的扩散 Transformer 加速方案,在画面内容剧烈变化的时候误差会不断累积,而且很多缓存方案只适合图片,视频时序场景效果不稳定。
问题 3:扩散 Transformer 加速方案能不能叠加在一起用?
回答 3:可以叠加,比如缓存 + 量化 + 跳步采样,速度提升会更高,但是综述指出多种加速手段叠加之后,更容易出现画质下降、生成瑕疵,需要做联合调优。
问题 4:扩散 Transformer 加速与效率综述认为现在 DiT 加速最大痛点是什么?
回答 4:最大痛点是 DiT 迭代去噪 + 自注意力二次方复杂度带来推理开销大,现有加速方法泛化性不足,图像方案很难直接迁移到视频生成,缺少统一评测标准。
【参考资料】
[2026-11-22](A Survey on Diffusion Transformer Acceleration and Efficiency|扩散 Transformer 加速与效率综述)阿里云开发者社区
[2026-04-10](DiffSparse:基于可学习 Token 稀疏的扩散 Transformer 加速)arXiv
[2025-09-25](RAPID3:面向扩散 Transformer 的三级强化加速策略)arXiv
[2025-02-10](HarmoniCa 对齐训练推理的 DiT 特征缓存加速)OpenReview
【免责声明】
本文内容基于该 DiT 加速综述公开导读与相关 DiT 学术论文整理,各类加速方案的提速倍数、画质表现会随基础模型、采样器、硬件环境变化;综述本身是学术调研总结,不代表方案落地保证,工程落地前建议自行复现评测,不构成项目选型建议。
