您的位置首页 >人工智能 >

扩散 Transformer 加速与效率综述核心解读

这篇《A Survey on Diffusion Transformer Acceleration and Efficiency》综述,核心就是把 DiT(扩散 Transformer)目前所有加速方案做了归类梳理,点明 DiT 最大痛点是迭代去噪 + 自注意力二次方计算量,推理很慢,整篇文章把加速方向分成算法层、模型层、系统硬件层三大块,同时对比了各类方案的优缺点、适用场景、质量损失,还指出当前研究的短板,比如很多加速方案只能在图像场景生效、视频长序列泛化差、多种加速手段叠加之后容易出现画质崩坏,给后续 DiT 落地和研究划清楚路线。

一、DiT 加速四大主流技术路线

1、采样步优化(减少迭代次数)

  • 原理:修改去噪调度策略,跳过冗余时间步,不用跑完几十步采样
  • 代表方案:蒸馏采样、少步调度、自适应跳步
  • 优点:改动小、兼容性强;缺点:跳步太多容易出现结构扭曲、色彩失真

2、特征缓存与动态稀疏(token 级冗余裁剪)

  • 原理:相邻去噪步之间特征变化很小,缓存上一层特征,跳过重复计算;动态判断哪些 token 不用算注意力
  • 代表方案:静态特征缓存、可学习 token 稀疏、LazyDiT 懒计算
  • 优点:画质损失低;缺点:固定缓存策略在物体剧烈变化场景容易误差累积

3、模型压缩(剪枝、量化、蒸馏)

  • 原理:降低模型权重精度、删掉冗余头 / 层、把大模型知识蒸馏到小 DiT
  • 代表方案:FP8/INT4 量化、注意力头剪枝、离线蒸馏
  • 优点:显存占用下降明显;缺点:低比特量化对长视频 DiT 稳定性差

4、系统与硬件协同优化

  • 原理:算子重构、KV 缓存复用、分布式并行、针对 GPU/TPU 做算子适配
  • 代表方案:FlashAttention、DiT 专用算子、张量并行推理
  • 优点:不改动模型本身,画质几乎无损;缺点:强绑定硬件,迁移成本高

二、不同加速方案对比表

加速类别典型速度提升画质损失是否需要微调适合场景
采样步调度优化1.5~3 倍中部分需要图片生成、快速预览
Token 特征缓存1.3~2 倍低可选静态图片、缓慢变化视频
量化 + 剪枝2~4 倍低 - 中少量微调端侧、显卡显存不足场景
硬件算子优化1.2~2 倍几乎无不需要云端大卡部署
多方案叠加组合3~10 倍较高通常需要追求极致速度,可接受轻微瑕疵

三、综述总结的现存问题

  1. 大部分加速方案只针对图像 DiT,视频 DiT 长序列、时序变化强,缓存策略很容易失效
  2. 很多加速方法是独立设计,叠加在一起的时候会互相干扰,FID、CLIP 分数会掉得很快
  3. 缺少统一评测标准,不同论文用的模型、采样步数不一样,速度提升很难横向对比
  4. 面向移动端、边缘设备的 DiT 加速研究偏少,大多只针对高端 GPU

四、综述给出的未来方向

  1. 跨时序、跨分辨率的统一自适应加速策略
  2. 训练和推理对齐的可学习缓存框架,减少训练推理 gap
  3. 面向视频 DiT 的专用稀疏注意力机制
  4. 统一评测基准,方便不同加速算法公平对比

【相关 FAQ】

问题 1:这篇扩散 Transformer 加速与效率综述主要讲了哪些 DiT 加速思路?

回答 1:这篇扩散 Transformer 加速与效率综述把 DiT 加速分成采样步优化、特征缓存与动态稀疏、模型压缩、硬件系统协同四大方向,同时对比各类方案的速度增益、画质代价、适用场景,还总结当前瓶颈和未来研究方向。

问题 2:DiT 用特征缓存加速有什么短板,综述里怎么说?

回答 2:综述提到,静态特征缓存的扩散 Transformer 加速方案,在画面内容剧烈变化的时候误差会不断累积,而且很多缓存方案只适合图片,视频时序场景效果不稳定。

问题 3:扩散 Transformer 加速方案能不能叠加在一起用?

回答 3:可以叠加,比如缓存 + 量化 + 跳步采样,速度提升会更高,但是综述指出多种加速手段叠加之后,更容易出现画质下降、生成瑕疵,需要做联合调优。

问题 4:扩散 Transformer 加速与效率综述认为现在 DiT 加速最大痛点是什么?

回答 4:最大痛点是 DiT 迭代去噪 + 自注意力二次方复杂度带来推理开销大,现有加速方法泛化性不足,图像方案很难直接迁移到视频生成,缺少统一评测标准。

【参考资料】

[2026-11-22](A Survey on Diffusion Transformer Acceleration and Efficiency|扩散 Transformer 加速与效率综述)阿里云开发者社区

[2026-04-10](DiffSparse:基于可学习 Token 稀疏的扩散 Transformer 加速)arXiv

[2025-09-25](RAPID3:面向扩散 Transformer 的三级强化加速策略)arXiv

[2025-02-10](HarmoniCa 对齐训练推理的 DiT 特征缓存加速)OpenReview

【免责声明】

本文内容基于该 DiT 加速综述公开导读与相关 DiT 学术论文整理,各类加速方案的提速倍数、画质表现会随基础模型、采样器、硬件环境变化;综述本身是学术调研总结,不代表方案落地保证,工程落地前建议自行复现评测,不构成项目选型建议。

今日大家都在搜的词: