您的位置首页 >人工智能 >

A Survey on Guidance and Efficiency in Text-to-Image Diffusion Models |文本到图像扩散模型

这篇 A Survey on Guidance and Efficiency in Text-to-Image Diffusion Models 综述,核心讨论文本图生扩散模型里最核心的矛盾 ——生成质量、文本语义对齐、推理效率三者的三角取舍,把研究分成两大主线:引导策略(Guidance)和效率优化(Efficiency),梳理从早期固定 CFG、到动态引导、多模态引导;以及从采样加速、模型蒸馏、隐式架构优化等各类提速路线,同时指出静态 CFG 的固有缺陷、少步生成带来的语义崩塌、评测偏差等领域痛点,适合 AIGC 算法、端侧图生、模型部署方向研究者快速理清取舍边界。

一、两大主线定义

  • 引导(Guidance):采样阶段的控制策略,用来拉进生成图像和文本提示的语义距离,解决 “画不对提示词” 的问题,经典基线是无分类器引导 CFG。
  • 效率(Efficiency):降低推理开销、减少采样步数、降低显存占用,面向在线服务、手机、边缘设备部署,解决扩散模型步数多、推理慢的问题。
  • 底层矛盾:引导强度越高,语义对齐越好,但容易出现过饱和、扭曲、伪影,同时计算开销变大;一味提速少步数,又很容易丢失细节、语义错位。

二、主流引导策略分类

  1. 静态无分类器引导 CFG(行业基线)
  2. 动态 / 自适应引导调度
  3. 外部辅助引导
  4. 架构原生条件引导

固定引导系数,每一步都做条件 + 无条件分支前向。优点实现简单、通用性强;缺点固定系数不适应不同噪声阶段,引导太强画面崩坏,太弱提示词不生效,并且需要跑两次网络,算力翻倍。

随采样步数、噪声水平动态调整引导权重。早期降噪阶段侧重文本对齐,后期降噪阶段降低引导权重,优先保证画面质感;代表 Step AG、时序调度 CFG,一般可以提速 20%-30%,同时缓解饱和伪影。

CLIP 梯度引导、美学打分引导、人脸 / 姿态 / 深度等条件引导、LLM 增强提示引导。用额外模型的梯度约束采样,适合精细控制;缺点额外引入模型,进一步拉高推理成本。

DiT、ControlNet、T2I-Adapter 这类,把条件嵌入到网络结构里,而不是在采样阶段加梯度引导,适合结构可控生成。

三、效率优化主流技术路线

  1. 采样器加速:DDIM、DPM++、Euler 等高阶 ODE 求解器,用更少步数收敛,从 50 步降到 8–20 步。
  2. 模型蒸馏与一致性蒸馏:Consistency Model、Turbo 系列,把多步扩散蒸馏成 1–4 步生成,速度提升巨大;短板是复杂提示词、组合语义容易翻车。
  3. 隐空间压缩:LDM 潜在扩散,不在原图分辨率降噪,在低维潜空间运算,是现在几乎所有商用图生的基础。
  4. 稀疏、量化、算子优化:权重量化、KV 缓存、注意力稀疏、算子融合,面向 GPU / 端侧部署。
  5. 分支裁剪:自适应跳过 CFG 分支,只在关键步骤开启引导,其余步骤关闭无条件分支,减少一倍计算量。

四、评测指标对比表

指标评估对象说明
FID、CLIPScore质量 + 语义对齐最常用的自动指标,CLIPScore 侧重图文匹配
Human preference、美学打分主观体验人评,区分饱和、扭曲、美感
FPS、单图显存、采样步数效率指标部署侧核心指标
组合提示成功率复杂语义能力多物体、属性绑定、空间关系,CFG 强的模型这里经常失效
引导感知 GA-Eval公平对比引导方法解决一个常见坑:单纯拉高 CFG 分数就上涨,但画面已经崩坏

五、综述总结的现存痛点

  1. 评测陷阱:很多论文只对比固定 CFG,忽略 “拉高引导系数就能刷分”,指标好看不等于实际效果好,缺少引导感知的公平评测框架。
  2. 少步和引导互斥:1–4 步 Turbo 类模型,很难同时维持强引导,复杂提示词很容易出现物体混淆、属性泄漏。
  3. 时序不匹配:降噪不同阶段对引导需求不一样,全局固定 CFG 是次优方案。
  4. 效率优化大多是后处理:蒸馏、采样加速很多是在预训练好的模型上做,很难从训练源头统一优化引导和速度。
  5. 端侧约束叠加:边缘设备显存有限,动态引导、多辅助引导很难同时开启。

六、前沿方向

  • 引导感知联合蒸馏:蒸馏的时候直接学习动态引导调度,而不是分开训练、分开调 CFG
  • 统一引导框架:文本、姿态、深度、美学多目标引导做自适应权重分配
  • 一步 / 两步生成下的强语义引导,解决 Turbo 模型提示词服从性差的问题
  • 端侧自适应调度:根据当前设备算力自动选择引导强度、采样步数

【相关 FAQ】

问题 1:这篇文本到图像扩散模型引导与效率综述,引导和效率是什么关系?

回答 1:文本到图像扩散模型引导与效率综述里,引导负责保证图片跟着提示词走,效率负责生成速度;两者天然存在权衡,引导越强,算力开销越高,画面也更容易饱和失真。

问题 2:文本到图像扩散模型引导与效率综述里 CFG 是什么,有什么缺点?

回答 2:文本到图像扩散模型引导与效率综述里 CFG 即无分类器引导,是行业基线;缺点是每一步都要跑两次网络、固定系数,无法适配不同降噪阶段,容易出现过饱和扭曲。

问题 3:文本到图像扩散模型引导与效率综述里动态引导调度是怎么做的?

回答 3:文本到图像扩散模型引导与效率综述里动态引导调度,就是在降噪前期拉高引导权重保证语义对齐,后期降低引导权重保住画面质感,还能减少一部分计算,实现提速。

问题 4:文本到图像扩散模型引导与效率综述提到的评测坑是什么?

回答 4:文本到图像扩散模型引导与效率综述指出,很多对比实验只简单拉高 CFG 系数刷 CLIPScore,分数上涨但图片已经崩坏,需要用引导感知 GA-Eval 做公平对比。

【参考资料】

[2026-08-11](A Survey on Guidance and Efficiency in Text-to-Image Diffusion Models)arXiv

[2026-11-22](A Survey on Guidance and Efficiency in Text-to-Image Diffusion Models 综述导读)阿里云开发者社区

[2025-12-10](How Much To Guide: Revisiting Adaptive Guidance in Classifier-Free Guidance)ACM

[2024-03-05](Consistency Models 一致性蒸馏)arXiv

[2023-07-20](Classifier-Free Guidance 原始分析)arXiv

【免责声明】

本文仅为该文本到图像扩散模型引导与效率综述的公开科研内容整理,属于生成式 AI 前沿方向;不同引导、加速方案的效果受基础模型、提示词、硬件影响较大,内容不构成商用图生服务选型、部署方案的确定性建议。

今日大家都在搜的词: