参考资料
- The Illustrated Stable Diffusion – Jay Alammar – Visualizing machine learning one concept at a time.
- 深入浅出扩散模型 (Diffusion Model) 系列：基石 DDPM（模型架构篇），最详细的 DDPM 架构图解
综述
- Efficient Diffusion Models: A Survey

综述

理论基础

视觉生成模型的理论基础从 SDE 到 ODE，再到 Flow Matching 和 Rectified Flow，完成了速度革命

维度	传统扩散 (DDPM/SDE)	扩散 ODE (DDIM/EDM)	Flow Matching (FM)	Rectified Flow (RF)
数学基础	随机微分方程 SDE	常微分方程 ODE	常微分方程 ODE	常微分方程 ODE
预测目标	噪声 $\epsilon$	噪声 $\epsilon$	速度向量 $v=x_1-x_0$	常数 / 平直速度 $v$
路径形态	弯曲、随机	较平滑、确定	较直、确定	极直、无交叉
训练耦合	独立随机	独立随机	独立随机	迭代自诱导耦合
训练流程	单阶段	单阶段	单阶段	多阶段 Reflow
采样步数	50–1000	20–50	5–20	1–4 步
随机性	随机	确定	确定	确定
噪声调度	复杂（ $\beta_t,\bar\alpha_t$ ）	简化	无	无
代表模型	DDPM, SD 1.x/2.x	DDIM, Euler	SD3, FLUX.1	FLUX.1 [schnell], FLUX.2

SDE 到 ODE
- 传统 DDPM 是 SDE（随机微分方程）：
  $dx_t = f (x_t,t) dt + g (t) dw_t \quad (\text{含随机噪声项} dw_t)$
- 但所有扩散模型都存在等价的确定性 ODE 形式（Probability Flow ODE）：
  $\frac {dx_t}{dt} = v_\theta (x_t,t) \quad (\text{纯确定性速度场，无随机项})$
- DDIM 本质就是扩散的 ODE 采样器（去掉随机项）
- EDM、DPM-Solver 也都是 ODE 求解器
- 优势：确定性、大步长、少步数、无方差、易加速
- 这是 Flow Matching / Rectified Flow 诞生的理论基础：直接用 ODE 建模，不再绕 SDE
Flow Matching
- 直接学习从噪声 $x_0$ 到数据 $x_1$ 的连续速度场 $v_\theta (x,t)$ ，不再预测噪声，而是预测 “该往哪流”
- 流定义
  $\frac {d x_t}{dt}=v_\theta (x_t,t), \quad x_0 \sim \mathcal {N}(0,I), \quad x_1 \sim p_{\text{data}}$
- 条件流匹配 CFM（标准范式）
  - 构造线性插值路径： $x_t=(1-t) x_0 + t x_1, \quad t \in [0,1]$
  - 真实速度场： $v^*(x_t,t)=\frac {d x_t}{dt}=x_1 - x_0$
  - 训练目标（MSE）： $\mathcal {L}=\mathbb {E}_{x_0,x_1,t}\left [\|v_\theta (x_t,t)-(x_1 - x_0)\|^2\right]$
- 纯 ODE、确定性、无噪声调度
- 训练更简单、信号更干净（不用复杂方差、ELBO）
- 采样步数少：5–20 步（传统扩散 20–1000 步）
- 代表：SD3、FLUX.1 基础、VideoGen
Rectified Flow（整流流）
- 在 Flow Matching 基础上，用迭代 “矫正（Reflow）” 把路径彻底拉直，实现 1–4 步生成
- 第一轮训练（Base Flow）同 Flow Matching：随机配对 $(x_0,x_1)$ ，学速度场 $v_\theta$
- 第二轮训练（Reflow 矫正，核心创新）
  - 固定噪声 $z_1,z_2,\dots,z_n$
  - 用模型生成 $x_i = \text{ODE solve}(v_\theta,z_i)$
  - 构造确定性配对 $(z_i,x_i)$
  - 用新配对重新训练 → 轨迹无交叉、更平直
  - 可多次迭代 Reflow → 越来越直、步数越少
- 理想 Rectified Flow：
  $x_t=(1-t) x_0 + t x_1, \quad \frac {d x_t}{dt}=C \ (\text{常数速度})$
- 几何意义：消除路径交叉（confusion region），速度场无冲突
- 最优运输（OT）：迭代收敛到近似 OT 映射
- 极致采样效率：1–4 步高质量
- 稳定性极强、混合精度友好
- 代表：FLUX.1 [schnell]（4 步）、FLUX.2、SD3 蒸馏版、Sora 视频

从像素空间到潜在空间

早期的 DDPM 直接在像素空间进行建模，生成速度很慢，而后的 Stable Diffusion / LDM 等扩展到在潜在空间进行扩散，生成速度突飞猛进

空间类型	核心思路	代表模型	优势	劣势	主流阶段
像素空间 Pixel Space	直接在 RGB 图像域建模	DDPM, ADM, StyleDiffusion	无压缩、细节最优	显存极大、速度极慢	2020–2022（初代）
潜在空间 Latent Space（LDM）	VAE 压缩到低维 latent 再扩散	Stable Diffusion 1.x/2.x, LDM	快 10×+、显存友好、易部署	轻微细节损失	2022–2024（工业主流）
潜在 + 精修联合空间	Base + Refiner 分阶段生成	SDXL, SD3, FLUX.1	质量逼近像素、效率高	结构更复杂	2023–2026（新一代）
统一多模态隐空间	文本 / 图像 / 视频统一表征	Sora, FLUX.2, GPT-4o 类	跨模态一致、长时序强	训练成本极高	2024–2026（前沿）

从 U-Net 到 DiT

早期的 DDPM 等以 U-Net 为去噪骨干（CNN 为主），而后的研究提出 DiT（Diffusion Transformer）

骨干类型	结构特点	代表模型	优势	劣势	主流阶段
U-Net （CNN 为主）	编码 - 解码 + 跳连 + 卷积块	DDPM, SD1.x/2.x, ControlNet	局部强、小模型高效	全局弱、视频 scaling 差	2020–2023
DiT（Diffusion Transformer）	ViT + Patch + 全局注意力	DiT, SD3, FLUX, Sora	全局建模强、大模型友好	小模型慢、显存高	2023–2026（绝对主流）
U-Net + Transformer 混合	CNN 局部 + Transformer 全局	UViT, SD2.x 增强版	平衡效率与质量	结构复杂	2022–2024
Mamba / State-Space	选择性状态空间、线性复杂度	Mamba-DiT, DiS, Sora 优化	长序列 / 视频极快	训练不稳定	2024–2026（前沿）

CFG

CFG (Classifier-Free Guidance)：条件引导增强，提升条件生成的 fidelity（贴合度），牺牲少量多样性，是文生图质量的核心技术

DDPM

基本思想

DDPM 就是通过对数据不断加噪成为真实噪声，和从真实噪声不断去噪还原成原始数据的过程中
学习到去噪的过程，进而就能对真实噪声进行随机采样，还原（生成）成各式各样的数据

Visual Generation

综述

理论基础

从像素空间到潜在空间

从 U-Net 到 DiT

CFG

DDPM

基本思想

训练流程

UNet

Stable Diffusion

DALL・E 2

Video Diffusion

On this page

页面信息