扩散与文生图

一句话定义

扩散模型先对图像逐步加噪，再学习反向去噪；文生图（Text-to-Image）把文本提示编码成条件，引导去噪过程生成符合描述的图像。

为什么需要它

扩散模型能生成高质量、多样化的图像，训练比 GAN 更稳定；文本条件让用户用自然语言控制生成，成为文生图/文生视频的主流路线之一。

怎么工作

1. 前向加噪：对图像/ latent 逐步加噪声。
2. 反向去噪：训练 U-Net/DiT 预测噪声，逐步还原。
3. 文本条件：CLIP/T5 编码 prompt，通过 cross-attention/adaption 注入。
4. 采样：DDIM/Euler 等采样器，控制步数和速度。
5. 解码：latent diffusion 用 VAE 解码成像素。

关键取舍

• 采样步数越多通常越精细，但越慢；蒸馏可加速。
• CFG（无分类器引导）越强越贴 prompt，但过高会过饱和/失真。
• 分辨率、种子、模型版本都会影响结果。
• 版权、深伪、安全过滤要单独评估。

常见误区

• 扩散是唯一图像生成方法：GAN、自回归、掩码生成也在用。
• 文生图等于理解图像：生成和理解是不同任务。
• 提示词越长越好：过长会互相冲突，结构化提示更稳。
• 生成结果可复现：同 prompt 不同种子/版本也会变。

训练目标通常是预测噪声/速度；推理从纯噪声开始逐步去噪。Latent diffusion 在低维空间去噪，降低算力。控制手段包括 ControlNet、参考图、掩码和结构化 prompt；评估看 CLIP score、人工偏好和安全。

用在哪里

• 文生图、图像编辑、风格化、素材生成。
• 文生视频/动画的关键帧生成。
• 多模态数据合成与增强。

相关概念

• 视觉编码器与 CLIP：文本/图像条件编码。
• 多模态模型：理解侧的多模态。
• Text-to-Video：把扩散扩展到视频。