潜在一致性模型：通过少步推理合成高分辨率图像

Paper Title: Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference

Paper是清华发表在Arxiv 2023的工作

Paper地址

Code地址

ABSTRACT

潜在扩散模型 (LDM) 在合成高分辨率图像方面取得了显著成果。然而，迭代采样过程计算量大，导致生成速度慢。受一致性模型 (Song et al, 2023) 的启发，我们提出了潜在一致性模型 (LCM)，能够在任何预训练的 LDM（包括稳定扩散 (Rombach et al, 2022)）上以最少的步骤进行快速推理。将引导的反向扩散过程视为求解增强概率流 ODE (PF-ODE)，LCM 旨在直接预测此类 ODE 在潜在空间中的解，从而减少大量迭代的需要并实现快速、高保真采样。从预训练的无分类器引导扩散模型中高效提炼而来，高质量的 768×768 2∼4 步 LCM 仅需 32 个 A100 GPU 小时的训练时间。此外，我们引入了潜在一致性微调 (LCF)，这是一种新方法，专门用于在定制图像数据集上微调 LCM。在 LAION-5B-Aesthetics 数据集上的评估表明，LCM 仅需几步推理即可实现最先进的文本到图像生成性能。项目页面：地址

1 INTRODUCTION

扩散模型已成为强大的生成模型，在各个领域引起了广泛关注并取得了显着成果（Ho et al, 2020; Song et al, 2020a; Nichol & Dhariwal, 2021; Ramesh et al, 2022; Song & Ermon, 2019; Song et al, 2021）。特别是，潜在扩散模型（LDM）（例如稳定扩散（Rombach et al, 2022））表现出色，尤其是在高分辨率文本到图像合成任务中。LDM 可以通过利用对样本进行逐步去噪的迭代反向采样过程来生成以文本描述为条件的高质量图像。然而，扩散模型有一个明显的缺点：迭代反向采样过程导致生成速度慢，限制了它们的实时适用性。为了克服这个缺点，研究人员提出了几种提高采样速度的方法，包括通过增强 ODE 求解器来加速去噪过程 (Ho et al, 2020; Lu et al, 2022a;b)，可以在 10∼20 个采样步骤内生成图像。另一种方法是将预先训练的扩散模型蒸馏成能够进行几步推理的模型 Salimans & Ho (2022); Meng et al (2023)。特别是，Meng et al (2023) 提出了一种两阶段蒸馏方法来提高无分类器引导模型的采样效率。最近，Song et al (2023) 提出了一致性模型作为一种有前途的替代方案，旨在加快生成过程。通过学习在 ODE 轨迹上保持点一致性的一致性映射，这些模型允许单步生成，从而无需计算密集型迭代。然而，Song 等人 (2023) 受限于像素空间图像生成任务，因此不适合合成高分辨率图像。此外，条件扩散模型的应用和无分类器引导的结合尚未得到探索，因此他们的方法不适合文本到图像的生成合成。

图 1：CFG 尺度为 ω = 8.0 的潜在一致性模型 (LCM) 生成的图像。只需 4,000 个训练步骤（约 32 个 A100 GPU 小时）即可从任何预训练的稳定扩散 (SD) 中提取 LCM，以在 2∼4 步甚至一步内生成高质量的 768×768 分辨率图像，从而显著加快文本到图像的生成。我们使用 LCM 仅用 4,000 次训练迭代就提取了 Dreamer-V7 版本的 SD。

在本文中，我们介绍了用于快速、高分辨率图像生成的潜在一致性模型 (LCM)。类似LDM，我们在稳定扩散 (Rombach 等人，2022) 的预训练自编码器的图像潜在空间中采用一致性模型。我们提出了一种单阶段引导蒸馏方法，通过求解增强 PF-ODE 将预训练的引导扩散模型有效地转换为潜在一致性模型。此外，我们提出了潜在一致性微调，它允许对预训练的 LCM 进行微调，以支持对定制图像数据集进行几步推理。我们的主要贡献总结如下：

• 我们提出了潜在一致性模型 (LCM)，用于快速、高分辨率图像生成。LCM 在图像潜在空间中采用一致性模型，能够在预先训练的潜在扩散模型（例如稳定扩散 (SD)）上实现快速的几步甚至一步高保真采样。

• 我们提供了一种简单高效的单阶段引导一致性蒸馏方法，用于蒸馏几步（2∼4）甚至 1 步采样的 SD。我们提出了 SKIPPING-STEP 技术来进一步加速收敛。对于 2 步和 4 步推理，我们的方法仅花费 32 个 A100 GPU 小时进行训练，并在 LAION-5B-Aesthetics 数据集上实现了最佳性能。

• 我们为 LCM 引入了一种新的微调方法，称为潜在一致性微调，可以使预训练的 LCM 有效地适应定制数据集，同时保留快速推理的能力。

2 RELATED WORK

扩散模型在图像生成方面取得了巨大成功（Ho et al, 2020; Song et al, 2020a; Nichol & Dhariwal, 2021; Ramesh et al, 2022; Rombach et al, 2022; Song & Ermon, 2019）。
它们经过训练，可以对受噪声破坏的数据进行去噪，以估计数据分布的分数。 在推理过程中，通过运行反向扩散过程来抽取样本，以逐渐对数据点进行去噪。 与 VAE（Kingma & Welling, 2013; Sohn et al, 2015）和 GAN（Goodfellow et al, 2020）相比，扩散模型具有训练稳定性和更好的似然估计的优势。

加速 DM。 然而，扩散模型的瓶颈在于其缓慢的生成速度。
已经提出了各种方法，包括无需训练的方法，例如 ODE 求解器（Song 等人，2020a；Lu 等人，2022a；b）、自适应步长求解器（Jolicoeur-Martineau 等人，2021）、预测校正方法（Song 等人，2020b）。基于训练的方法包括优化离散化（Watson 等人，2021）、截断扩散（Lyu 等人，2022；Zheng 等人，2022）、神经算子（Zheng 等人，2023）和蒸馏（Salimans & Ho，2022；Meng 等人，2023）。最近，还提出了用于更快采样的新型生成模型（Liu 等人，2022；2023）。

潜在扩散模型 (LDM) (Rombach 等人，2022) 在合成高分辨率文本到图像方面表现出色。例如，稳定扩散 (SD) 在数据潜在空间中执行正向和反向扩散过程，从而提高计算效率。

一致性模型 (CM) (Song 等人，2023) 作为一种新型生成模型，在保持生成质量的同时实现更快的采样，显示出巨大的潜力。CM 采用一致性映射将 ODE 轨迹中的任何点直接映射到其原点，从而实现快速的一步生成。CM 可以通过蒸馏预训练的扩散模型或作为独立的生成模型进行训练。CM 的细节将在下一节中详细说明。

3 PRELIMINARIES

在本节中，我们简要回顾了扩散模型和一致性模型，并定义了相关的符号。

扩散模型：扩散模型，或基于评分的生成模型 (Ho et al., 2020; Song et al., 2020a)，是一类生成模型，它通过逐步向数据中注入高斯噪声，然后通过反向去噪过程从噪声中生成样本。具体来说，扩散模型定义了一个将原始数据分布 $p_{\text{data}}(x)$ 转换为边缘分布 $q_t\left({\mathbf{x}}_t\right)$ 的前向过程，通过转移核：$q_{0t}\left({\mathbf{x}}_t\mid {\mathbf{x}}_0\right)=\mathcal{N}\left({\mathbf{x}}_t\mid \alpha (t){\mathbf{x}}_0,{\sigma }^2(t)\mathbf{I}\right)$，其中 $\alpha (t),\sigma (t)$ 指定了噪声时间表。从连续时间的角度来看，前向过程可以通过随机微分方程 (SDE) 来描述 (Song et al., 2020b; Lu et al., 2022a; Karras et al., 2022) 对于 $t\in [0,T]$：

$$\mathrm{d}{\mathbf{x}}_t=f(t){\mathbf{x}}_t\mathrm{d}t+g(t)\mathrm{d}{\mathbf{w}}_t,{\mathbf{x}}_0\sim p_{\text{data }}\left({\mathbf{x}}_0\right)$$

其中 ${\mathbf{w}}_t$ 是标准布朗运动，并且

$$f(t)=\frac{\mathrm{d}\log \alpha (t)}{\mathrm{d}t},g^2(t)=\frac{\mathrm{d}{\sigma }^2(t)}{\mathrm{d}t}-2\frac{\mathrm{d}\log \alpha (t)}{\mathrm{d}t}{\sigma }^2(t)(1)$$

通过考虑反向时间SDE（更多详细信息请参见附录A），可以证明边缘分布 $q_t(\mathbf{x})$ 满足以下常微分方程，称为概率流ODE (PF-ODE) (Song et al., 2020b; Lu et al., 2022a)：

$$\frac{\mathrm{d}{\mathbf{x}}_t}{\mathrm{d}t}=f(t){\mathbf{x}}_t-\frac{1}{2}{g}^2(t){\nabla }_{\mathbf{x}}\log q_t\left({\mathbf{x}}_t\right),{\mathbf{x}}_T\sim q_T\left({\mathbf{x}}_T\right)(2)$$

在扩散模型中，我们训练噪声预测模型 ${\mathbf{ϵ}}_{\mathbf{\theta }}\left({\mathbf{x}}_t,t\right)$ 以拟合 $-\nabla \log q_t\left({\mathbf{x}}_t\right)$（称为得分函数）。通过使用噪声预测模型来近似得分函数，可以得到以下用于采样的经验 $PF-ODE$：

$$\frac{\mathrm{d}{\mathbf{x}}_t}{\mathrm{d}t}=f(t){\mathbf{x}}_t+\frac{g^2(t)}{2{\sigma }_t}{\mathbf{ϵ}}_{\theta }\left({\mathbf{x}}_t,t\right),{\mathbf{x}}_T\sim \mathcal{N}\left(0,{\tilde{\sigma }}^2\mathbf{I}\right)(3)$$

对于类条件扩散模型，Classifier-Free Guidance (CFG) (Ho & Salimans, 2022) 是一种有效的技术，可以显著提高生成样本的质量，并已广泛应用于多个大规模扩散模型中，包括GLIDE (Nichol et al., 2021)、Stable Diffusion (Rombach et al., 2022)、DALL·E 2 (Ramesh et al., 2022) 和 Imagen (Saharia et al., 2022)。给定CFG尺度 $\omega$，原始噪声预测被替换为条件和无条件噪声预测的线性组合，即 ${\widetilde{\mathbf{ϵ}}}_{\mathbf{\theta }}\left({\mathbf{z}}_t,\omega ,\mathbf{c},t\right)=(1+\omega ){\mathbf{ϵ}}_{\mathbf{\theta }}\left({\mathbf{z}}_t,\mathbf{c},t\right)-\omega {\mathbf{ϵ}}_{\mathbf{\theta }}(\mathbf{z},\varnothing ,t)$。

一致性模型：一致性模型 (CM) (Song et al., 2023) 是一类新的生成模型，可以实现一步或少步生成。CM的核心思想是学习将PF-ODE轨迹上的任意点映射到该轨迹的起点（即PF-ODE的解）的函数。更正式地，一致性函数定义为 $f:\left(x_t,t\right)⟼x_{ϵ}$，其中 $ϵ$ 是一个固定的小正数。一个重要的观察是，一致性函数应满足自一致性属性：

$$\mathbf{f}\left({\mathbf{x}}_t,t\right)=\mathbf{f}\left({\mathbf{x}}_{t^{\prime }},t^{\prime }\right),\forall t,t^{\prime }\in [ϵ,T](4)$$

(Song et al., 2023) 中学习一致性模型 $f_{\theta }$ 的关键思想是通过有效地在公式4中强制执行自一致性属性来从数据中学习一致性函数。为了确保 $f_{\theta }(x,ϵ)=x$，一致性模型 $f_{\theta }$ 被参数化为：

$${\mathbf{f}}_{\mathbf{\theta }}(\mathbf{x},t)=c_{\text{skip }}(t)\mathbf{x}+c_{\text{out }}(t){\mathbf{F}}_{\mathbf{\theta }}(\mathbf{x},t)(5)$$

其中 $c_{\text{skip }}(t)$ 和 $c_{\text{out }}(t)$ 是可微函数，并且 $c_{\text{skip }}(ϵ)=1$ 和 $c_{\text{out }}(ϵ)=0$，而 ${\mathbf{F}}_{\mathbf{\theta }}(\mathbf{x},t)$ 是一个深度神经网络。CM可以通过从预训练的扩散模型中提炼（称为一致性提炼）或从头开始训练来获得。为了强制执行自一致性属性，我们维护一个目标模型 ${\mathbf{\theta }}^{-}$，通过参数 $\mathbf{\theta }$ 的指数移动平均 (EMA) 更新，即 ${\mathbf{\theta }}^{-}\leftarrow \mu {\mathbf{\theta }}^{-}+(1-\mu )\mathbf{\theta }$，并定义一致性损失为：

$$\mathcal{L}\left(\mathbf{\theta },{\mathbf{\theta }}^{-};\Phi \right)={\mathbb{E}}_{\mathbf{x},t}\left[d\left({\mathbf{f}}_{\mathbf{\theta }}\left({\mathbf{x}}_{t_{n+1}},t_{n+1}\right),{\mathbf{f}}_{{\mathbf{\theta }}^{-}}\left({\hat{\mathbf{x}}}_{i_n}^{\varphi },t_n\right)\right)\right](6)$$

其中 $d(\cdot ,\cdot )$ 是用于测量两个样本之间距离的度量函数，例如平方 ${\ell }_2$ 距离 $d(\mathbf{x},\mathbf{y})=\Vert \mathbf{x}-\mathbf{y}{\Vert }_2^2$。${\hat{\mathbf{x}}}_{t_n}^{\varphi }$ 是 ${\mathbf{x}}_{t_n}$ 的一步估计：

$${\hat{\mathbf{x}}}_{t_n}^{\varphi }\leftarrow {\mathbf{x}}_{t_{n+1}}+\left(t_n-t_{n+1}\right)\Phi \left({\mathbf{x}}_{t_{n+1}},t_{n+1};\varphi \right)(7)$$

其中 $\Phi$ 表示应用于公式24中的PF-ODE的一步ODE求解器。 (Song et al., 2023) 使用Euler (Song et al., 2020b) 或 Heun求解器 (Karras et al., 2022) 作为数值ODE求解器。更多详细信息和一致性蒸馏的伪代码（算法2）请参见附录A。

4 LATENT CONSISTENCY MODELS

一致性模型 (CMs) (Song et al., 2023) 仅专注于 ImageNet $64\times 64$ (Deng et al., 2009) 和 LSUN $256\times 256$ (Yu et al., 2015) 上的图像生成任务。CMs 在生成更高分辨率的文本到图像任务上的潜力仍未被探索。在本文中，我们在第4.1节中引入了潜在一致性模型 (LCMs) 来应对这些更具挑战性的任务，释放CMs的潜力。与LDMs类似，我们的LCMs在图像潜在空间中采用一致性模型。我们选择强大的Stable Diffusion (SD) 作为基础扩散模型进行蒸馏。我们的目标是在不损失图像质量的前提下，实现SD的少步 $(2\sim 4)$ 甚至一步推理。分类器自由引导 (CFG) (Ho & Salimans, 2022) 是一种有效的技术，可以进一步提高样本质量，并广泛应用于SD中。然而，其在CMs中的应用尚未被探索。我们在第4.2节中提出了一种简单的单阶段引导蒸馏方法，通过求解增强的PF-ODE，有效地将CFG整合到LCM中。在第4.3节中，我们提出了跳步技术 (SKIPPING-STEP) 来加速LCMs的收敛。最后，我们在第4.4节中提出潜在一致性微调 (Latent Consistency Fine-tuning) 以在自定义数据集上微调预训练的LCM，实现少步推理。

4.1 CONSISTENCY DISTILLATION IN THE LATENT SPACE

---

在大规模扩散模型如Stable Diffusion (SD) (Rombach et al., 2022)中利用图像潜在空间有效提升了图像生成质量并减少了计算负载。在SD中，首先训练一个自编码器$(\mathcal{E},\mathcal{D})$，将高维图像数据压缩为低维潜在向量$z=\mathcal{E}(x)$，然后解码以重建图像为$\hat{x}=\mathcal{D}(z)$。在潜在空间中训练扩散模型相比于基于像素的模型大大降低了计算成本并加快了推理过程；LDMs使得在笔记本GPU上生成高分辨率图像成为可能。对于LCMs，我们利用潜在空间的一致性蒸馏优势，与CMs (Song et al., 2023)中使用的像素空间形成对比。这种方法称为潜在一致性蒸馏 (LCD)，应用于预训练的SD，使得在$1\sim 4$步内合成高分辨率 (例如$768\times 768$) 图像。我们专注于条件生成。回顾逆扩散过程的PF-ODE (Song et al., 2020b; Lu et al., 2022a) 为

$$\frac{\mathrm{d}{\mathbf{z}}_t}{\mathrm{d}t}=f(t){\mathbf{z}}_t+\frac{g^2(t)}{2{\sigma }_t}{\mathbf{ϵ}}_{\theta }\left({\mathbf{z}}_t,\mathbf{c},t\right),{\mathbf{z}}_T\sim \mathcal{N}\left(0,{\tilde{\sigma }}^2\mathbf{I}\right)(8)$$

其中${\mathbf{z}}_t$为图像潜变量，${\mathbf{ϵ}}_{\theta }\left({\mathbf{z}}_t,\mathbf{c},t\right)$是噪声预测模型，$\mathbf{c}$是给定的条件 (例如文本)。可以通过求解从$T$到0的PF-ODE来绘制样本。为了执行$\mathbf{LCD}$，我们引入了一致性函数$f_{\theta }:\left(z_t,c,t\right)\mapsto z_0$以直接预测$t=0$的PF-ODE (Eq. 8) 的解。我们通过噪声预测模型${\widehat{\mathbf{ϵ}}}_{\theta }$对$f_{\theta }$进行参数化，具体如下:

$${\mathbf{f}}_{\mathbf{\theta }}(\mathbf{z},\mathbf{c},t)=c_{\text{skip }}(t)\mathbf{z}+c_{\text{out }}(t)\left(\frac{\mathbf{z}-{\sigma }_t{\widehat{\mathbf{ϵ}}}_{\theta }(\mathbf{z},\mathbf{c},t)}{{\alpha }_t}\right),(\mathbf{ϵ}\text{-Prediction })(9)$$

其中$c_{\text{skip }}(0)=1,c_{\text{out }}(0)=0$，${\widehat{\mathbf{ϵ}}}_{\theta }(\mathbf{z},\mathbf{c},t)$是一个噪声预测模型，初始化时与教师扩散模型具有相同的参数。值得注意的是，${\mathbf{f}}_{\mathbf{\theta }}$可以通过多种方式进行参数化，具体取决于教师扩散模型对预测的参数化 (例如，$\mathbf{x},\mathbf{ϵ}$ (Ho et al., 2020), $\mathbf{v}$ (Salimans & Ho, 2022))。我们在附录D中讨论了其他可能的参数化方法。

我们假设有一个有效的ODE求解器$\Psi \left({\mathbf{z}}_t,t,s,c\right)$可用于从时间$t$到$s$的近似Eq 8右侧的积分。在实践中，我们可以使用DDIM (Song et al., 2020a)、DPM-Solver (Lu et al., 2022a)或DPM-Solver++ (Lu et al., 2022b)作为$\Psi (\cdot ,\cdot ,\cdot ,\cdot )$。请注意，我们仅在训练/蒸馏时使用这些求解器，而不是在推理时。当我们在第4.3节中介绍SKIPPING-STEP技术时，我们将进一步讨论这些求解器。LCM旨在通过最小化一致性蒸馏损失 (Song et al., 2023) 来预测PF-ODE的解：

$${\mathcal{L}}_{\mathcal{C}\mathcal{D}}\left(\mathbf{\theta },{\mathbf{\theta }}^{-};\Psi \right)={\mathbb{E}}_{\mathbf{z},c,n}\left[d\left({\mathbf{f}}_{\mathbf{\theta }}\left({\mathbf{z}}_{t_{n+1}},\mathbf{c},t_{n+1}\right),{\mathbf{f}}_{{\mathbf{\theta }}^{-}}\left({\hat{\mathbf{z}}}_{t_n}^{\Psi },\mathbf{c},t_n\right)\right)\right](10)$$

这里，${\hat{z}}_{t_n}^{\Psi }$是从$t_{n+1}\to t_n$ 使用ODE求解器$\Psi$对$PF-ODE$的演化的估计：

$${\hat{\mathbf{z}}}_{t_n}^{\Psi }-{\mathbf{z}}_{t_{n+1}}={\int }_{t_{n+1}}^{t_n}\left(f(t){\mathbf{z}}_t+\frac{g^2(t)}{2{\sigma }_t}{\mathbf{ϵ}}_{\theta }\left({\mathbf{z}}_t,\mathbf{c},t\right)\right)\mathrm{d}t\approx \Psi \left({\mathbf{z}}_{t_{n+1}},t_{n+1},t_n,\mathbf{c}\right)(11)$$

其中，求解器$\Psi (\cdot ,\cdot ,\cdot ,\cdot )$用于近似从$t_{n+1}\to t_n$的积分。

4.2 ONE-STAGE GUIDED DISTILLATION BY SOLVING AUGMENTED PF-ODE

---

Classifier-free guidance (CFG) (Ho & Salimans, 2022) 在SD中对于生成高质量文本对齐图像至关重要，通常需要一个CFG缩放$\omega$超过6。因此，将CFG整合到蒸馏方法中变得不可或缺。之前的方法Guided-Distill (Meng et al., 2023)引入了一个两阶段的蒸馏方法，以支持从一个引导的扩散模型进行少步采样。然而，它计算量很大（例如，据估计在(Liu et al., 2023)中，用于2步推理的计算量至少需要45个A100 GPU日）。相较之下，一个LCM仅需32个A100 GPU小时的训练即可实现2步推理，如图1所示。此外，两阶段的引导蒸馏可能导致累积误差，从而导致次优性能。相比之下，LCMs采用高效的一阶段引导蒸馏，通过求解增强的PF-ODE来实现。回顾在逆扩散过程中使用的CFG:

$${\widetilde{\mathbf{ϵ}}}_{\theta }\left({\mathbf{z}}_t,\omega ,\mathbf{c},t\right):=(1+\omega ){\mathbf{ϵ}}_{\theta }\left({\mathbf{z}}_t,\mathbf{c},t\right)-\omega {\mathbf{ϵ}}_{\theta }\left({\mathbf{z}}_t,\varnothing ,t\right)(12)$$

其中，原始的噪声预测被条件和无条件噪声的线性组合所取代，而$\omega$被称为引导比例。要从引导的逆过程进行采样，我们需要求解以下增强的PF-ODE：（即，增加了与$\omega$相关的项）

$$\frac{\mathrm{d}{\mathbf{z}}_t}{\mathrm{d}t}=f(t){\mathbf{z}}_t+\frac{g^2(t)}{2{\sigma }_t}{\widetilde{\mathbf{ϵ}}}_{\theta }\left({\mathbf{z}}_t,\omega ,\mathbf{c},t\right),{\mathbf{z}}_T\sim \mathcal{N}\left(0,{\tilde{\sigma }}^2\mathbf{I}\right)(13)$$

为了高效地执行一阶段引导蒸馏，我们引入了一个增强的一致性函数${\mathbf{f}}_{\theta }:\left(z_t,\omega ,\mathbf{c},t\right)\mapsto {\mathbf{z}}_0$，直接预测增强的PF-ODE (Eq. 13)在$t=0$时的解。我们对$f_{\mathbf{\theta }}$的参数化方式与Eq. 9相同，不同的是${\widehat{\mathbf{ϵ}}}_{\theta }(\mathbf{z},\mathbf{c},t)$被${\widehat{\mathbf{ϵ}}}_{\theta }(\mathbf{z},\omega ,\mathbf{c},t)$替代，这是一个噪声预测模型，初始化时与教师扩散模型的参数相同，但也包含用于$\omega$调节的额外可训练参数。一致性损失与Eq. 10相同，只不过我们使用增强的一致性函数${\mathbf{f}}_{\mathbf{\theta }}\left({\mathbf{z}}_{\mathbf{t}},\omega ,\mathbf{c},t\right)$。

$${\mathcal{L}}_{\mathcal{C}\mathcal{D}}\left(\mathbf{\theta },{\mathbf{\theta }}^{-};\Psi \right)={\mathbb{E}}_{\mathbf{z},c,\omega ,n}\left[d\left({\mathbf{f}}_{\mathbf{\theta }}\left({\mathbf{z}}_{t_{n+1}},\omega ,\mathbf{c},t_{n+1}\right),{\mathbf{f}}_{{\mathbf{\theta }}^{-}}\left({\hat{\mathbf{z}}}_{t_n}^{\Psi ,\omega },\omega ,\mathbf{c},t_n\right)\right)\right](14)$$

在Eq 14中，$\omega$和$n$分别从区间$\left[{\omega }_{\min },{\omega }_{\max }\right]$和 { 1 , … , N − 1 } \{1, \ldots, N-1\} {1,…,N−1}中均匀采样。${\hat{\mathbf{z}}}_{t_n}^{\Psi ,\omega }$使用新的噪声模型${\widetilde{\mathbf{ϵ}}}_{\theta }\left({\mathbf{z}}_t,\omega ,\mathbf{c},t\right)$进行估计，如下：

$$\begin{array}{rl}{\hat{\mathbf{z}}}_{t_n}^{\mathbb{D},\omega }-{\mathbf{z}}_{t_{n+1}}& ={\int }_{t_{n+1}}^{t_n}\left(f(t){\mathbf{z}}_t+\frac{g^2(t)}{2{\sigma }_t}{\widetilde{\mathbf{ϵ}}}_{\theta }\left({\mathbf{z}}_t,\omega ,\mathbf{c},t\right)\right)\mathrm{d}t\\ & =(1+\omega ){\int }_{t_{n+1}}^{t_n}\left(f(t){\mathbf{z}}_t+\frac{g^2(t)}{2{\sigma }_t}{\mathbf{ϵ}}_{\theta }\left({\mathbf{z}}_t,\mathbf{c},t\right)\right)\mathrm{d}t-\omega {\int }_{t_{n+1}}^{t_n}\left(f(t){\mathbf{z}}_t+\frac{g^2(t)}{2{\sigma }_t}{\mathbf{ϵ}}_{\theta }\left({\mathbf{z}}_t,\varnothing ,t\right)\right)\mathrm{d}t\\ & \approx (1+\omega )\Psi \left({\mathbf{z}}_{t_{n+1}},t_{n+1},t_n,\mathbf{c}\right)-\omega \Psi \left({\mathbf{z}}_{t_{n+1}},t_{n+1},t_n,\varnothing \right)\end{array}(15)$$

同样，我们可以使用DDIM (Song et al., 2020a)、DPM-Solver (Lu et al., 2022a)或DPM-Solver++ (Lu et al., 2022b)作为PF-ODE求解器$\Psi (\cdot ,\cdot ,\cdot ,\cdot )$。

4.3 ACCELERATING DISTILLATION WITH SKIPPING TIME STEPS

---

离散扩散模型 (Ho et al., 2020; Song & Ermon, 2019) 通常使用一个长时间步长计划 { t i } i \left\{t_i\right\}_i {ti​}i​（也称为离散计划或时间计划）来训练噪声预测模型，以实现高质量的生成结果。例如，Stable Diffusion (SD) 的时间计划长度为1000。然而，直接将潜在一致性蒸馏（Latent Consistency Distillation, LCD）应用于SD具有这样一个扩展的计划可能会有问题。模型需要在所有1000个时间步长之间进行采样，并且一致性损失试图将LCM模型${\mathbf{f}}_{\mathbf{\theta }}\left({\mathbf{z}}_{t_{n+1}},\mathbf{c},t_{n+1}\right)$的预测与沿着相同轨迹的下一个时间步长的预测${\mathbf{f}}_{\mathbf{\theta }}\left({\mathbf{z}}_{t_n},\mathbf{c},t_n\right)$对齐。由于$t_n-t_{n+1}$非常小，${\mathbf{z}}_{t_n}$和${\mathbf{z}}_{t_{n+1}}$（以及${\mathbf{f}}_{\mathbf{\theta }}\left({\mathbf{z}}_{t_{n+1}},\mathbf{c},t_{n+1}\right)$和${\mathbf{f}}_{\mathbf{\theta }}\left({\mathbf{z}}_{t_n},\mathbf{c},t_n\right)$）已经非常接近，导致一致性损失较小，因此导致收敛缓慢。为了解决这些问题，我们引入了SKIPPING-STEP方法，大大缩短了时间计划的长度（从数千缩短到数十），以实现快速收敛，同时保持生成质量。

一致性模型 (CMs) (Song et al., 2023) 使用EDM (Karras et al., 2022) 连续时间计划，并使用Euler或Heun Solver作为数值连续PF-ODE求解器。对于LCMs，为了适应Stable Diffusion中的离散时间计划，我们使用DDIM (Song et al., 2020a)、DPM-Solver (Lu et al., 2022a) 或 DPM-Solver++ (Lu et al., 2022b) 作为ODE求解器。 (Lu et al., 2022a) 表明这些高级求解器可以高效地求解Eq. 8中的PF-ODE。现在，我们在潜在一致性蒸馏 (LCD) 中介绍SKIPPING-STEP方法。LCMs旨在确保当前时间步长与$k$步远的时间步长之间的一致性，$t_{n+k}\to t_n$，而不是确保相邻时间步长$t_{n+1}\to t_n$之间的一致性。注意，设置$k=1$会还原为(Song et al., 2023)中的原始计划，导致收敛缓慢，而非常大的$k$可能会导致ODE求解器的大近似误差。在我们的主要实验中，我们将$k$设置为20，大大将时间计划长度从数千减少到数十。Sec. 5.2中的结果展示了各种$k$值的效果，并揭示了SKIPPING-STEP方法在加速LCD过程中的重要性。具体来说，Eq. 14中的一致性提炼损失被修改为确保从$t_{n+k}$到$t_n$的一致性：

$${\mathcal{L}}_{\mathcal{C}\mathcal{D}}\left(\mathbf{\theta },{\mathbf{\theta }}^{-};\Psi \right)={\mathbb{E}}_{\mathbf{z},\mathbf{c},\omega ,n}\left[d\left({\mathbf{f}}_{\mathbf{\theta }}\left({\mathbf{z}}_{t_{n+k}},\omega ,\mathbf{c},t_{n+k}\right),{\mathbf{f}}_{\mathbf{\theta }-}\left({\hat{\mathbf{z}}}_{t_n}^{\Psi ,\omega },\omega ,\mathbf{c},t_n\right)\right)\right](16)$$

其中${\hat{\mathbf{z}}}_{t_n}^{\Psi ,\omega }$是使用数值增强PF-ODE求解器$\Psi$估计的${\mathbf{z}}_{t_n}$：

$${\hat{\mathbf{z}}}_{t_n}^{\Psi ,\omega }⟵{\mathbf{z}}_{t_{n+k}}+(1+\omega )\Psi \left({\mathbf{z}}_{t_{n+k}},t_{n+k},t_n,\mathbf{c}\right)-\omega \Psi \left(z_{t_{n+k}},t_{n+k},t_n,\varnothing \right)(17)$$

上述推导类似于Eq. 15。对于LCM，我们在此使用三种可能的ODE求解器：DDIM (Song et al., 2020a)、DPM-Solver (Lu et al., 2022a)、DPM-Solver++ (Lu et al., 2022b)，我们在Sec 5.2中比较了它们的性能。实际上，DDIM (Song et al., 2020a)是DPM-Solver的一级离散化近似（已在(Lu et al., 2022a)中证明）。在此我们提供从$t_{n+k}$到$t_n$的DDIM PF-ODE求解器${\Psi }_{\text{DIIM }}$的详细公式。其他两个求解器${\Psi }_{\text{DPM-Solver }},{\Psi }_{\text{DPM-Solver++ }}$的公式在附录E中提供。

$${\Psi }_{\mathrm{DDIM}}\left({\mathbf{z}}_{t_{n+k}},t_{n+k},t_n,\mathbf{c}\right)=\underset{\text{DDIM Estimated }{\mathbf{z}}_{t_n}}{\underbrace{\frac{{\alpha }_{t_n}}{{\alpha }_{t_{n+k}}}{\mathbf{z}}_{t_{n+k}}-{\sigma }_{t_n}\left(\frac{{\sigma }_{t_{n+k}}\cdot {\alpha }_{t_n}}{{\alpha }_{t_{n+k}}\cdot {\sigma }_{t_n}}-1\right){\widehat{\mathbf{ϵ}}}_{\theta }\left({\mathbf{z}}_{t_{n+k}},\mathbf{c},t_{n+k}\right)}}-{\mathbf{z}}_{t_{n+k}}(18)$$

我们在算法1中提供了具有CFG和SKIPPING-STEP技术的LCD伪代码。对(Song et al., 2023)中原始一致性蒸馏(CD)算法的修改部分以蓝色标出。此外，LCM采样算法3在附录B中提供。

4.4 LATENT CONSISTENCY FINE-TUNING FOR CUSTOMIZED DATASET

---

稳定扩散等基础生成模型在各种文本到图像生成任务中表现出色，但通常需要在定制数据集上进行微调以满足下游任务的要求。
我们提出了潜在一致性微调 (LCF)，这是一种针对预训练 LCM 的微调方法。受一致性训练 (CT) (Song et al, 2023) 的启发，LCF 可以在不依赖于此类数据上训练的教师扩散模型的情况下对定制数据集进行高效的几步推理。这种方法为扩散模型的传统微调方法提供了一种可行的替代方案。LCF 的伪代码在算法 4 中提供，附录 C 中有更详细的说明。