梯度错位…Abstract

guidance为图像生成带来了控制但是需要训练新的噪声感知模型(noise-aware

models)来获得准确的梯度或使用最终生成的一步去噪近似这会导致梯度错位(misaligned

梯度错位(misaligned

gradients)通过噪声感知模型指导生成模型时两个模型的结构和目标不完全匹配导致从一个模型得到的梯度并不适用于另一个模型。

同样会导致梯度错位的原因还有特征空间不同、训练数据不一致、近似方法或噪声的影响等。

次优控制(sub-optimal

control)控制不够优化或理想分类器梯度指导图像生成但是梯度本身不够匹配或准确

Optimization

Latents(DOODL)。

该方法通过优化扩散潜变量相对于预训练分类器在真实生成的像素上的梯度利用可逆扩散过程实现内存高效的反向传播实现即插即用的引导。

DOODL展示了更精确指导的潜力在不同指导形式的计算和人类评估指标上优于一步分类器指导

使用CLIP指导改进DrawBench中复杂提示的生成使用细粒度视觉分类器扩展Stable

Diffusion的词汇量使用CLIP视觉编码器实现图像调节生成使用美学评分网络改进图像美感。

Introduction

(DOODL)。

DOODL优化了初始扩散噪声向量相对于全链扩散过程生成的基于模型的图像损失。

利用EDICT最近开发出的一种可以离散反演的扩散算法它允许与扩散步数的内存成本恒定的反向传播以计算最终生成的像素分类器相对于原始噪声向量的梯度。

这使得能够对图像像素上的任何可微损失进行高效的迭代扩散潜变量优化并准确计算用于分类器引导的梯度。

本文演示了DOODL在多种经常使用的定量和人类评估研究中使用的引导信号上的效果。

图1本文的方法改进了所有测试设置中的普通分类器引导并且展示了此类方法的新颖的功能例如词汇扩展实体个性化和感知审美价值改进。

第一展示了使用DOODL的CLIP分类器引导改进了由DrawBench数据集的文本提示引导的图像生成该数据集测试组合性和指导使用不寻常标题的能力。

第二展示了细粒度视觉分类器扩展预训练稳定扩散模型词汇量的能力这个能力是one-step分类器不具备的。

dog

sunglasses并且对任何新的网络不进行再训练。

据我们所知这是首次做到。

最后利用DOODL来执行一项新的任务提高生成/真实图像的感知美学质量希望DOODL能够为预训练的扩散模型启用和激发多种即插即用的功能。

Related

models如GLIDE、DALLE-2、Imagen、Latent

Classifier

guidance使用预训练分类器模型的梯度来指导此类生成。

在每个去噪步骤之前以固定的噪声水平遍历而不是顺序去噪。

并发工作修改classifier

表1基于学习的(Learning-Based)方法需要数据集和训练但是基于引导的(Guidance-Based)方法需要预训练识别网络在本文的设置中是在非噪声空间中训练的

最近在diffusion

networks)的焦点处有一种新的方法EDICT它通过算法将去噪扩散过程重新表述为可逆的过程。

这项先前的工作仅关注了图像编辑的应用没有考虑可逆神经网络或类似过程的属性。

DDIM等方法理论上在离散化极限下是可逆的但实际中无法达到这个极限。

2.2

虽然神经网络往往是非保维函数先前已经有关于构建可逆架构的工作。

此类INN的主要类别是标准化流模型标准化流结构中“耦合层“的修改版本被纳入本工作使用的EDICT算法中。

也有工作提出了一种通过条件良好的逆问题而不是封闭式解决方案保证可逆的架构。

这种架构的内存节省已被用于长序列循环神经网络并研究逆问题。

Background

\frac{dc(y)}{d\xi}\frac{dc(F_1^n(x))}{d\xi}\tag{1}

\frac{dc(F_1^n(x))}{dF_1^n(x)}\cdot\frac{dF_1^n(x)}{dF_1^{n-1}(x)}\cdots\frac{dF_1^i(x)}{dF_1^{i-1}(x)}\cdot\frac{dF_1^{i-1}(x)}{dx}\tag{2}

\end{align}

dξdc(y)​​dξdc(F1n​(x))​dF1n​(x)dc(F1n​(x))​⋅dF1n−1​(x)dF1n​(x)​⋯dF1i−1​(x)dF1i​(x)​⋅dxdF1i−1​(x)​​(1)(2)​

\frac{dc(y)}{d\xi}

跨处理器的网络分片减少了每个处理器的硬件内存需求但总数仍然保持不变。

INN可以从输出中恢复中间状态/输入通过避免激活缓存来降低内存成本。

如果Eq.1中每个

f^j

fj都是可逆的分母项可以在向后传递期间重建。

此类方法已被用来训练大型INN其速度比不可逆的等效方法快得多。

3.2

\{\alpha_t\}_{t0}^T,\alpha_T0,\alpha_01

t\in

x_t^{(i)}\sqrt{\alpha_t}x^{(i)}\sqrt{1-\alpha_t}\epsilon\tag{3}

xt(i)​αt​

xT​∼N(0,1)采样DDM被迭代应用从噪声中幻化出真实图像。

根据DDIM采样模型最后生成的

x_0

x_0[\Theta_{(0,C)}\circ\Theta_{(1,C)}\circ\cdots\circ

x0​[Θ(0,C)​∘Θ(1,C)​∘⋯∘Θ(T,C)​](xT​)(4)

3.2.1

C以外其他引导信号也可以引导生成图像。

最重要的例子classifier

c_{clf}

∇logpΦ​(y∣xt​)的梯度。

合并分类器指导有两种主要方法

一个noise-aware

∇xt​​cclf​(xt​)纳入到去噪预测当中。

训练噪声感知模型是有效的但由于计算费用和数据可用性而通常不可行。

这导致公开的噪声感知模型非常少。

x_0

最近EDICT一个离散的(时间步进)扩散模型的精确可逆变体被提出。

EDICT对潜在对

(x_t,y_t)

y_tb_t\cdot\Theta_{(t,C)}(x_t^{inter})

x_{t-1}p\cdot

xtinter​ytinter​xt−1​yt−1​​at​⋅xt​bt​⋅Θ(t,C)​(yt​)at​⋅yt​bt​⋅Θ(t,C)​(xtinter​)p⋅xtinter​(1−p)⋅ytinter​p⋅ytinter​(1−p)⋅xt−1​​(5)

(a_t,b_t)

y_{t1}(y_{t1}^{inter}-b_{t1}\cdot\Theta_{(t1,C)}(x_{t1}^{inter}))/a_{t1}

x_{t1}(x_{t1}^{inter}-b_{t1}\cdot\Theta_{(t1,C)}(y_{t1}))/a_{t1}

\tag{6}

yt1inter​xt1inter​yt1​xt1​​(yt​−(1−p)⋅xt​)/p(xt​−(1−p)⋅yt1inter​)/p(yt1inter​−bt1​⋅Θ(t1,C)​(xt1inter​))/at1​(xt1inter​−bt1​⋅Θ(t1,C)​(yt1​))/at1​​(6)

我们在DOODL中使用这个构造并在5.3节中使用Eq.6来编码图像

x_0

guidance在3.2.1节中讨论的短板。

具体地我们的方法有以下优点

不需要重新训练/微调一个已经存在的预训练好的分类模型计算相对于真实输出的梯度而不是单步近似在语义上有意义的方式合并梯度而不是对抗式扰动

特别强调最后一点相对于像素的梯度可以满足分类器损失同时不会在感知上改变图像的内容。

这与GAN中的潜在优化等技术相反其中解码器提供的正则化意味着优化发生在扰动通常会导致满足所需目标的感知上有意义的变化的空间中。

x_0

S50时对于最先进的扩散模型来说内存成本接近1TB对于大多数用途来说都是不切实际的。

梯度检查点(Gradient

checkpointing)以内存换取计算复杂性如果内存成本保持不变则每次向后传递的计算复杂性都会增加

x_T

我们将最近研究发现的EDICT作为可逆的反向扩散过程其允许在常数内存空间内实现对

x_t

我们通过几种关键的方式修改普通梯度下降以获得满足指导标准的逼真图像。

x_T^{(j)}

yT​(j)来自Eq.5~6被一起平均并重新归一化为初始抽取的

x_T^{(0)}

xT(0)​。

平均可以防止潜变量漂移从而避免降低质量。

归一化到原始范数可以保持”高斯壳(gaussian

(x_0,y_0)

(x0​,y0​)执行多样裁剪(multi-crop)数据的增强对每个图像采样进行16次裁剪。

采用的动量

0.9

momentum没有很多用处最后为了提高输出图像的稳定性和真实性每次更新我们对

10^{-3}

x0​的逐像素的损失。

该损失的梯度被纳入后续的扩散步骤中。

BEDICT。

扩散过程的可逆变体允许在整个链中进行反向传播而无需额外的内存成本。

CDOODL。

我们利用EDICT展示了针对最终生成物计算的模型损失可以被直接用于优化完整的噪声

x_T