训练时通过图片逐步添加噪声#xff0c;变为一个纯噪声。

然后学习每一步的噪声。

推理时给定一个随机噪声图片#x…Diffusion算法可以有多个角度进行理解不同的理解方式只是对目标函数进行了不同的解释。

其主体思想是不变的可以归纳为

训练时通过图片逐步添加噪声变为一个纯噪声。

然后学习每一步的噪声。

推理时给定一个随机噪声图片然后通过学习到的噪声生成一个新的图片

x_0,

\sqrt{\alpha_t}\boldsymbol{x}_{t-1}

\sqrt{1

\mathcal{N}(\boldsymbol{\epsilon};

\boldsymbol{0},

xt​都是随机变量可以进行恒等变换但是算出来的仍然是一个随机变量。

我们必须知道随机变量的分布才可以。

x_t

q(xt−1​∣xt​,x0​)而这个值可以用贝叶斯公式变换为

q(\mathbf{x}_{t-1}

q(xt−1​∣xt​,x0​)q(xt​∣xt−1​,x0​)q(xt​∣x0​)q(xt−1​∣x0​)​

x_{t}

\sqrt{\bar\alpha_t}\boldsymbol{x}_0

\sqrt{1

\bar\alpha_t}\boldsymbol{\boldsymbol{\epsilon}}_0

\end{align}

上面的式子其实就是三个高斯分布相乘除那么通过代入高斯分布的公式然后经过一通计算以后可以获得

q(\mathbf{x}_{t-1}

\mathbf{x}_0)^2}{1-\bar{\alpha}_{t-1}}

\frac{(\mathbf{x}_t

\mathbf{x}_0)^2}{1-\bar{\alpha}_t}

\big)

\color{red}{\mathbf{x}_{t-1}^2}

}{\beta_t}

\color{red}{\mathbf{x}_{t-1}^2}

\color{black}{-

\mathbf{x}_0)^2}{1-\bar{\alpha}_t}

\big)

\color{red}{(\frac{\alpha_t}{\beta_t}

\frac{1}{1

\color{blue}{(\frac{2\sqrt{\alpha_t}}{\beta_t}

\mathbf{x}_t

\frac{2\sqrt{\bar{\alpha}_{t-1}}}{1

\bar{\alpha}_{t-1}}

q(xt−1​∣xt​,x0​)​q(xt​∣xt−1​,x0​)q(xt​∣x0​)q(xt−1​∣x0​)​∝exp(−21​(βt​(xt​−αt​

​xt​xt−1​αt​xt−12​​1−αˉt−1​xt−12​−2αˉt−1​

​x0​xt−1​αˉt−1​x02​​−1−αˉt​(xt​−αˉt​

​x0​)2​))exp(−21​((βt​αt​​1−αˉt−1​1​)xt−12​−(βt​2αt​

​​xt​1−αˉt−1​2αˉt−1​

\frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1

\bar{\alpha}_t}

β~​t​μ~​t​(xt​,x0​)​1−αˉt​1−αˉt−1​​⋅βt​1−αˉt​αt​

​βt​​x0​​

\boldsymbol{\mu}_q(\boldsymbol{x}_t,

\boldsymbol{x}_0)

\frac{1}{\sqrt{\alpha_t}}\boldsymbol{x}_t

\frac{1

\bar\alpha_t}\sqrt{\alpha_t}}\boldsymbol{\epsilon}_0\\

\tilde{\beta}_t

​1−αt​​ϵ0​1−αˉt​1−αˉt−1​​⋅βt​​​

x_{t-1}

VAE中引入了一个隐含的变量z将p(x|y)看成了p(x|z)和q(z|y)这两个部分然后获得了一个目标函数ELBO。

下面的公式说明了ELBO是p(x)的下界这个算法的目标就是最大化ELBO

log

q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})dz\\

\int

q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})\log

\mathbb{E}_{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\left[\log

\mathbb{E}_{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\left[\log\frac{p(\boldsymbol{x},

\boldsymbol{z})}{p(\boldsymbol{z}\mid\boldsymbol{x})}\right]\\

\mathbb{E}_{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\left[\log\frac{p(\boldsymbol{x},

\boldsymbol{z})q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}{p(\boldsymbol{z}\mid\boldsymbol{x})q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\right]\\

\mathbb{E}_{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\left[\log\frac{p(\boldsymbol{x},

\boldsymbol{z})}{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\right]

\mathbb{E}_{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\left[\log\frac{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}{p(\boldsymbol{z}\mid\boldsymbol{x})}\right]\\

\mathbb{E}_{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\left[\log\frac{p(\boldsymbol{x},

\boldsymbol{z})}{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\right]

\mathcal{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})

\mid\mid

p(\boldsymbol{z}\mid\boldsymbol{x}))\\

\geq

\mathbb{E}_{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\left[\log\frac{p(\boldsymbol{x},

\boldsymbol{z})}{q_{\boldsymbol{\phi}}(\boldsymbol{z}\mid\boldsymbol{x})}\right]

\end{align}

logp(x)​logp(x)∫qϕ​(z∣x)dz∫qϕ​(z∣x)logp(x)dzEqϕ​(z∣x)​[logp(x)]Eqϕ​(z∣x)​[logp(z∣x)p(x,z)​]Eqϕ​(z∣x)​[logp(z∣x)qϕ​(z∣x)p(x,z)qϕ​(z∣x)​]Eqϕ​(z∣x)​[logqϕ​(z∣x)p(x,z)​]Eqϕ​(z∣x)​[logp(z∣x)qϕ​(z∣x)​]Eqϕ​(z∣x)​[logqϕ​(z∣x)p(x,z)​]DKL​(qϕ​(z∣x)∣∣p(z∣x))≥Eqϕ​(z∣x)​[logqϕ​(z∣x)p(x,z)​]​​

p(z1|z2),

p(zt|y)。

可以发现这个和扩散模型的思想是非常类似的。

并且可以推导出来Hierarchical

log

\mathbb{E}_{q(\boldsymbol{x}_{1:T}\mid\boldsymbol{x}_0)}\left[\log

\frac{p(\boldsymbol{x}_{0:T})}{q(\boldsymbol{x}_{1:T}\mid\boldsymbol{x}_0)}\right]\\

\begin{aligned}[t]

\underbrace{\mathbb{E}_{q(\boldsymbol{x}_{1}\mid\boldsymbol{x}_0)}\left[\log

p_{\boldsymbol{\theta}}(\boldsymbol{x}_0\mid\boldsymbol{x}_1)\right]}_\text{reconstruction

term}

\underbrace{\mathcal{D}_{\text{KL}}(q(\boldsymbol{x}_T\mid\boldsymbol{x}_0)

\mid\mid

p(\boldsymbol{x}_T))}_\text{prior

matching

\underbrace{\mathbb{E}_{q(\boldsymbol{x}_{t}\mid\boldsymbol{x}_0)}\left[\mathcal{D}_{\text{KL}}(q(\boldsymbol{x}_{t-1}\mid\boldsymbol{x}_t,

\boldsymbol{x}_0)

p_{\boldsymbol{\theta}}(\boldsymbol{x}_{t-1}\mid\boldsymbol{x}_t))\right]}_\text{denoising

matching

logp(x)​≥Eq(x1:T​∣x0​)​[logq(x1:T​∣x0​)p(x0:T​)​][t]reconstruction

term

Eq(x1​∣x0​)​[logpθ​(x0​∣x1​)]​​​−prior

matching

DKL​(q(xT​∣x0​)∣∣p(xT​))​​−t2∑T​denoising

matching

Eq(xt​∣x0​)​[DKL​(q(xt−1​∣xt​,x0​)∣∣pθ​(xt−1​∣xt​))]​​​​​

然后扩散模型就选择了最后一项作为自己的目标函数。

同时扩散模型假设了xt和xt-1之间的分布然后把ELBO最后一项推呀推推出最后需要学习一个噪声项。

VAE的目标就是输入x输出的y接近x的分布。

做的方法是假设了一个中间变量z然后问题变为计算两个条件概率p(x|z)和p(z|y)。

在传统VAE中这两个条件概率密度都是通过神经网络做的。

Diffusion的目标和VAE挺类似的但是没有用神经网络做而是直接用一个线性的函数规定了z和x

z2,

ϵ是一个高斯噪声因此可以通过贝叶斯计算均值和方差。

Diffusion的目标函数是VAE目标函数的一部分