最近看到不少多模态大模型的工作#xff0c;有医学、金融混合#xff0c;还有CVNLP。

今天介绍#xff1a;

Di…而多模态大模型将能够打通各种模态能力实现任意模态之间转化被认为是通用式生成模型的未来发展方向。

最近看到不少多模态大模型的工作有医学、金融混合还有CVNLP。

今天介绍

论文链接https://ml.cs.tsinghua.edu.cn/diffusion/unidiffuser.pdf

开源代码https://github.com/thu-ml/unidiffuser

前置知识

https://laion.ai/blog/laion-5b/

58.5

不同分布的扩散模型学习都可以统一成一个视角首先向两个模态的数据分别加入某种大小的噪声然后再预测两个模态数据上的噪声。

其中两个模态数据上的噪声大小决定了具体的分布。

不同模态的扰动级别即时间步长timesteps不同。

UniDiffuser通过在所有模态中扰动数据而不是单个模态输入不同模态的单独时间步长并预测所有模态的噪声而不是单个模态同时学习所有分布。

时间步长是指在扩散过程中数据被扰动的次数或级别。

在不同的模态中时间步长可以不同用于控制不同模态之间的条件和联合分布。

例如一个零时间步长意味着在相应的模态上进行条件生成而一个绑定的时间步长意味着同时采样两个模态。

目标函数

用于估计噪声分布的对数似然项。

这两个项都是通过对数据进行扰动来计算的。

零成本

(CFG)是一种用于改善条件扩散模型采样质量的技术。

它通过线性组合条件模型和无条件模型来进行采样其中条件模型用于生成与给定条件相匹配的样本无条件模型用于生成高质量的样本。

CFG的关键是在采样过程中动态地调整条件和无条件模型的权重以平衡两者的影响。

在UniDiffuser中CFG可以直接应用于条件和联合采样而无需修改训练过程。

CFG能直接应用于条件和联合采样是因为UniDiffuser中的条件和联合采样都是通过对数据进行扰动来实现的。

ˆϵθ(xt,

ˆϵθ(xt,y0,t)(1s)ϵθ(xt,y0,t)−sϵθ(xt,t)

共享参数即$

技术在采样过程中动态调整条件和无条件模型之间的权重以平衡它们的影响。

这种方法可以有效地提高样本质量和图像文本对齐。

网络结构

采用了一个联合噪声预测网络来预测注入到输入数据中的噪声通过最小化回归损失来训练网络。

该网络是基于输入数据及其对应的时间步长所得到的嵌入向量进行训练的。

UniDiffuser

进行了修改将数据的两种模态及其对应的时间步长视为标记。

此外我们还对原始

Transformer

中的预层归一化进行了修改以避免在使用混合精度训练时出现溢出问题。

The