Qu…简介

通过利用预训练的视觉模型和语言模型来提升多模态效果和降低训练成本预训练的视觉模型能够提供高质量的视觉表征预训练的语言模型则提供了强大的语言生成能力。

Querying

Transformer的视觉语言表示学习阶段使用冻结LLM的视觉到语言生成学习阶段

model

Q-Former由两个Transformer子模块组成它们共享相同的自关注层:

与冻结Image

是随机初始化的。

Q-Former共包含188M个参数。

queries

论文中使用32个queries维度为768与Q-Former的中间层维度一样其输出的

1024)

在预训练时冻结预训练图像模型和语言模型但是简单地冻结预训练模型参数会导致视觉特征和文本特征难以对齐为此BLIP-2提出两阶段预训练

Q-Former

Encoder训练集为图像-文本对通过联合优化三个预训练目标在Query和Text之间分别采用不同的注意力掩码策略从而控制Image

Transformer和Text

对齐为了避免信息泄漏ITC采用了单模态自注意掩码不允许Query和Text相互注意。

具体来说Text

[CLS]

标记的输出嵌入而Query嵌入则包含多个输出嵌入因此首先计算每个Query输嵌入与文本嵌入之间的相似度然后选择最高的一个作为图像-文本相似度。

Image-grounded

的架构不允许冻结的图像编码器和文本标记之间的直接交互因此生成文本所需的信息必须首先由Query提取然后通过

self-attention

Attention掩码来控制Query和Text的交互Query可以相互关注但不能关注Text标记每个Text标记都可以处理所有Query及其前面的Text标记。

这里将

[CLS]

ITM是一个二元分类任务通过预测图像-文本对是正匹配还是负匹配学习图像和文本表示之间的细粒度对齐。

这里将Image

Transformer输出的每个Query嵌入输入到一个二类线性分类器中以获得对应的logit然后将所有的logit平均再计算匹配分数。

ITM使用

bi-directional

的语言生成能力。

这里使用全连接层将输出的Query嵌入线性投影到与

LLM

的文本嵌入相同的维度然后将投影的Query嵌入添加到输入文本嵌入前面。

由于

Q-Former

已经过预训练可以提取包含语言信息的视觉表示因此它可以有效地充当信息瓶颈将最有用的信息提供给

LLM

LLM使用前缀语言建模损失进行预训练将文本分成两部分前缀文本与视觉表示连接起来作为

LLM

LLM接收Q-Former的输出并将问题作为输入然后预测答案。

还将问题作为条件提供给Q-Former使得提取的图像特征与问题更加相关。