。

大多数现有方法都基于预训练模型#xff0c;这些模型使用后期融合方法融合下游任务的多模态输入。

然而#xff0c;这种方法通常需要在训练期间进行特定的数据注释#xff0c;并且对于…视觉语言任务是当今自然语言处理NLP和计算机视觉领域的热门话题。

大多数现有方法都基于预训练模型这些模型使用后期融合方法融合下游任务的多模态输入。

然而这种方法通常需要在训练期间进行特定的数据注释并且对于许多多模态任务来说满足这一要求仍然非常困难和昂贵。

Microsoft研究人员最近发表的一篇论文提出了一种新的视觉语言预训练模型用于图像

文本联合嵌入ImageBERT它在MSCOCO图像检索任务和Flickr

与Google的BERT来自变压器的双向编码器表示语言模型一样ImageBERT是基于Transformer的。

它采用不同的模态文本和视觉标记作为输入通过嵌入层编码到不同的嵌入中。

然后将这些嵌入输入多层双向自注意力转换器该转换器训练跨模态转换器来建模图像和文本之间的关系。

ImageBERT模型架构

数据的数量和质量对于视觉语言任务的跨模型预训练至关重要因此研究人员开发了一种弱监督方法用于从互联网收集大规模图像文本数据以提高预训练性能。

他们的大规模weAk监督图像文本LAIT数据集包括10万个视觉语言对图像描述并用于预训练ImageBERT模型。

弱监督数据收集管道

在LAIT之后研究人员在第二阶段对公共数据集概念标题最广泛使用的图像文本预训练数据和SBU标题SBU标题照片数据集对模型进行了预训练。

该模型同时在研究人员设计的四个任务上进行预训练以对文本和视觉内容及其相互关系进行建模

**任务1**掩蔽语言建模MLM

–这与BERT培训中的MLM相同。

它提出了一个新的预训练目标并能够训练深度双向嵌入。

**任务2**屏蔽对象分类

实验结果表明多阶段预训练方法比单阶段预训练方法取得了更好的效果。

研究人员还进行了微调并将预训练的ImageBERT模型与SOTA方法在图像检索和文本检索任务上进行了比较其中ImageBERT在MSCOCO和Flickr30k数据集上都获得了最佳结果。

研究人员希望他们的新模型和数据集能够进一步推进跨模态预训练的研究和发展。

论文ImageBERT使用大规模弱监督图像文本数据的跨模态预训练发表在arXiv上。