本文作者AIGCmagic社区

Models以下简称VLMs的架构、评估策略和主流数据集以及该领域的关键挑战和未来趋势。

通过了解这些基础方面读者可以深入了解如何在包括医疗、机器人和媒体等行业中应用VLMs以创建更复杂且具备上下文感知能力的人工智能系统。

曾经人工智能能够像人类一样有效地理解视觉和文本线索的想法似乎遥不可及且难以想象。

然而随着多模态AI的出现我们正在经历一场革命。

AI现在可以同时理解多种模态如文本、图像、语音、面部表情和手势等以理解我们周围的世界。

处理多种模态的能力为AI应用打开了各种途径。

多模态AI的一个主流的应用是视觉语言模型VLMs。

这些模型可以同时处理和理解语言文本和视觉图像的模态以执行高级的视觉语言任务如视觉问答VQA、图像描述和文本到图像搜索。

在本文中我们将介绍

VLMs的主流架构VLMs的评估方法VLMs的数据集VLM的关键挑战、主要应用和未来趋势

视觉语言模型VLM是视觉模型与自然语言模型的融合。

它接收图像及其对应的文本描述作为输入并学习将两种模态的知识关联起来。

模型的视觉部分捕捉图像的空间特征而语言模型则编码文本信息。

来自两种模态的数据包括检测到的对象、图像的空间布局和文本嵌入都会相互映射。

例如如果图像中有一只鸟模型会学习将其与文本描述中的相关关键词关联。

通过这种方式模型学会理解图像并将知识转换为自然语言文本反之亦然。

构建VLM涉及预训练基础模型和零样本学习。

可以使用迁移学习技术如知识蒸馏对模型进行微调以适应更具体的下游任务。

这些是相对简单的技术需要较小的数据集和较少的训练时间同时保持良好的效果。

对比学习。

掩蔽语言-图像建模。

使用Transformer的编码器-解码器模块等。

这些架构能够学习各种模态之间的复杂关系并提供最先进的结果。

接下来我们将详细讨论这些内容。

让我们来看看一些VLM架构以及主流模型如CLIP、Flamingo和VisualBert等所使用的学习技术。

2.1

对比学习是一种通过理解数据点之间差异来学习的方法。

该方法计算数据实例之间的相似度得分并旨在最小化对比损失。

在半监督学习中尤为有用因为只有少量标记样本指导优化过程以标记未见过的数据点。

对比学习

理解猫的外形特征有多种方法其中一种是将其与相似的猫图像和狗图像进行对比。

对比学习模型通过识别面部结构、体型大小和毛发等特征来区分猫和狗。

这些模型能够判断哪张图像与原始图像称为锚点更相似从而预测其类别。

CLIP是一个运用对比学习的典型模型。

它使用文本和视觉编码器来计算文本与图像嵌入之间的相似度。

为实现零样本预测CLIP遵循以下三个步骤

2.2

是一种主要用于模型预训练的自然语言处理学习技术。

它输入部分文本前缀并学习预测序列中的下一个词。

在视觉语言模型中PrefixLM

使模型能够基于图像及其对应的前缀文本来预测下一个词序列。

它利用视觉

transformerViT将图像划分为一维的图像块序列每个图像块代表一个局部图像区域。

随后模型对处理后的图像块应用卷积或线性投影以生成上下文化的视觉嵌入。

对于文本模态模型将与图像块相关的文本前缀转换为词元嵌入。

transformer

的编码器-解码器模块接收视觉和词元嵌入。

在这个过程中模型学习嵌入之间的关系。

SimVLM

解码器来生成输出序列。

该模型还展示了良好的泛化能力和零样本学习能力。

SimVLM

的文本处理模块来管理文本前缀。

通过向文本处理模块输入图像-文本对你可以端到端地训练模型来预测正确的图像描述。

VirTex

例如下面的架构展示了如何使用预训练语言模型和视觉编码器来实现冻结机制。

文本编码器可以来自任何大型语言模型LLM视觉编码器也可以是预训练的视觉基础模型。

你可以微调图像编码器使其图像表示与文本嵌入对齐从而使模型能够做出更好的预测。

Frozen

研究人员从输入图像中提取相关对象并将它们输入到视觉编码器中。

生成的视觉表示随后被输入到解码器中并根据预训练的

LLM

进行权重初始化。

解码器模块通过自恢复激活单元SRAU来平衡视觉和文本信息。

SRAU

方法避免了梯度消失的问题这是深度学习中的一个常见问题即由于梯度过小导致模型权重无法更新。

因此VisualGPT

transformer、注意力上的注意力AoAtransformer

2.5

等语言模型中的工作原理是通过掩盖或隐藏文本序列的一部分并训练模型来预测缺失的文本。

ITM

则涉及预测句子

你可以直接使用大规模预训练的视觉-语言模型而无需任何微调。

例如MAGIC

ASIF

生成的图像嵌入的专门评分来指导语言模型的输出。

使用这个评分LLM

生成与图像语义紧密对齐的文本嵌入使模型能够以零样本方式执行多模态任务。

ASIF

使用相似图像具有相似描述的理念。

模型计算训练数据集中查询图像和候选图像之间的相似度。

接下来它比较查询图像嵌入与相应候选图像的文本嵌入。

CLIP

这种技术涉及将知识从一个训练良好的大型教师模型转移到参数较少的轻量级学生模型。

这种方法允许研究人员从更大的预训练模型中训练视觉语言模型VLM。

例如ViLD

VLM。

该模型使用预训练的开放词汇图像分类模型作为教师来训练两阶段检测器学生。

ViLD

知识蒸馏将知识从图像编码器转移到骨干模型以自动生成区域嵌入。

在推理过程中只有骨干模型生成区域嵌入并将其与未见过的文本嵌入进行匹配。

VLM

验证涉及评估图像和文本数据之间关系的质量。

对于图像描述模型来说这意味着将生成的描述与真实描述进行比较。

n-gram

的自动评估策略来比较预测标签的准确性、语义和信息精确度。

以下是几个关键的

VLM

BLEU双语评估替补BLEU指标最初是为评估机器翻译任务而提出的。

它通过考虑候选句子中有多少词出现在参考句子中来计算目标文本相对于参考文本真实值的精确度。

ROUGE面向召回率的摘要评估替补ROUGE通过考虑参考句子中有多少词出现在候选句子中来计算召回率。

METEOR显式排序翻译评估指标METEOR计算精确度和召回率的调和平均值对召回率给予更大的权重并将其与惩罚项相乘。

该指标是对其他仅使用精确度或召回率的指标的改进因为它结合了两者的信息来提供更好的评估。

CIDEr基于共识的图像描述评估CIDEr通过使用

TF-IDF

分数计算参考句子和目标句子之间的平均相似度将目标句子与一组人工句子进行比较。

既然你已经了解了视觉语言模型VLM相关的评估指标了解如何为这些模型整理数据集也是至关重要的。

一个合适的数据集为

VLM

的训练和验证提供了肥沃的土壤并且在决定模型在各种任务中的表现方面起着关键作用。

VLM

模型更具挑战性因为它涉及多种数据模态的收集和质量保证。

Encord

Index

通过提供全面的数据管理和整理解决方案来简化这个过程。

以下是几个结合图像和文本数据用于多模态训练的数据集

LAION-5B实践者使用

等收集而来的数据集合。

这个数据集是多模态数据的宝库有助于稳健的模型训练。

VQA专家使用

层次结构进行注释分类。

它有助于构建用于简单下游任务的模型如图像分类和对象识别。

VLM

在理解视觉和文本模态以处理信息方面很强大但它们面临三个主要挑战

模型复杂性

语言和视觉模型本身就相当复杂将两者结合只会使问题更加严重。

它们的复杂性在获取强大的训练计算资源、收集大型数据集以及在物联网设备等弱硬件上部署时带来了额外的挑战。

数据集偏差

在没有真正解决问题的情况下记住训练集和测试集中的深层模式时就会出现数据集偏差。

例如在使用从互联网上收集的图像训练

VLM

上面讨论的评估策略仅将候选句子与参考句子进行比较。

这种方法假设参考句子是唯一的真实标准。

然而特定图像可能有多个真实描述。

虽然像

这样基于共识的指标考虑了这个问题但当特定图像的共识度较低时使用这些指标就变得具有挑战性。

如图所示VLM

可以标注或检索多个与通用描述匹配的相关图像。

然而实际上模型仅仅是一个词袋。

它只是考虑城市、公交车、灯光等词来描述图像而不是真正理解描述文本的顺序和真实的上下文含义。

VLM

可能会对无意义的问题生成高置信度的答案。

例如对于一张包含白马的图像如果问

VLM

缺乏组合泛化能力。

这意味着当它们处理新颖概念时性能会下降。

例如VLM

VLM

主要用于图像描述但它们的实用性延伸到了各种利用视觉和语言模态桥接能力的领域。

以下是一些额外的应用

图像检索像

这样的模型通过帮助用户基于语言查询找到相关照片来协助他们浏览图像库。

电商网站就是一个相关的例子。

访问者可以在搜索栏中描述他们想要找的东西VLM

会在屏幕上显示合适的选项。

这种应用在智能手机上也很流行用户可以输入关键词如风景、建筑等从相册中检索相关图像。

生成式

这样的模型允许用户根据他们的描述创建艺术作品或照片。

这种应用在设计师和发明家想要可视化不同产品创意的企业中很实用。

它还有助于创建网站和博客内容并辅助讲故事。

分割像

通过理解用户提示并利用独特的配色方案来分割上下文中的对象。

例如用户可以要求

SegGPT

就是一个很好的例子。

如图所示它包含新颖的形状、颜色的图像以及相应的问题使专家能够测试

VLM

构建特定用途的机器人。

这些机器人可以帮助导航环境通过监控物品改进制造业的仓库运营并通过让机器人理解人类的面部表情、肢体语言、语音语调等手势来增强人机交互。

医疗视觉问答

标注图像和识别复杂对象的能力可以帮助医疗专业人员进行医疗诊断。

例如他们可以向

VLM

AI多模态模型架构之输入投影器LP、MLP和Cross-Attention

Projector

AI多模态教程Mini-InternVL1.5多模态大模型实践指南

AI多模态实战教程面壁智能MiniCPM-V多模态大模型问答交互、llama.cpp模型量化和推理

技术交流

加入「AIGCmagic社区」群聊一起交流讨论涉及AI视频、AI绘画、数字人、多模态、大模型、传统深度学习、自动驾驶等多个不同方向可私信或添加微信号【lzz9527288】备注不同方向邀请入群

更多精彩内容尽在「AIGCmagic社区」关注了解全栈式AIGC内容