MaPLe#xff1a;多模态提示学习

CLIP等预先训练的视觉语言#xff08;V-L#xff09;模型…本文也是LLM系统的文章主要是面向多模态的大语言模型针对《MaPLe:

Multi-modal

CLIP等预先训练的视觉语言V-L模型对下游任务表现出了出色的泛化能力。

但是它们对输入文本提示的选择很敏感需要仔细选择提示模板才能执行良好的操作。

受自然语言处理NLP文献的启发最近的CLIP自适应方法学习提示作为文本输入以微调CLIP用于下游任务。

我们注意到在CLIP的单个分支语言或视觉中使用提示来调整表示是次优的因为它不允许在下游任务上动态调整两个表示空间的灵活性。

在这项工作中我们提出了视觉和语言分支的多模式提示学习MaPLe以提高视觉和语言表征之间的一致性。

我们的设计促进了视觉语言提示之间的强耦合以确保相互协同并阻止学习独立的单一模式解决方案。

此外我们在不同的早期阶段学习不同的提示以逐步建立阶段特征关系的模型从而实现丰富的上下文学习。

我们评估了我们的方法在****性任务上的有效性即对新类的泛化、新的目标数据集和看不见的领域迁移。

与最先进的方法CoCoOp相比MaPLe表现出良好的性能在11个不同的图像识别数据集上平均在新类别上实现了3.45%的绝对增益在总体谐波平均值上实现了2.72%的绝对增益。

我们的代码和预训练模型可在https://github.com/muzairkhattak/multimodalprompt-learning找到.

相关工作

由于大量可调参数和下游数据集的大小有限大规模V-L模型例如CLIP对下游任务的适应是一个具有挑战性的问题。

提示学习是一种高效且可扩展的技术可以根据新的下游任务定制V-L模型。

为此目前的提示学习方法要么只考虑视觉方面的提示要么只考虑语言方面的提示。

我们的工作表明对视觉和语言分支进行提示是至关重要的以使V-L模型适当地适应下游任务。

此外我们提出了一种策略通过在不同的转换阶段明确地将视觉提示条件化为文本提示来确保视觉语言模式之间的协同作用。

我们的方法提高了对新类别、跨数据集转移和具有域转移的数据集的泛化能力。