摘要1

持续学习旨在学习一系列任务的单一模型针对《Introducing

Language

持续学习旨在学习一系列任务的单一模型而无需访问以前任务的数据。

该领域最大的挑战仍然是灾难性的遗忘早期任务的可见类的性能损失。

一些现有的方法依赖于昂贵的重放缓冲区来存储以前任务的数据块。

这虽然很有前景但当任务数量变大或由于隐私原因无法存储数据时成本会变得很高。

作为替代方案已经提出了将任务信息存储在可学习提示池中的基于提示的方法。

此提示池指示冻结图像编码器如何解决每个任务。

虽然在这种设置下模型在每个任务中都面临一组不相交的类但我们认为这些类可以被编码到预先训练的语言编码器的相同嵌入空间中。

在这项工作中我们提出了基于提示的持续学习的语言指导LGCL作为基于提示的方法的插件。

LGCL与模型无关在提示池的任务级别和视觉编码器的输出特性的类级别引入了语言指导。

我们通过大量实验表明LGCL不断提高基于提示的连续学习方法的性能从而开创了新的技术水平。

LGCL在不需要任何额外的可学习参数的情况下实现了这些性能改进。

相关工作

在这项工作中我们引入了一个新的视角即在基于提示的持续学习中引入语言指导。

我们的方法背后的关键直觉是即使任务分布在任务之间发生变化它们的标签空间也可以映射到相同的语言空间。

一个能够学会映射到这个空间的模型可以减轻灾难性的遗忘从而提高性能。

我们在两个层面引入语言指导即任务级别和类级别。

在任务级别我们为提示池引入了语言指导在提示池中模型需要为预先训练的视觉转换器的类条件反射选择相关提示。

通过改进提示池的密钥查找我们可以使模型在不同的任务中更加健壮。

为此我们鼓励模型将键映射到其各自的任务级语言表示。

其次我们在视觉转换器的输出特性中引入了类级别的语言指导。

在这个阶段我们激励模型将输出特征映射到类级别的语言表示。

在没有任何额外学习参数的情况下我们的方法提高了基于基线提示的连续学习方法的性能创造了新的技术水平。