AFT

层#xff0c;键key和值value首先与一组学习的位置偏差position

biases相结…原文链接

层键key和值value首先与一组学习的位置偏差position

biases相结合其结果以元素方式与查询相乘。

这种新操作的内存复杂度为线性

w.r.t。

上下文大小和特征维度使其与大输入和模型大小兼容。

我们还引入了

AFT-local

AFT-conv这是两个模型变体它利用了局部性和空间权重共享的思想同时保持全局连通性。

我们在两个自回归建模任务CIFAR10

AFT

在所有基准测试中都表现出具有竞争力的性能同时提供了出色的效率。

Introduction

以Transformers[1]为代表的自注意机制推动了各种机器学习问题的发展包括语言理解[2,3]和计算机视觉应用[4

6]。

与卷积神经网络(cnn)或循环神经网络(rnn)等经典模型架构不同变形金刚可以在序列中的每对元素之间进行直接交互这使得它们在捕获长期依赖关系方面特别强大。

然而变压器需要很高的计算成本。

这一挑战的原因是需要执行具有二次时间和空间复杂性的注意力操作这涉及上下文大小。

这使得transformer难以扩展到具有大上下文大小的输入。

最近的许多工作都致力于解决transformer的可伸缩性问题[7

-13]。

这里的共同思想是近似全注意力操作使用的技术包括稀疏性、局域敏感散列、低秩分解、核近似等。

在本文中我们提出了一个不使用或近似标准点积注意力的计算模块。

因此我们将我们的模型命名为不使用注意力的Transformer

由查询、键和值

中键和值上下文首先与一组可学习的位置偏执相结合然后使用元素乘法将查询与缩减的上下文相结合。

有关说明请参见图

AFT

保留了在上下文中任意两个点之间的直接交互这是点积注意力的主要优势。

事实上AFT

可以解释为执行注意力其中注意力头的数量与模型特征维度相同而注意力图不需要显式计算详见第

3.1

v而所有线性注意力论文都依赖于矩阵点积。

后一种方法导致复杂度与模型特征维度的二次方这对大型模型大小不友好。

有关

AFT

中学习到的位置偏差被限制在局部区域同时保持全局连接。

AFT-conv

通过施加空间权重共享进一步扩展了这种设计有效地使其成为具有全局感受野的

CNN

变体。

我们表明局部性约束不仅提供了更好的参数和计算效率而且大大提高了模型在所有任务中的表现。

AFT

hdv。

除非另有说明我们假设dkdv和hd/dk。

这意味着查询、键和值在每个头内都是相同的维度输出维度与输入的维度匹配。

Methodology

AFT执行value的加权平均值其结果与query进行元素间乘法相结合。

具体来说相结合的权重只是由键和一组学习得到的成对位置偏差组成。

这提供了不需要计算和存储昂贵的注意力矩阵的直接优势同时像MHA那样维护查询和值之间的全局交互。

为了进一步了解AFT与MHA的关系我们可以将方程2改写为:

这里我们使用上标

表示向量的点积。

在这个重新排列的形式中我们能够再次根据注意力来表达

RT由

可以解释为执行隐式注意力头部数量与特征维度一样多其中注意力矩阵采用分解形式。