PE_{posk}

由于原始的transformer模型不包含递归和卷积为了使模型利用序列的顺序原文在input

embeddings

dmodel​一样大所以两者可以相加。

加入位置编码的位置如下图所示

pos

\sin\left(\frac{posk}{10000^{\frac{2i}{d}}}\right)

\sin\left(\frac{pos}{10000^{\frac{2i}{d}}}

\frac{k}{10000^{\frac{2i}{d}}}\right)

PE(posk,2i)sin(10000d2i​posk​)sin(10000d2i​pos​10000d2i​k​)

cos

\cos\left(\frac{posk}{10000^{\frac{2i}{d}}}\right)

\cos\left(\frac{pos}{10000^{\frac{2i}{d}}}

\frac{k}{10000^{\frac{2i}{d}}}\right)

PE(posk,2i1)cos(10000d2i​posk​)cos(10000d2i​pos​10000d2i​k​)根据三角函数的和角公式

sin

\sin\left(\frac{pos}{10000^{\frac{2i}{d}}}\right)

\cos\left(\frac{k}{10000^{\frac{2i}{d}}}\right)

\cos\left(\frac{pos}{10000^{\frac{2i}{d}}}\right)

\sin\left(\frac{k}{10000^{\frac{2i}{d}}}\right)

PE(posk,2i)sin(10000d2i​pos​)cos(10000d2i​k​)cos(10000d2i​pos​)sin(10000d2i​k​)

cos

\cos\left(\frac{pos}{10000^{\frac{2i}{d}}}\right)

\cos\left(\frac{k}{10000^{\frac{2i}{d}}}\right)

\sin\left(\frac{pos}{10000^{\frac{2i}{d}}}\right)

\sin\left(\frac{k}{10000^{\frac{2i}{d}}}\right)

PE(posk,2i1)cos(10000d2i​pos​)cos(10000d2i​k​)−sin(10000d2i​pos​)sin(10000d2i​k​)线性函数的形式

PE(posk,

\sin\left(\frac{k}{10000^{\frac{2i}{d}}}\right)

sin(10000d2i​k​)

\cos\left(\frac{k}{10000^{\frac{2i}{d}}}\right)

cos(10000d2i​k​)

\sin\left(\frac{k}{10000^{\frac{2i}{d}}}\right)

sin(10000d2i​k​)

\cos\left(\frac{k}{10000^{\frac{2i}{d}}}\right)

cos(10000d2i​k​)

Dot(PEpos​,PEposk​)i0∑d/2−1​PE(pos,2i)⋅PE(posk,2i)PE(pos,2i1)⋅PE(posk,2i1)

将内积展开为

\sin\left(\frac{pos}{10000^{\frac{2i}{d}}}\right)

\sin\left(\frac{posk}{10000^{\frac{2i}{d}}}\right)

\cos\left(\frac{pos}{10000^{\frac{2i}{d}}}\right)

\cos\left(\frac{posk}{10000^{\frac{2i}{d}}}\right)

\right]

Dot(PEpos​,PEposk​)i0∑d/2−1​[sin(10000d2i​pos​)sin(10000d2i​posk​)cos(10000d2i​pos​)cos(10000d2i​posk​)]

sin

sin(a)sin(b)cos(a)cos(b)cos(a−b)可得

Dot

\cos\left(\frac{posk}{10000^{\frac{2i}{d}}}

\frac{pos}{10000^{\frac{2i}{d}}}\right)

\sum_{i0}^{d/2-1}

\cos\left(\frac{k}{10000^{\frac{2i}{d}}}\right)

Dot(PEpos​,PEposk​)i0∑d/2−1​cos(10000d2i​posk​−10000d2i​pos​)i0∑d/2−1​cos(10000d2i​k​)

较小时内积值较大表示

最简单直观的加入位置信息的方式就是使用1234…直接对句子进行位置编码one-hot。

用二进制转化举个例子

上表中维度0维度1维度2维度3拼成的数字就是该位置对应的二进制表示。

可以看到每个维度每一列其实都是有周期的并且周期是不同的。

具体来说每个比特位的变化率都是不一样的越低位的变化越快越往右边走变化频率越快红色位置0和1每个数字会变化一次而黄色位每8个数字才会变化一次。

这样就能够说明使用多个周期不同的周期函数组成的多维度编码和递增序列编码其实是可以等价的。

这也回答了为什么周期函数能够引入位置信息。

同样的道理不同频率的sin正弦函数和cos余弦函数组合通过调整三角函数的频率可以实现这种低位到高位的变化这样就能把位置信息表示出来。

位置编码是固定的无法根据具体任务进行调整。

固定的位置编码对序列长度有限制。

在处理长序列时正弦和余弦函数的频率可能不足以捕捉所有的位置信息导致信息丢失。

位置编码在训练阶段是静态的。

这意味着在训练时确定的位置编码不适用于后续推理时的输入尤其是推理序列长度大于训练序列长度。