NLP

简介#xff1a;小王#xff0c;NPU#xff0c;2023级#xff0c;计算机技术

研究方向#xff1a;文本生成、摘要生成

的源码后面我将对其进行细抠和分析。

因为很多变量其实我们用不到太冗长了我在后面贴了一段删减版的

T5Attention

has_relative_attention_biasFalse):super().__init__()self.is_decoder

config.is_decoderself.has_relative_attention_bias

has_relative_attention_biasself.relative_attention_num_buckets

config.relative_attention_num_bucketsself.relative_attention_max_distance

config.relative_attention_max_distanceself.d_model

config.d_modelself.key_value_proj_dim

config.dropout_rateself.inner_dim

self.n_heads

self.has_relative_attention_bias:self.relative_attention_bias

nn.Embedding(self.relative_attention_num_buckets,

set()self.gradient_checkpointing

Falsedef

find_pruneable_heads_and_indices(heads,

self.n_heads,

self.pruned_heads.union(heads)staticmethoddef

_relative_position_bucket(relative_position,

bidirectionalTrue,

Tensorflow:https://github.com/tensorflow/mesh/blob/0cb87fe07da627bf0b7e60475d59f95ed6b5be3d/mesh_tensorflow/transformer/transformer_layers.py#L593Translate

relative

torch.abs(relative_position)else:relative_position

torch.zeros_like(relative_position))#

now

max_distancerelative_position_if_large

max_exact

(torch.log(relative_position.float()

max_exact)/

max_exact)).to(torch.long)relative_position_if_large

torch.min(relative_position_if_large,

torch.full_like(relative_position_if_large,

num_buckets

relative_position_if_large)return

relative_bucketsdef

self.relative_attention_bias.weight.devicecontext_position

dtypetorch.long,

key_length)relative_position_bucket

self._relative_position_bucket(relative_position,

shape

self.is_decoder),num_bucketsself.relative_attention_num_buckets,max_distanceself.relative_attention_max_distance,)values

self.relative_attention_bias(relative_position_bucket)

shape

forward(self,hidden_states,maskNone,key_value_statesNone,position_biasNone,past_key_valueNone,layer_head_maskNone,query_lengthNone,use_cacheFalse,output_attentionsFalse,):Self-attention

(if

hidden_states.shape[:2]real_seq_length

seq_lengthif

self.key_value_proj_dim).transpose(1,

2)def

2).contiguous().view(batch_size,

-1,

shape(proj_layer(hidden_states))elif

past_key_value

shape(proj_layer(key_value_states))if

past_key_value

self.has_relative_attention_bias:position_bias

torch.zeros((1,

self.training:position_bias.requires_grad

self.compute_bias(real_seq_length,

key_length,

torch.ones(position_bias.shape[1])mask[list(self.pruned_heads)]

position_bias[:,

mask.bool()]else:position_bias_masked

position_biasscores

position_bias_maskedattn_weights

nn.functional.softmax(scores.float(),

(batch_size,

nn.functional.dropout(attn_weights,

pself.dropout,

unshape(torch.matmul(attn_weights,

value_states))

self.o(attn_output)present_key_value_state

(key_states,

T5Config):super().__init__()self.is_decoder

config.d_modelself.key_value_proj_dim

config.dropout_rateself.inner_dim

self.n_heads

forward(self,hidden_states,key_value_statesNone,position_biasNone,past_key_valueNone,layer_head_maskNone,query_lengthNone,use_cacheFalse,output_attentionsFalse,):def

shape(states):return

self.key_value_proj_dim).transpose(1,

2)def

2).contiguous().view(batch_size,

-1,

nn.functional.softmax(scores.float(),

(batch_size,

nn.functional.dropout(attn_weights,

pself.dropout,

unshape(torch.matmul(attn_weights,

value_states))

的输入(input)是什么输出(output)是什么Attention

“Q、K、V”

hidden_states形式上是一个批次(batch_size)的特征张量。

假如批次(batch_size)是

512特征维度(d_model)为

“输入(input)与它们仨的关系”。

将上面的代码截取出下面一段。

因为

self.q、self.k

模块传递的时候需要统一的特征维度)self.inner_dim

Attention

的神经网络映射成了三个不一样的特征张量而这三个不一样的特征张量的形状依然为

(4,

“多头张量”并不改变里面的内容只改变形状。

通俗一点来讲就是把一个张量扩充一个维度并将张量中的所有项分摊到这个维度中。

def

self.key_value_proj_dim).transpose(1,

(4,

self.key_value_proj_dim).transpose(1,

Q.view(4,

假如输入(input)是一句只有四个字的句子“你好世界”那我们进行分词(tokenizer)后会得到

[“你”,

\frac{\alpha_{1,1}}{\sum_{i}^{n4}\alpha_{1,i}}

∑in4​α1,i​α1,1​​

\frac{\alpha_{1,2}}{\sum_{i}^{n4}\alpha_{1,i}}

接着计算

α^1,1​×v1α^1,2​×v2α^1,3​×v3α^1,4​×v4

b^1

\frac{\alpha_{2,1}}{\sum_{i}^{n4}\alpha_{2,i}}

∑in4​α2,i​α2,1​​

\frac{\alpha_{2,2}}{\sum_{i}^{n4}\alpha_{2,i}}

b^2

α^2,1​×v1α^2,2​×v2α^2,3​×v3α^2,4​×v4

b^{1}

乍一看好像就那样不就是把每个字进行三次不同的神经网络映射然后每个字得到三个不同的副本“Q、K、V”接着将每个字的

“副本Q”

就要抽象一点理解了我们可以把它理解为某一个人不同人他的阅历不同看到这个字就会有不同的感受的脑海里对于这个字的

“世界和平”

的感觉反正代表了一种引申意。

这段解释只是笔者个人理解后的想法哈在后面的

Cross-Attention

我没做过实验但是我推断当对某一文本数据集进行学习时“Q、K、V”

最后我在这里埋一个伏笔“注意力分布”

“关联性分数”关联性越强分数越高。

我会在后面的计算流程再一次提到这一点。

OK理解完

的计算流程但那只是一部分。

完整的计算流程还得看代码(超简化版包含所有的关键步骤)

def

self.key_value_proj_dim).transpose(1,

2)def

2).contiguous().view(batch_size,

-1,

nn.functional.softmax(scores.float(),

nn.functional.dropout(attn_weights,

pself.dropout,

unshape(torch.matmul(attn_weights,

value_states))

相对位置信息的嵌入(position_bias)后面有机会我再写篇博客讲讲它们。

简单来说Attention

的所有计算都是在矩阵的基础上(也可以说是在张量的基础上进行的)并没有像我之前写的那样一个一个地计算

\alpha_{1,1}

q1×k2但是计算结果都是一样的只不过矩阵计算更方便也能够加快计算速度其中

\sqrt{d}

\boldsymbol{a}\frac{\boldsymbol{q}\times

\boldsymbol{k}^{\intercal}}{\sqrt{d}}\frac{\\

\left[

​a1,1​a2,1​⋮a4,1​​a1,2​a2,2​⋮a4,2​​⋯⋯⋱⋯​a1,4​a2,4​⋮a4,4​​

softmax

\right)}{\sum_{j1}^{n4}{\exp}\left(

a_{i,j}

​a1,1′​a2,1′​⋮a4,1′​​a1,2′​a2,2′​⋮a4,2′​​⋯⋯⋱⋯​a1,4′​a2,4′​⋮a4,4′​​

​,ai,j′​∑j1n4​exp(ai,j​)exp(ai,j​)​

\boldsymbol{b}\boldsymbol{\alpha

}\times

​a1,1′​a2,1′​⋮a4,1′​​a1,2′​a2,2′​⋮a4,2′​​⋯⋯⋱⋯​a1,4′​a2,4′​⋮a4,4′​​

​v1​v2​v3​v4​​

的操作这是为了防止过拟合。

另外最后还要经过一个线性层得到最终的输出

output

biasFalse)。

至于为什么要加这个线性层呢或许这就是神经网络的玄学了层数多一点记忆的东西更深刻一点…

\boldsymbol{\alpha

的计算流程吧就是我们把原本一个句子比如刚刚说的“你好世界”中的某个字比如“世”字的

768

等等卷积得到的特征是不一样的显然卷积核尺寸越大卷积得到的特征越

“注意力分布”

层含义然后与另一个同样具有多层含义的字进行乘积计算这样得到的多个特征会更

“全面”

Cross-Attention注意先后关系很重要谁在前就是前者谁在后就是后者谁对的谁顺序很重要。

\boldsymbol

\boldsymbol{a}\frac{\boldsymbol{q}\times

\boldsymbol{k}^{\intercal}}{\sqrt{d}}\frac{\\

\left[

​a1,1​a2,1​⋮a23,1​​a1,2​a2,2​⋮a23,2​​⋯⋯⋱⋯​a1,21​a2,21​⋮a23,21​​

​∈R23×21

\right)}{\sum_{j1}^{n21}{\exp}\left(

a_{i,j}

​a1,1′​a2,1′​⋮a23,1′​​a1,2′​a2,2′​⋮a23,2′​​⋯⋯⋱⋯​a1,21′​a2,21′​⋮a23,21′​​

​,ai,j′​∑j1n21​exp(ai,j​)exp(ai,j​)​

\boldsymbol{b}\boldsymbol{\alpha

}\times

​a1,1′​a2,1′​⋮a23,1′​​a1,2′​a2,2′​⋮a23,2′​​⋯⋯⋱⋯​a1,21′​a2,21′​⋮a23,21′​​

​v1​v2​⋮v21​​

进行分析那么句子①更像是一种查询(Query)而句子②更像是一种

“键(Key)-值(Value)-对”。

我们带着查询(Query)也可以说是带着一种

“询问”来翻这个

“值(Value)”——在这里值(Value)可以理解为字典中对某一个字的详细阐释。

这段解释也只是笔者个人理解后的想法哈和前面的

(Self-)Attention

self.key_value_proj_dim).transpose(1,

2)def

2).contiguous().view(batch_size,

-1,

shape(self.k(key_value_states))

计算出

shape(self.v(key_value_states))

计算出

nn.functional.softmax(scores.float(),

nn.functional.dropout(attn_weights,

pself.dropout,

unshape(torch.matmul(attn_weights,

value_states))

调侃感觉…刚上研究生感觉我好懒花了三天才断断续续写完这篇博客哈哈哈哈哈[/手动狗头]…