。

Transformer最初设想是作为文本翻译模型使用的#xff0c;而BERT模型构建使用了Transformer的部分组件#xff0c;如果理解了Transformer#xff0c;则能很轻松地理解BERT。

一.Transformer模型架构

Transformer和BERT可谓是LLM的基础模型彻底搞懂极其必要。

Transformer最初设想是作为文本翻译模型使用的而BERT模型构建使用了Transformer的部分组件如果理解了Transformer则能很轻松地理解BERT。

一.Transformer模型架构

首先将输入x进行embedding编码然后通过WQ、WK和WV矩阵转换为Q、K和V然后输入Scaled

Dot-Product

MASK的叠加目的是在计算自注意力过程中不会注意当前词的下一个词只会注意当前词与当前词之前的词。

在模型训练的时候为了防止误差积累和并行训练使用Teacher

2Encoder-Decoder

把Encoder的输出作为解码器第2层的Q把Decoder第1层的输出作为K和V。

3Feed

这块简要介绍主要是通过数据生成器模拟了一些数据将原文翻译为译文实现代码如下所示

定义字典

SOS,EOS,PAD,0,1,2,3,4,5,6,7,8,9,q,w,e,r,t,y,u,i,o,p,a,s,d,f,g,h,j,k,l,z,x,c,v,b,n,m

vocab_x

[0,1,2,3,4,5,6,7,8,9,q,w,e,r,t,y,u,i,o,p,a,s,d,f,g,h,j,k,l,z,x,c,v,b,n,m]#

np.array([1,

words中选n个词每个词被选中的概率为preplaceTrue表示可以重复选择#

x.tolist()#

Dataset(torch.utils.data.Dataset):def

__init__(self):

torch.utils.data.DataLoader(datasetDataset(),

batch_size8,

collate_fnNone)定义了数据加载器数据样例如下所示

2.定义PAD

在计算注意力时计算50个词和50个词相互之间的注意力所以是个50*50的矩阵#

PAD的列为True意味着任何词对PAD的注意力都是0但是PAD本身对其它词的注意力并不是0所以是PAD的行不为True#

复制n次#

测试mask_pad函数print(mask_pad(x[:1]))输出结果shape为(1,1,50,50)如下所示

tensor([[[[False,

上三角矩阵不包括对角线意味着对每个词而言它只能看到它自己和它之前的词而看不到之后的词#

[1,

torch.tril返回下三角矩阵则1-tril返回上三角矩阵#

[b,

测试mask_tril函数print(mask_tril(x[:1]))输出结果shape为(b,1,50,50)如下所示

tensor([[[[False,

{\rm{softmax}}(\frac{{Q{K^T}}}{{\sqrt

{{d_k}}

dk​等于Embedding的维度除以注意力机制的头数比如64

512

b句话每句话50个词每个词编码成32维向量4个头每个头分到8维向量#

Q、K、V

mask遮盖mask是True的地方都被替换成-inf这样在计算softmax时-inf会被压缩到0#

mask

masked_fill_()函数的作用是将mask中为1的位置用value填充score

torch.softmax(score,

测试attention函数print(attention(torch.randn(8,

50,

在PyTorch中主要提供了两种批量标准化的网络层分别是BatchNorm和LayerNorm其中BatchNorm按照处理的数据维度分为BatchNorm1d、BatchNorm2d、BatchNorm3d。

BatchNorm1d和LayerNorm之间的区别在于BatchNorm1d是取不同样本做标准化而LayerNorm是取不同通道做标准化。

affineTrue,elementwise_affineTrue指定标准化后再计算一个线性映射

norm

torch.nn.BatchNorm1d(num_features4,

affineTrue)

torch.nn.LayerNorm(normalized_shape4,

4)))输出结果如下所示

1.1761]]],grad_fnNativeBatchNormBackward0)

tensor([[[-1.3416,

1.3416]]],grad_fnNativeLayerNormBackward0)6.定义多头注意力计算层

本文中的多头注意力计算层包括转换矩阵WK、WV和WQ以及多头注意力机制的计算过程还有层归一化、残差链接和Dropout。

如下所示

多头注意力计算层

__init__(self):super().__init__()self.fc_Q

torch.nn.Linear(32,

torch.nn.LayerNorm(normalized_shape32,

标准化self.DropOut

b句话每句话50个词每个词编码成32维向量4个头每个头分到8维向量#

[b,50,32]

self.DropOut(self.out_fc(score))

Dropout丢弃概率为0.1#

{pos/{{10000}^{2i/{d_{model}}}}}

\right)

{pos/{{10000}^{2i/{d_{model}}}}}

\right)

PE(pos,2i)sin(pos/100002i/dmodel​)PE(pos,2i1)cos(pos/100002i/dmodel​)​

定义位置编码层

PositionEmbedding(torch.nn.Module)

:def

__init__(self):super().__init__()#

pos是第几个词i是第几个词向量维度d_model是编码维度总数def

get_pe(pos,

定义为不更新的常量self.register_buffer(pe,

pe)#

用正太分布初始化参数self.embed.weight.data.normal_(0,

0.1)def

[8,50,32][1,50,32]-[8,50,32]embed

embed

与标准Transformer相比这里定义的全连接输出层对层归一化norm进行了提前如下所示

定义全连接输出层

FullyConnectedOutput(torch.nn.Module):def

__init__(self):super().__init__()self.fc

torch.nn.Sequential(

线性全连接运算torch.nn.Linear(in_features32,

out_features64),torch.nn.ReLU(),torch.nn.Linear(in_features64,

out_features32),torch.nn.Dropout(p0.1),)self.norm

torch.nn.LayerNorm(normalized_shape32,

forward(self,

编码器包含多个编码层下面代码为5个1个编码层包含1个多头注意力计算层和1个全连接输出层如下所示

定义编码器

EncoderLayer(torch.nn.Module):def

__init__(self):super().__init__()self.mh

MultiHead()

__init__(self):super().__init__()self.layer_l

EncoderLayer()

解码器包含多个解码层下面代码为3个1个解码层包含2个多头注意力计算层1个掩码多头注意力计算层和1个编解码多头注意力计算层和1个全连接输出层如下所示

class

DecoderLayer(torch.nn.Module):def

__init__(self):super().__init__()self.mhl

MultiHead()

__init__(self):super().__init__()self.layer_1

DecoderLayer()

Transformer主模型计算流程包括获取一批x和y之后对x计算PAD

MASK对y计算上三角MASK对x和y分别编码把x输入编码器计算输出把编码器的输出和y同时输入解码器计算输出将解码器的输出输入全连接输出层计算输出。

具体实现代码如下所示

定义主模型

Transformer(torch.nn.Module):def

__init__(self):super().__init__()self.embed_x

PositionEmbedding()

预测函数本质就是根据x得到y的过程在预测过程中解码器是串行工作的从SOS开始生成直到结束

定义预测函数

torch.LongTensor(target).unsqueeze(0)

增加一个维度shape变为[1,50]#

训练函数的过程通常比较套路了主要是损失函数和优化器然后就是逐个epoch和batch遍历计算和输出当前epoch、当前batch、当前学习率、当前损失、当前正确率。

如下所示

定义训练函数

torch.optim.Adam(model.parameters(),

lr2e-3)

torch.optim.lr_scheduler.StepLR(optim,

step_size3,

在训练时用y的每个字符作为输入预测下一个字符所以不需要最后一个字#

[8,50,39]pred

打印结果分别为当前epoch、当前batch、当前学习率、当前损失、当前正确率sched.step()

参考文献

[1]HuggingFace自然语言处理详解基于BERT中文模型的任务实战