输入模块结构

【本文摘录自清华大学出版社《深度学习和大模型原理与实践》】各网站有销售京东地址

https://item.jd.com/10130571131098.html

mechanism的神经网络架构最初由Vaswani等人在论文《Attention

All

Need》中提出。

它在自然语言处理NLP领域取得了巨大成功特别是在机器翻译任务中。

传统的循环神经网络RNNs和长短时记忆网络LSTM在处理长距离依赖关系时存在一些问题而Transformer引入了自注意力机制来解决这些问题。

自注意力机制允许模型在处理序列数据时关注输入序列中的不同位置而不仅仅是当前位置。

这使得Transformer能够并行处理输入序列加速训练。

Transformer模型设计之初用于解决机器翻译问题是完全基于注意力机制构建的编码器-解码器架构编码器和解码器均由若干个具有相同结构的层叠加而成每一层的参数不同。

编码器主要负责将输入序列转化为一个定长的向量表示解码器则将这个向量解码为输出序列。

Transformer总体架构可分为四个部分输入部分、编码器、解码器、输出部分。

如何理解Transformer

引入了“预测下一个词”的任务即不断通过前文内容预测下一个词。

之后在大量的数据上进行学习才达到大模型的效果。

输入模块结构

由N个编码器层堆叠而成每个编码器层由两个子层连接结构组成第一个子层连接结构包括一个多头自注意力子层、规范化层和一个残差连接第二个子层连接结构包括一个前馈全连接子层、规范化层和一个残差连接

编码器encoder包含两层一个self-attention层和一个前馈神经网络self-attention能帮助当前节点不仅仅只关注当前的词从而能获取到上下文的语义。

解码器模块:

由N个解码器层堆叠而成每个解码器层由三个子层连接结构组成第一个子层连接结构包括一个多头自注意力子层、规范化层和一个残差连接第二个子层连接结构包括一个多头注意力子层、规范化层和一个残差连接第三个子层连接结构包括一个前馈全连接子层、规范化层和一个残差连接

解码器decoder也包含encoder提到的两层网络但是在这两层中间还有一层attention层帮助当前节点获取到当前需要关注的重点内容。

输出模块结构

首先是对输入进行标识符化基于单词形式或字母或字符子串将输入文本切分成几个

上并对每个

分配一个可学习的权重作为向量表示之后就可以针对做训练这是一个可学习的权重。

在输入

结构之后其核心的有自注意力模块和前向传播层。

而在自注意力模块中Transformer

自注意力机制建模能力优于

模型能够同时考虑输入序列中的所有位置而不是像传统的固定窗口大小的卷积或循环神经网络一样逐步处理。

传统的神经网络在处理序列数据时对每个位置的信息处理是固定的而自注意力机制允许模型在处理每个位置时关注输入序列的其他部分从而更好地捕捉全局信息。

位置编码Positional

由于Transformer没有显式的顺序信息为了保留输入序列中元素的位置信息需要添加位置编码。

多头注意力Multi-Head

Transformer的成功不仅限于NLP领域还在计算机视觉等领域取得了重要进展。

由于其并行计算的优势Transformer已成为深度学习中的经典模型之一被广泛用于各种任务。

因为它涉及到自注意力机制、位置编码、多头注意力等多个关键概念。

import

PositionalEncoding(nn.Module):def

__init__(self,

max_len512):super(PositionalEncoding,

torch.zeros(max_len,

max_len).unsqueeze(1).float()div_term

d_model,

-(torch.log(torch.tensor(10000.0))

0::2]

TransformerModel(nn.Module):def

__init__(self,

num_decoder_layers):super(TransformerModel,

d_model)self.positional_encoding

PositionalEncoding(d_model)self.transformer

nhead,

self.positional_encoding(src)tgt

self.positional_encoding(tgt)output

tgt)output

这个“it”在这个句子是指什么呢它指的是street还是这个animal呢这对于人类来说是一个简单的问题但是对于算法则不是。

当模型处理这个单词“it”的时候自注意力机制会允许“it”与“animal”建立联系。

随着模型处理输入序列的每个单词自注意力会关注整个输入序列的所有单词帮助模型对本单词更好地进行编码。

如果你熟悉RNN循环神经网络回忆一下它是如何维持隐藏层的。

RNN会将它已经处理过的前面的所有单词/向量的表示与它正在处理的当前单词/向量结合起来。

而自注意力机制会将所有相关单词的理解融入到我们正在处理的单词中

当我们在编码器#5栈中最上层编码器中编码“it”这个单词的时注意力机制的部分会去关注“The

自注意力机制Self-Attention

Mechanism是Transformer模型的核心组成部分之一用于处理输入序列中各个位置之间的依赖关系。

以下是对自注意力机制的详细解读

注意力机制模拟了人类视觉系统的工作原理即在处理某个任务时我们不是对所有信息一视同仁而是在某个时刻关注一部分信息而另一时刻可能关注其他信息。

在自注意力机制中模型通过学习到的权重分配给输入序列中的不同位置以便在生成输出时更加关注相关的部分。

Query查询

通过将输入序列与权重矩阵相乘得到每个位置的查询向量。

查询向量用于衡量每个位置与其他位置的相关性。

Key键

通过将输入序列与权重矩阵相乘得到每个位置的键向量。

键向量用于被查询向量衡量从而计算注意力分布。

Value值

通过将输入序列与权重矩阵相乘得到每个位置的值向量。

值向量将根据注意力分布加权求和形成最终的输出。

注意力分布计算

为了避免相似度过大导致的梯度消失或梯度爆炸问题一般会对相似度进行缩放常用的缩放因子是输入维度的平方根。

Softmax

对缩放后的相似度应用Softmax函数得到注意力权重分布。

Softmax确保所有权重的总和为1使其成为有效的概率分布。

注意力加权求和

将值向量按照得到的注意力权重进行加权求和得到最终的自注意力输出。

多头注意力Multi-Head

为了增强模型的表达能力自注意力机制通常会使用多个独立的注意力头。

每个头学习不同的查询、键、值权重矩阵最后将多个头的输出拼接在一起并通过线性映射进行融合。

位置编码Positional

自注意力机制没有直接考虑序列中元素的顺序为了捕捉序列的位置信息常常会在输入序列中添加位置编码。

位置编码是一个与位置有关的可学习参数使得模型能够更好地处理序列的顺序信息。

多头注意力有什么用

不同头关注输入序列的不同部分有助于模型学习更丰富、更复杂的特征表示。

提高模型泛化能力

多头注意力可以使模型在处理不同类型的信息时更加灵活提高了模型的泛化能力。

通过这种方式多头注意力机制在Transformer模型中起到了至关重要的作用使得模型能够更好地捕捉输入序列中的关系提高了模型的表达能力。

前馈神经网络

Network是一种最基本的神经网络结构也被称为多层感知机Multilayer

PerceptronMLP。

在深度学习中前馈神经网络被广泛应用于各种任务包括图像分类、语音识别、自然语言处理等。

下面是对前馈神经网络的详细解读

基本结构

前馈神经网络由输入层、隐藏层和输出层组成。

每一层都包含多个神经元或称为节点每个神经元与上一层的所有神经元都有连接连接上带有权重。

每个连接上都有一个权重表示连接的强度。

输入层Input

在输入层和输出层之间的一层或多层神经元负责学习输入数据中的复杂模式。

输出层Output

提供网络的输出输出的维度通常与任务的要求相匹配例如对于二分类任务可以有一个输出神经元表示两个类别的概率。

激活函数

每个神经元在接收到输入后会通过激活函数进行非线性变换。

常用的激活函数包括

Sigmoid

前馈神经网络的训练过程中信息从输入层传播到输出层的过程称为前向传播。

具体步骤如下

编码器解码器

编码器-解码器结构是深度学习中常用的一种网络架构特别在图像分割和生成任务中得到广泛应用。

以下是对编码器-解码器结构的详细解读

编码器Encoder

编码器的主要作用是从输入数据中提取关键特征。

对于图像任务输入通常是图像编码器通过一系列卷积层Convolutional

Layers进行特征提取。

这些卷积层可以捕捉图像中的低级别和高级别特征例如边缘、纹理和对象形状。

随着网络深度的增加编码器通常会进行降维操作通过池化层Pooling

Layers或步幅较大的卷积层减小特征图的尺寸。

这有助于减少计算复杂性和内存需求并提高网络对输入的抽象表示能力。

语义信息提取

在编码器的高层级特征表示中网络通常能够捕捉到更抽象的语义信息例如图像中的物体类别、结构等。

这些特征通常被称为“语义特征”。

解码器Decoder

解码器负责将编码器提取的特征映射还原为输入数据的尺寸。

这通常涉及到上采样操作其中通过插值或反卷积操作将特征图的尺寸放大。

特征融合

解码器通常需要与编码器的相应层进行特征融合以保留从输入到编码器的层次结构中学到的语义信息。

这可以通过连接编码器和解码器的相应层来实现形成所谓的“跳跃连接”Skip

重建输出

解码器的最终目标是生成与输入数据相匹配的输出。

对于图像分割任务输出通常是一个与输入图像尺寸相同的特征图其中每个像素或区域对应一个类别的概率或标签。

import

__init__(self):super(EncoderDecoder,

self).__init__()#

padding1),nn.ReLU(inplaceTrue),nn.MaxPool2d(kernel_size2,

128,

padding1),nn.ReLU(inplaceTrue),nn.MaxPool2d(kernel_size2,

stride2)#

padding1),nn.ReLU(inplaceTrue),nn.Upsample(scale_factor2,

modebilinear,

align_cornersFalse),nn.Conv2d(64,

32,

padding1),nn.ReLU(inplaceTrue),nn.Upsample(scale_factor2,

modebilinear,

align_cornersFalse),nn.Conv2d(32,

kernel_size3,

print(model)编码器和解码器的结构可能会更加复杂具体的设计取决于任务的要求和数据集的特点。

上述代码中使用的是PyTorch的简单卷积层、池化层和上采样层实际场景中可能需要更深的网络结构和更复杂的组件。

BERT简单讲就是给到一句话然后把这句话的内容挖空当问及挖空的内容时就把内容填回去这其实是典型地用来做一个自然语言理解的任务但做生成任务是非常弱的

GPT它是通过不断地预测下一个词特点是只能从左到右生成而看不到后面的内容。

GPT-1

Linear

已经将一些选择任务或者分类任务全部都变成文本任务统一了生成的范式

T5它的输入和输出是分为比较明显的两块内容或者是问答式或者序列到序列的转换型的任务

GLM该模型结合了自回归和自编码两种形式的模型举个例子“123456”是一串输入的序列现在把

“3”、“5”、“6”