当前位置：首页 > SEO基础 >

绍兴地区如何为移动设备优化素材网站？

96SEO 2026-02-19 11:02 14

几节进行了各种组件的学习和编码本节将组件组成transformer并对其进行测试

EncoderDecoder

使用EncoderDeconder类实现编码器和解码器class

init(self,

输出部分的类别生成器super(EncoderDecoder,self).__init__()self.encoder

encoderself.decoder

self.encoder(self.src_embed(source),

source_mask)def

self.decoder(self.tgt_embed(target),

memory,

self.decode(self.encode(source,

source_mask),

source_mask,target,target_mask)

测试代码放在最后测试结果如下

-1.0851]]],grad_fnAddBackward0)

Transformer模型构建

dropout0.1):该函数用来构建模型有7个参数分别是源数据特征(词汇)总数目标数据特征(词汇)总数编码器和解码器堆叠数词向量映射维度前馈全连接网络中变换矩阵的维度多头注意力结构中的多头数以及置零比率dropoutc

d_mode)#

PositionalEncoding(d_mode,dropout)#

根据结构图最外层是EncoderDecoder在EncoderDecoder中#

分别是编码器层解码器层源数据Embedding层和位置编码组成的有序结构#

目标数据Embedding层和位置编码组成的有序结构以及类别生成器层。

在编码器层中有attention子层以及前馈全连接子层#

在解码器层中有两个attention子层以及前馈全连接层model

EncoderDecoder(Encoder(EncoderLayer(d_mode,

c(attn),

dropout),N),Decoder(DecoderLayer(d_mode,

c(attn),

c(attn),c(ff),dropout),N),nn.Sequential(Embeddings(d_mode,source_vocab),

c(position)),nn.Sequential(Embeddings(d_mode,

target_vocab),

模型结构完成后接下来就是初始化模型中的参数比如线性层中的变换矩阵,这里一但判断参数的维度大于1#

p.dim()1:nn.init.xavier_uniform(p)return

model

subsequent_mask,attention,clones,MultiHeadedAttention,PositionwiseFeedForward,LayerNorm,SublayerConnection,Encoder,EncoderLayer

encode

词嵌入维度self_attn:多头自注意对象需要QKVsrc_attn:多头注意力对象这里Q!KVfeed_forward:

前馈全连接层对象super(DecoderLayer,self).__init__()self.size

sizeself.self_attn

根据论文图使用clones克隆三个子层对象self.sublayer

clones(SublayerConnection(size,dropout),

3)def

源码数据掩码张量针对就是输入到解码器的数据target_mask:

目标数据掩码张量,针对解码器最后生成的数据一个一个的推理生成的词m

memory#

将x传入第一个子层结构第一个子层结构输入分别是x和self_attn函数因为是自注意力机制所以QKVx#

最后一个参数是目标数据掩码张量这时要对目标数据进行掩码因为此时模型可能还没有生成任何目标数据#

比如在解码器准备生成第一个字符或词汇时我们其实已经传入第一个字符以便计算损失#

但是我们不希望在生成第一个字符时模型能利用这个信息因为我们会将其遮掩同样生成第二个字符或词汇时#

模型只能使用第一个字符或词汇信息第二个字符以及以后得信息都不允许被模型使用x

self.sublayer[0](x,

self.self_attn(x,x,x,target_mask))#

紧接着第一层的输出进入第二个子层这个子层是常规的注意力机制但是q是输入xk、v是编码层输出memory#

同样也传入source_mask

但是进行源数据遮掩的原因并非是抑制信息泄露而是遮蔽掉对结果没有意义的的字符而产生的注意力#

self.sublayer[1](x,

self.src_attn(x,m,m,source_mask))#

最后一个子层就是前馈全连接子层经过他的处理后就可以返回结果这就是解码器层的结构return

self.sublayer[2](x,self.feed_forward)#

解码器

N解码器层的个数super(Decoder,self).__init__()self.layers

forward(self,

layer(x,memory,source_mask,target_mask)return

self.norm(x)#

词表大小super(Generator,self).__init__()self.project

nn.Linear(d_mode,

F.log_softmax(self.project(x),dim-1)#

使用EncoderDeconder类实现编码器和解码器class

init(self,

输出部分的类别生成器super(EncoderDecoder,self).__init__()self.encoder

encoderself.decoder

self.encoder(self.src_embed(source),

source_mask)def

self.decoder(self.tgt_embed(target),

memory,

self.decode(self.encode(source,

source_mask),

source_mask,target,target_mask)#

def

d_mode)#

PositionalEncoding(d_mode,dropout)#

根据结构图最外层是EncoderDecoder在EncoderDecoder中#

分别是编码器层解码器层源数据Embedding层和位置编码组成的有序结构#

目标数据Embedding层和位置编码组成的有序结构以及类别生成器层。

在编码器层中有attention子层以及前馈全连接子层#

在解码器层中有两个attention子层以及前馈全连接层model

EncoderDecoder(Encoder(EncoderLayer(d_mode,

c(attn),

dropout),N),Decoder(DecoderLayer(d_mode,

c(attn),

c(attn),c(ff),dropout),N),nn.Sequential(Embeddings(d_mode,source_vocab),

c(position)),nn.Sequential(Embeddings(d_mode,

target_vocab),

模型结构完成后接下来就是初始化模型中的参数比如线性层中的变换矩阵,这里一但判断参数的维度大于1#

p.dim()1:nn.init.xavier_uniform(p)return

modelif

torch.LongTensor([[100,2,321,508],[321,234,456,324]])embr

,embr.shape)#

512dropout0.2head8d_model512d_ff

64c

MultiHeadedAttention(head,d_model,dropout)ff

PositionwiseFeedForward(d_model,d_ff,dropout)#

EncoderLayer(size,c(self_attn),c(ff),dropout)N8mask

torch.zeros(8,4,4)en

en(x,mask)print(en_result.shape

,en_result.shape)print(en_result

,en_result)#

512dropout0.2head8d_model512d_ff

64self_attn

MultiHeadedAttention(head,d_model,dropout)ff

PositionwiseFeedForward(d_model,d_ff,dropout)x

pe_resultmask

DecoderLayer(size,self_attn,src_attn,ff,dropout)dl_result

dl(x,memory,source_mask,target_mask)print(dl_result.shape

dl_result.shape)print(dl_result

dl_result)#

512dropout0.2head8d_model512d_ff

64memory

MultiHeadedAttention(head,d_model,dropout)ff

PositionwiseFeedForward(d_model,d_ff,dropout)#

DecoderLayer(size,c(self_attn),c(self_attn),c(ff),dropout)N8mask

target_mask

target_mask)print(de_result.shape

,de_result.shape)print(de_result

,de_result)#

Generator(d_moded_model,vocab_sizevocab)gen_result

gen_result.shape)print(gen_result:

gen_result)#

torch.LongTensor([[100,2,321,508],[321,234,456,324]])source_mask

target_mask

target_mask)print(ed_result.shape:

ed_result.shape)print(ed_result: