它基于

本教程说明如何使用torchtext的几个便捷类来预处理包含英语和德语句子的著名数据集的数据并使用它来训练序列到序列模型并注意将德语句子翻译成英语

它基于

classes:TranslationDataset字段BucketIterator

cite字段/cite和

torchtext具有用于创建数据集的实用程序可以轻松地对其进行迭代以创建语言翻译模型。

一个关键类是字段它指定应该对每个句子进行预处理的方式另一个关键类是

在本教程中我们将使用

Spacy因为它为英语以外的其他语言的标记化提供了强大的支持。

torchtext提供了basic_english标记器并支持其他英语标记器(例如摩西但对于语言翻译(需要多种语言Spacy

接下来下载英语和德语

后以下代码将根据Field中定义的标记器标记TranslationDataset中的每个句子。

from

spacy,tokenizer_languagede,init_token

sos,eos_token

spacy,tokenizer_languageen,init_token

sos,eos_token

现在我们已经定义了train_data我们可以看到torchtext的Field的一个非常有用的功能build_vocab方法现在允许我们创建与每种语言相关的词汇

min_freq

一旦运行了这些代码行SRC.vocab.stoi将是一个词典其词汇表中的标记作为键而其对应的索引作为值

SRC.vocab.itos将是相同的字典其中的键和值被交换。

NLP

我们将使用的最后torchtext个特定功能是BucketIterator它很容易使用因为它以TranslationDataset作为第一个参数。

具体来说正如文档所说定义一个迭代器该迭代器将相似长度的示例批处理在一起。

在为每个新纪元生产新鲜改组的批次时最大程度地减少所需的填充量。

import

BucketIterator.splits((train_data,

valid_data,

train和evaluate函数一样调用这些迭代器只需使用以下命令即可调用它们

for

这大部分是从torchtext角度出发的构建了数据集并定义了迭代器本教程的其余部分仅将模型定义为nn.Module以及Optimizer然后对其进行训练。

具体来说我们的模型遵循在此处中描述的架构(您可以在此处找到更多注释的版本。

我们选择它是因为它是任务的标准模型而不是因为它是用于翻译的推荐模型。

PyTorch

特别是以下模型中使用的“注意”与变压器模型中存在的多头自我注意不同。

import

float):super().__init__()self.input_dim

emb_dim)self.rnn

self.dropout(self.embedding(src))outputs,

hidden

torch.tanh(self.fc(torch.cat((hidden[-2,:,:],

hidden[-1,:,:]),

int):super().__init__()self.enc_hid_dim

(enc_hid_dim

encoder_outputs.shape[0]repeated_decoder_hidden

decoder_hidden.unsqueeze(1).repeat(1,

src_len,

torch.tanh(self.attn(torch.cat((repeated_decoder_hidden,encoder_outputs),dim

2)))attention

nn.Module):super().__init__()self.emb_dim

emb_dim)self.rnn

nn.Linear(self.attention.attn_in

emb_dim,

_weighted_encoder_rep(self,decoder_hidden:

Tensor)

encoder_outputs)weighted_encoder_rep

weighted_encoder_rep.permute(1,

2)return

self.dropout(self.embedding(input))weighted_encoder_rep

self._weighted_encoder_rep(decoder_hidden,encoder_outputs)rnn_input

torch.cat((embedded,

decoder_hidden.unsqueeze(0))embedded

output.squeeze(0)weighted_encoder_rep

weighted_encoder_rep.squeeze(0)output

self.out(torch.cat((output,weighted_encoder_rep,embedded),

dim

torch.device):super().__init__()self.encoder

encoderself.decoder

trg_vocab_size).to(self.device)encoder_outputs,

hidden

name:nn.init.normal_(param.data,

mean0,

std0.01)else:nn.init.constant_(param.data,

0)model.apply(init_weights)optimizer

optim.Adam(model.parameters())def

nn.Module):return

注意特别是在对语言翻译模型的性能进行评分时我们必须告诉nn.CrossEntropyLoss函数忽略仅填充目标的索引。

PAD_IDX

nn.CrossEntropyLoss(ignore_indexPAD_IDX)

import

batch.trgoptimizer.zero_grad()output

model(src,

trg)loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(),

clip)optimizer.step()epoch_loss

loss.item()return

nn.Module):model.eval()epoch_loss

0with

{math.exp(train_loss):7.3f})print(f\t

Val.

{math.exp(valid_loss):7.3f})test_loss

evaluate(model,