。

…在上一节的情感分类当中有些评论是负面的但预测的结果是正面的比如this

movie

shit这部电影是狗屎很明显就是对这部电影极不友好的评价属于负类评价给出的却是positive。

所以这节我们通过专门的“分词”和“扩大词向量维度”这两个途径来改进提高预测的准确率。

spaCy分词我们用spaCy分词工具来进行分词看是否能提高准确性。

推荐带上镜像站点来下载并安装。

pip

install

en这种方法我没有安装成功于是我选择直接下载安装感觉太慢选择迅雷下载https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.0.0/en_core_web_sm-3.0.0-py3-none-any.whl或者pip

install

https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.0.0/en_core_web_sm-3.0.0-py3-none-any.whl这里选择的是en_core_web_sm语言包所以也可以直接选择豆瓣镜像下载《推荐这种方法》pip

install

en_core_web_sm-3.0.0-py3-none-any.whl

--trusted-host

pypi.douban.com安装好之后就可以通过spacy来加载这个英文包spacy_en

spacy.load(en_core_web_sm)spacy_en._path

WindowsPath(D:/Anaconda3/envs/pygpu/lib/site-packages/en_core_web_sm/en_core_web_sm-3.0.0)然后进行分词将上一节或者说自带的get_tokenized_imdb函数修改下使用修改的这个函数def

[tok.text

spacy_en.tokenizer(text)]return

[tokenizer(review)

data]我们训练看下效果如何print(d2l.predict_sentiment(net,

vocab,

print(d2l.predict_sentiment(net,

vocab,

print(d2l.predict_sentiment(net,

vocab,

可以看到准确率有提高而且第一条影评在上一节预测是positive这里预测为negative正确识别了这条影评的负类评价。

第二条影评的预测错误了说明没有识别出not

good属于负类评价接下来我们再叠加一个方法来提高准确率。

300维度的词向量我们将预处理文件的词向量从100维度提高到300维度看下准确度有没有上升也就是选择glove.6B.300d.txt来替换glove.6B.100d.txtglove_embedding

pretrained_file_nameglove.6B.300d.txt,

vocabularyvocab

)选择更高维度的词向量文档之后我们做下训练测试看下print(d2l.predict_sentiment(net,

vocab,

print(d2l.predict_sentiment(net,

vocab,

print(d2l.predict_sentiment(net,

vocab,

print(d2l.predict_sentiment(net,

vocab,

准确度再次有了提升四条影评都被正确识别了情绪。

全部代码import

collections

spacy_en.tokenizer(text)]return

[tokenizer(review)

get_tokenized_imdb(data)counter

for

d2l.download_imdb(data_dirdata)

train_data,

d2l.preprocess_imdb(train_data,

vocab)

gdata.ArrayDataset(*d2l.preprocess_imdb(train_data,

vocab))

gdata.ArrayDataset(*d2l.preprocess_imdb(test_data,

vocab))

train_iter:print(X.shape,y.shape)break

class

nn.Embedding(input_dimlen(vocab),

bidirectional设为True就是双向循环神经网络self.encoder

rnn.LSTM(hidden_sizenum_hiddens,num_layersnum_layers,bidirectionalTrue,input_sizeembed_size,)self.decoder

nn.Dense(2)def

LSTM需要序列长度(词数)作为第一维所以inputs[形状为(批量大小,词数)]需做转置#

64,

100)-全连接层之后的形状(5,1,100)embeddings

双向循环所以乘以2(词数,批量大小,词向量维度*2)(500,

64,

pretrained_file_nameglove.6B.300d.txt,

vocabularyvocab

net.embedding.weight.set_data(glove_embedding.idx_to_vec)

net.embedding.collect_params().setattr(grad_req,

null)lr,

gluon.Trainer(net.collect_params(),

adam,

gloss.SoftmaxCrossEntropyLoss()

test_ieter,

num_epochs)print(d2l.predict_sentiment(net,

vocab,

print(d2l.predict_sentiment(net,

vocab,

print(d2l.predict_sentiment(net,

vocab,

print(d2l.predict_sentiment(net,

vocab,

good]))其中需要注意的是embed_size的大小需设定为300跟新选择的文件的词向量维度保持一致。

小结从目前实验结果来看对词语的分词做的更好对于理解词义是很有帮助的另外将词映射成的向量维度越高准确度也在提升。