。

其主要应用于#xff1a;语音助手、机器翻译、搜索引擎、智能问答等。

文本预处理概述

Processing简称NLP是计算机科学与语言学中关注于计算机与人类语言间转换的领域。

其主要应用于语音助手、机器翻译、搜索引擎、智能问答等。

文本预处理概述

文本语料在输送给模型前一般需要一系列的预处理工作才能符合模型输入的要求如将文本转化成模型需要的张量规范张量的尺寸等而且科学的文本预处理环节还将有效指导模型超参数的选择提升模型的评估指标。

分词概述

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。

在英文的行文中单词之间是以空格作为自然分界符的而中文只是字、句和段能通过明显的分界符来简单划界唯独词没有一个形式上的分界符分词过程就是找到这样分界符的过程。

分词的作用词作为语言语义理解的最小单元是人类理解文本语言的基础。

因此也是AI解决NLP领域高阶任务如自动问答机器翻译文本生成的重要基础环节。

流行中文分词工具jieba的特性

支持多种分词模式精确模式、全模式、搜索引擎模式支持中文繁体分词支持用户自定义词典

命名实体识别

命名实体通常将人名地名机构名等专有名词统称命名实体。

命名实体识别(Named

Entity

Recognition简称NER)就是识别出一段文本中可能存在的命名实体。

命名实体识别的作用同词汇一样命名实体也是人类理解文本的基础单元因此也是AI解决NLP领域高阶任务的重要基础环节。

词性标注

语言中对词的一种分类方法以语法特征为主要依据、兼顾词汇意义对词进行划分的结果常见的词性有14种,

名词,

简称POS)就是标注出一段文本中每个词汇的词性。

词性标注的作用词性标注以分词为基础,是对文本语言的另一个角度的理解因此也常常成为AI解决NLP领域高阶任务的重要基础环节。

文本张量表示方法

文本张量表示将一段文本使用张量进行表示其中一般将词汇为表示成向量称作词向量再由各个词向量按顺序组成矩阵形成文本表示。

文本张量表示的作用将文本表示成张量矩阵形式能够使语言文本可以作为计算机处理程序的输入进行接下来一系列的解析工作。

文本张量表示的方法one-hot编码、Word2vec、Word

Embedding

one-hot词向量表示又称独热编码将每个词表示成具有n个元素的向量这个词向量中只有一个元素是1其他元素都是0不同词汇元素为0的位置不同其中n的大小是整个语料中不同词汇的总数。

one-hot编码的优劣势

优势操作简单容易理解劣势完全割裂了词与词之间的联系而且在大语料集下每个向量的长度过大占据大量内存

Word2vec

word2vec是一种流行的将词汇表示成向量的无监督训练方法该过程将构建神经网络模型将网络参数作为词汇的向量表示它包含CBOW和skipgram两种训练模式。

CBOW(Continuous

bag

words)模式给定一段用于训练的文本语料再选定某段长度(窗口)作为研究对象使用上下文词汇预测目标词汇。

CBOW模式下的word2vec过程说明

Hope

(愿你自由成长)窗口大小为3因此模型的第一个训练样本来自Hope

you

set因为是CBOW模式所以将使用Hope和set作为输入you作为输出在模型训练时

Hopesetyou等词汇都使用它们的one-hot编码。

如图所示每个one-hot编码的单词与各自的变换矩阵(即参数矩阵3x5,

它将与真正的目标矩阵即you的one-hot编码矩阵(5x1)进行损失的计算然后更新网络参数完成一次模型迭代。

最后窗口按序向后移动重新更新参数直到所有语料被遍历完成得到最终的变换矩阵(3x5)这个变换矩阵与每个词汇的one-hot编码(5x1)相乘得到的3x1的矩阵就是该词汇的word2vec张量表示。

skipgram模式给定一段用于训练的文本语料再选定某段长度(窗口)作为研究对象使用目标词汇预测上下文词汇。

skipgram模式下的word2vec过程说明

Hope

(愿你自由成长)窗口大小为3因此模型的第一个训练样本来自Hope

you

Hopesetyou等词汇都使用它们的one-hot编码。

如图所示将you的one-hot编码与变换矩阵(即参数矩阵3x5这里的3是指最后得到的词向量维度)相乘,

它将与我们hope和set对应的one-hot编码矩阵(5x1)进行损失的计算,

然后更新网络参数完成一次模

型迭代。

最后窗口按序向后移动重新更新参数直到所有语料被遍历完成得到最终的变换矩阵即参数矩阵(3x5)这个变换矩阵与每个词汇的one-hot编码(5x1)相乘得到的3x1的矩阵就是该词汇的word2vec张量表示。

第一步:

通过一定的方式将词汇映射到指定维度(一般是更高维度)的空间。

广义的word

embedding包括所有密集词汇向量的表示方法如之前学习的word2vec即可认为是word

embedding是指在神经网络中加入的embedding层对整个网络进行训练的同时产生的embedding矩阵(embedding层的参数)这个embedding矩阵就是训练过程中所有输入词汇的向量表示组成的矩阵。

word

通过使用tensorboard可视化嵌入的词向量。

在终端启动tensorboard服务。

浏览器展示并可以使用右侧近邻词汇功能检验效果。

文本数据分析

文本数据分析能够有效帮助理解数据语料快速检查出语料可能存在的问题并指导之后模型训练过程中一些超参数的选择。

常用的几种文本数据分析方法

文本特征处理

文本特征处理包括为语料添加具有普适性的文本特征如n-gram特征以及对加入特征之后的文本语料进行必要的处理如长度规范。

这些特征处理工作能够有效的将重要的文本特征加入模型训练中增强模型评估指标。

常见的文本特征处理方法

添加n-gram特征文本长度规范

n-gram特征给定一段文本序列其中n个词或字的相邻共现特征即n-gram特征常用的n-gram特征是bi-gram和tri-gram特征分别对应n为2和3。

提取n-gram特征的函数create_ngram_set

这里取2为例

create_ngram_set(input_list):description:

input_list:

文本长度规范及其作用一般模型的输入需要等尺寸大小的矩阵因此在进入模型前需要对每条文本数值映射后的长度进行规范此时将根据句子长度分布分析出覆盖绝大多数文本的合理长度对超长文本进行截断对不足文本进行补齐(一般使用数字0)这个过程就是文本长度规范。

文本长度规范的实现函数padding

from

cutlen根据数据分析中句子长度分布覆盖90%左右语料的最短长度.

这里假定cutlen为10

使用sequence.pad_sequences即可完成return

sequence.pad_sequences(x_train,

cutlen)

常见的文本数据增强方法回译数据增强法。

回译数据增强目前是文本数据增强方面效果较好的增强方法一般基于google翻译接口将文本数据翻译成另外一种语言(一般选择小语种)之后再翻译回原语言即可认为得到与与原语料同标签的新语料新语料加入到原数据集中即可认为是对原数据集数据增强。

回译数据增强优势操作简便获得新语料质量高。

回译数据增强存在的问题在短文本回译过程中新语料与原语料可能存在很高的重复率并不能有效增大样本的特征空间。

高重复率解决办法进行连续的多语言翻译如中文→韩文→日语→英文→中文根据经验最多只采用3次连续翻译更多的翻译次数将产生效率低下语义失真等问题。

jieba词性对照表

【ParticleDEC,DEG,DEV,DER,AS,SP,ETC,MSP小品词】如“的话”

【O***r

torchtext.legacy.datasets.text_classification

import

从本地加载数据的方式本地数据在虚拟机/root/data/ag_news_csv中

定义加载函数

include_unkFalse):train_csv_path

data/ag_news_csv/train.csvtest_csv_path

vocab_train

build_vocab_from_iterator(_csv_iterator(train_csv_path,

ngrams))else:if

build_vocab_from_iterator(_csv_iterator(test_csv_path,

ngrams))else:if

_create_data_from_iterator(vocab_train,

ngrams,

_create_data_from_iterator(vocab_test,

ngrams,

(TextClassificationDataset(vocab_train,

train_data,

train_labels),TextClassificationDataset(vocab_test,

test_data,

TextSentiment(nn.Module):文本分类模型def

__init__(self,

参数分别是embed_dim和num_class.self.fc

nn.Linear(embed_dim,

各层的权重参数都是初始化为均匀分布self.embedding.weight.data.uniform_(-initrange,

initrange)self.fc.weight.data.uniform_(-initrange,

initrange)#

偏置初始化为0self.fc.bias.data.zero_()def

forward(self,

其中m是BATCH_SIZE大小的数据中词汇总数embedded

接下来我们需要将(m,

之后再从embedded中取c*BATCH_SIZE个向量得到新的embedded#

这个新的embedded中的向量个数可以整除BATCH_SIZEembedded

embedded[:BATCH_SIZE

因为我们想利用平均池化的方法求embedded中指定行数的列的平均数,#

并且需要3维输入#

因此我们对新的embedded进行转置并拓展维度embedded

0).unsqueeze(0)#

self.fc(embedded[0].transpose(1,

0))#

len(train_dataset.get_labels())

实例化模型

generate_batch(batch):description:

生成batch数据函数:param

由样本张量和对应标签的元组组成的batch_size大小的列表形如:[(label1,

sample1),

使用数据加载器生成BATCH_SIZE大小的数据进行批次训练#

data就是N多个generate_batch函数处理后的BATCH_SIZE大小的数据生成器data

shuffleTrue,collate_fngenerate_batch)#

对data进行循环遍历,

设置优化器初始梯度为0optimizer.zero_grad()#

模型输入一个批次数据,

torch.nn.CrossEntropyLoss().to(device)

选择随机梯度下降优化器

torch.optim.SGD(model.parameters(),

lr4.0)

torch.optim.lr_scheduler.StepLR(optimizer,

gamma0.9)#

{train_loss:.4f}(train)\t|\tAcc:

{train_acc

100:.1f}%(train))print(f\tLoss:

{valid_loss:.4f}(valid)\t|\tAcc:

{valid_acc

print(model.state_dict()[embedding.weight])