模型提升

从左到右的架构只能将输入的一个句子从左看到右。

句子情感分类任务从左看到右、从右看到左

token-level

领域的问题不要觉得想法小、不值得写出来简单朴实的写出来。

简单好用

说不定会出圈

好如果假设读者都知道论文的技术而只一笔带过给Ref不太好。

论文写作要自洽简单的说明就好避免读者不知道预训练和微调增加理解文章的障碍。

预训练

以前的两倍在宽度上面也选择一个值使得这个增加的平方大概是之前的两倍。

16因为每个

一段连续的文字不一定是真正上的语义上的一段句子它是我的输入叫做一个序列

sequence

预训练时候的输入是一个序列对。

编码器和解码器分别会输入一个序列。

BERT

token。

数据量打的时候词典会特别大到百万级别。

可学习的参数基本都在嵌入层了。

BERT

这个词放在我的第一个的位置他也是有办法能看到之后所有的词。

所以他放在第一个是没关系的不一定要放在最后。

每个句子后

的概率会随机替换成一个掩码。

但是对于特殊的词源不做替换i.e.,

第一个词源

和一些基于encoder-decoder的架构为什么不一样transformer

整个句子对被放在一起输入

在encoder-decoder的架构编码器看不到解码器的东西。

BERT

整个领域的贡献非常大有大量的任务用一个相对简单、只改数据输入形式和最后加一个输出层就可以效果很不错。

Ablation

训练一个很深、很宽的模型在一个很大的数据集上预训练好训练好的模型参数可以解决很多小的问题通过微调提升小数据集上的性能。

这个模型拿出来之后可以用在很多小的问题上能够通过微调来全面提升这些小数据上的性能。

这个在计算机视觉里面我们用了很多了。

BERT

NLP在Bert之前一直没有一个深度神经网络训练好之后可以解决大部分任务。

用一句话来概括Bert就是Bert是一个深的双向的Transformer针对的是一般的语言理解任务。

这里特别注意的点是“语言理解任务”和“Transformer”因为“Transformer”的提出是针对于机器翻译的。

Encoder

Transformer。

GPT考虑左边的信息预测未来BERT是双向的ELMO是基于RNN的架构而BERT是Transformer所以对于下游任务不需要做那么多的调整。

当讲一个东西好的时候不仅要讲绝对精度是多少还要说和其他的模型比相对的优势是多少。

Introduction

使用预训练模型做特征表示一般有两类方法基于特征的比如ELMO另外一种是基于微调的比如GPT把预训练的模型放到下游的时候根据新的数据集微调。

这两个途径都是使用相同的目标函数都是用一个单向的语言模型说一句话预测下一句话。

现在的技术的问题是语言模型是单向的如果要做句子层面的分析的话如果从左看到右外还可以从右看到左是可以提升性能的。

带掩码的语言模型随机挖去一些字元然后允许看左右信息并进去填空也就是完形填空。

另一个是下一句预测随机采样两个句子判断这两个句子是否是相邻的。

这两个任务解决了“双向”的问题。

Related

微调权重初始化为预训练中得到的权重所有权重在微调的时候都会被参与训练用的是有标号的数据所有的下游任务都会创建一个新的Bert模型

写论文的时候对于引用的方法需要做一些简短的说明以防止给大家的阅读造成困难。

BERT模型的Transformer的层是L隐藏层大小是H自注意力头是A。

。

嵌入层就是一个矩阵嵌入层的输入是字典的大小这里是30K输出是隐层单元的大小隐层单元是Transformer的输入。

头的个数A乘以64等于H。

在Transformer中首先K、Q、V都是HH的矩阵然后输出矩阵的大小也是HH后面的MLP层是两个H^2*8的矩阵一共有L层的Transformer所以一共有30K\times

HL\times

Bert的输入可以是一个句子也可以是一个句子对。

Transformer训练的时候输入是一个序列对编码器和解码器分别会输入一个序列而Bert只有编码器所以如果是两个句子需要合并成一个序列。

使用WordPiece词嵌入的想法是如果一个词在整个里面出现概率不大的话应该切开看子序列这个子序列可能是词根出现次数很大。

序列的第一个词永远是[CLS]表示classification代表Bert最后的输出代表整个序列的信息。

两个句子的合并用[SEP]区分。

词嵌入的输入词元的向量(token

embeddings)

对于一个输入的语言序列15%的词元会被替换成掩码。

但是问题在于在预训练的时候会有15%的词用[MASK]替换但是微调的时候是没有[MASK]的所以两个阶段看到的数据不一样。

解决方案是对于这15%的被[MASK]替换的词80%真的替换成[MASK]10%替换成随机词元还有10%什么都不干。

Masked

相当于是额外的奖励将模型对于词的表征能够拉向词的真实表征此时输入层是待预测词的真实

embedding在输出层中的该词位置得到的embedding是经过层层

Self-attention

的信息而这部分就是通过输入一定比例的真实词所带来的额外奖励最终会使得模型的输出向量朝输入层的真实

embedding

的话模型只需要保证输出层的分类准确对于输出层的向量表征并不关心因此

Next

BERT和encoder-decoder架构相比由于把两个句子结合在一起所以self-attention可以看到全部的东西而encoder-decoder架构中encoder通常看不到decoder的东西。

Experiment

把[CLS]词元最后的向量拿出来学习输出层W用softmax(CW^T)得到标号即为多分类问题。

SQuAD

对于每个词元判断是否是答案的开头或者结尾具体而言学习两个向量S和E分别代表词元是答案开始和结尾的概率。

提问环节

采用哪种Normalization结构LayerNorm和BatchNorm区别LayerNorm结构有参数吗参数的作用

采用LayerNorm结构和BatchNorm的区别主要是做规范化的维度不同BatchNorm针对一个batch里面的数据进行规范化针对单个神经元进行比如batch里面有64个样本那么规范化输入的这64个样本各自经过这个神经元后的值64维LayerNorm则是针对单个样本不依赖于其他数据常被用于小mini-batch场景、动态网络场景和

RNN特别是自然语言处理领域就bert来说就是对每层输出的隐层向量768维做规范化图像领域用BN比较多的原因是因为每一个卷积核的参数在不同位置的神经元当中是共享的因此也应该被一起规范化。

如何优化BERT效果

Robertaroberta_wwm_ext_large、roberta-pair-large等进行ensemble然后蒸馏原始的bert模型这是能有效提高的只是操作代价比较大。

BERT上面加一些网络结构比如attentionrcnn等个人得到的结果感觉和直接在上面加一层transformer

改进预训练在特定的大规模数据上预训练相比于开源的用百科知道等数据训练的更适合你的任务经过多方验证是一种比较有效的提升方案。

以及在预训练的时候去mask低频词或者实体词听说过有人这么做有收益但没具体验证。

文本对抗

[2]https://zhuanlan.zhihu.com/p/151412524

[3]BERT