练过程分析静态掩码与动态掩码的比较模型输入模式与下一句预测使用大批量进行训练使用Byte-pair

Encoding作为子词词元化算法更大的数据集和更多的训练步骤

RoBERTa配置

[MASK]对被掩码的词语进行替换。

并将掩码部分的长度控制在总句子长度的

CLS

[[\text{CLS}],Paris,is,a,beautiful,city,[\text{SEP}],I,love,Paris]

[[CLS],Paris,is,a,beautiful,city,[SEP],I,love,Paris]

CLS

[[\text{CLS}],Paris,is,a,[\text{MASK}],city,[\text{SEP}],I,love,[\text{MASK}]]

[[CLS],Paris,is,a,[MASK],city,[SEP],I,love,[MASK]]

即便在

BERT的预训练进行泛化但实际上它依然是静态掩码这些工作均是在数据预处理部分执行的在训练过程中每个

MASK

[[\text{CLS}],\text{Segment-1},\text{[SEP]},\text{Segment-2},\text{[SEP]}]

[[CLS],Segment-1,[SEP],Segment-2,[SEP]]

CLS

S_1:[[\text{CLS}],Paris,is,a,[\text{MASK}],city,[\text{SEP}],I,love,[\text{MASK}]]

\mathcal

S_2:[[\text{CLS}],Paris,[\text{MASK}],a,beautiful,city,[\text{SEP}],I,love,Paris]

\quad

S_{10}:[[\text{CLS}],[\text{MASK}],is,a,beautiful,[\text{MASK}],[\text{SEP}],I,love,Paris]

\end{aligned}

​S1​:[[CLS],Paris,is,a,[MASK],city,[SEP],I,love,[MASK]]S2​:[[CLS],Paris,[MASK],a,beautiful,city,[SEP],I,love,Paris]⋮S10​:[[CLS],[MASK],is,a,beautiful,[MASK],[SEP],I,love,Paris]​对模型进行

Epoch

4次。

虽然这种方法起到很好的泛化作用但其本质上依然是静态掩码。

而动态掩码并没有在预处理阶段对数据进行

MASK。

这与上面复制数据的方法相比它的泛化性更强。

因为尤其在训练的

Epoch

Epoch较大时静态掩码由于会使同一份掩码结果训练多次导致在训练过程中机械地记住这个规律。

下面是原文中静态掩码与动态掩码在同一任务中的对比情况。

在一些任务中动态掩码的效果略优于静态掩码。

模型输入模式与下一句预测

将输入段落对改为句子对正负样本的采样方式分别是从文档中连续采样和文档中单独采样。

由于输入句子对

Token

512并且允许超出文档边界。

超出文档边界是指当采样达到一个文档的末尾时可以从下一个文档中继续进行采样作为该输入的一部分但需要在文档之间加入一个额外分隔符并且该实验删除了

NSP

Full-sentence采样方式相似但是不允许超出文档边界。

相比于

Full-sentence

Sentence原因可能是模型很难从单句中学习到长依赖关系。

对使用

NSP

Bytes进行替代。

这种方式可以编码任何输入文本并且不会引入任何

Unknown

[\text{it},\dot{\text{G}}\text{was},\dot{\text{G}}\text{a},\dot{\text{G}}\text{great},\dot{\text{G}\text{day}}]

\dot{\text{G}}

[\text{I},\dot{\text{G}}\text{had},\dot{\text{G}}\text{a},\dot{\text{G}}\text{sudden},\dot{\text{G}}\text{ep},\text{iphany}]

[I,G˙had,G˙a,G˙sudden,G˙ep,iphany]

epiphany

有点降维打击的意思~数据量大意味着信息更丰富效果好也在情理之中~

即便没有增加数据

size8K,steps:31K⇒100K)但这并没有带来过拟合的问题。

在训练数据基础上加上

additional