。

这里的Span翻译为“片段”#xff0c;表示一片连续的单词。

SpanBERT最常用于需要预测文本…

SpanBERT出自Facebook就是在BERT的基础上针对预测spans

text的任务在预训练阶段做了特定的优化它可以用于span-based

pretraining。

这里的Span翻译为“片段”表示一片连续的单词。

SpanBERT最常用于需要预测文本片段的任务。

SpanBERT:

Improving

SpanBERT所做的预训练调整主要是以下三点1.使用一种span

masking来代替BERT的mask2.加入另外一个新的训练目标Span

Boundary

Prediction任务。

这样SpanBERT使用了两个目标函数MLM和SBO。

Span

X直到满足15%的mask。

在每次采样过程中首先随机选取一个片段长度然后再随机选取一个起点这样就可以到一个span进行mask了span的长度会进行截断即不超过10并且实验得到p取0.2效果最好

另外span的长度是指word的长度而不是subword这也意味着采样的单位是word而非subword并且随取的起点必须是一个word的开头。

与BERT一样mask机制仍然为80%替换为[MASK]10%保持不变10%用随机的token替换。

但不用的是span

masking是span级别的即同一个span里的所有tokens会是同一种mask。

举例说明

在SpanBERT中不是对标记进行随机掩码而是对连续片段进行掩码.

Span

这个新增的预训练任务概括起来其实就是仅使用span边界的tokens的表征来预测该span内的这些mask的tokens原来对应哪些tokens这其实与mlm类似但它不使用上下文的所有tokens的表征。

对masked

如果模型只使用片段边界标记表示来预测任何掩码的标记那它是如何区分不同的被掩码的标记呢比如为了预测掩码的标记​我们的模型只使用片段边界标记表示​和

我们的模型还是使用​和​。

那这样的话模型如何区别不同的掩码标记呢因此除了片段边界标记表示模型还使用掩码标记的位置嵌入信息。

这里的位置嵌入代表了掩码标记的相对位置。

假设我们要预测掩码标记​。

现在在所有的掩码标记中我们检查掩码标记​的位置。

如下图所示掩码标记​是所有掩码标记的第二个位置。

所以现在除了使用片段边界标记表示我们也使用该掩码标记的位置嵌入即​。

通过外边界tokens的表征【R5】、【R10】和​相对位置embedding用它去预测token

计算公式如下所示

其中s表示span的起始位置s-1表示的是span的左侧边界tokene表示的是span的结束位置e1表示的是span的右侧边界tokenp表示的是位置信息。

SpanBERT的损失函数是MLM损失和SBO损失的总和。

我们通过最小化这个损失函数来训练SpanBERT。

在预训练之后我们可以把预训练的SpanBERT用于任何下游任务。

Single-Sequence

prediction的任务这个任务的input是两个text的序列

预测二者是否是上下文。

作者通过实验发现这样的一种设置会比去掉NSP

objective而只使用一个sequence的效果要差。

因而作者猜测single-sequence

training比bi-sequence

contexts中受益更多以从另外一个document中得到的context为条件往往会给masked

language

segment这个segment中至多有512个tokens。

Reference:

https://helloai.blog.csdn.net/article/details/120499194?spm1001.2101.3001.6650.1utm_mediumdistribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-120499194-blog-124881981.pc_relevant_3mothn_strategy_recoverydepth_1-utm_sourcedistribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-120499194-blog-124881981.pc_relevant_3mothn_strategy_recoveryutm_relevant_index2https://helloai.blog.csdn.net/article/details/120499194?spm1001.2101.3001.6650.1utm_mediumdistribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1-120499194-blog-124881981.pc_relevant_3mothn_strategy_recoverydepth_1-utm_sourcedistribute.pc_relevant.none-task-blog-2~default~CTRLIST~Rate-1-120499194-blog-124881981.pc_relevant_3mothn_strategy_recoveryutm_relevant_index2