BackgroundP2

五、十问十答**Q1**论文试图解决什么问题**Q2**这是否是一个新的问题**Q3**这篇文章要验证一个什么科学假设**Q4**有哪些相关研究如何归类谁是这一课题在领域内值得关注的研究员**Q5**论文中提到的解决方案之关键是什么**Q6**论文中的实验是如何设计的**Q7**用于定量评估的数据集是什么代码有没有开源**Q8**论文中的实验及结果有没有很好地支持需要验证的科学假设**Q9**这篇论文到底有什么贡献**Q10**下一步呢有什么工作可以继续深入

六、相关知识点6.1

1.大规模的预训练语言模型对其在各种设备上的部署提出了挑战人们越来越重视如知识蒸馏这类的模型压缩方法。

1.当前的知识蒸馏方法依赖于模型的中间层特征和黄金标签硬标签通常分别需要对齐模型架构和足够的标记数据

Approach

提出了通用语言模型蒸馏GLMD方法该方法执行两阶段单词预测蒸馏和词汇压缩方法简单且性能优异。

具体地说

1.通过消除模型之间的维度和结构约束以及没有中间层和黄金标签而对数据集的需求来支持更加通用的场景。

2.根据数据中词频的长尾分布GLMD设计了一种通过减少词汇量而不是维度来进行词汇压缩的策略。

相关知识

语言建模通常指预训练阶段的无监督任务GPT的因果语言建模BERT的屏蔽语言建模GLM的自回归填空。

此过程需要解码器通常是使用词汇参数作为权重的线性变换将模型输出解码为每个单词的预测逻辑

两阶段词汇预测蒸馏

由于词频具有长尾分布一些低频词在被相似词替换后仍然可以被语言模型理解。

token

使用更加困难的任务SuperGLUE可以更好地显示不同蒸馏方法之间的差异。

GLMD在T1-S1,

T2-S2的尺度上的25个基线中实现了最高性能分别比最佳方法TinyBERT提高了0.1%0.1%和3.1%。

在没有词汇压缩的情况下GLMD-vc分别比最佳方法高出0.7%0.7%3.0%。

表明高性能蒸馏不一定需要中间层特征或者硬标签

二、论文泛读

解决大规模预训练语言模型在不同设备上的部署问题,以及不损失性能的模型压缩问题。

2.2

采用了两阶段的词预测蒸馏方法和词表压缩策略。

具体的说两阶段的词预测蒸馏方法不依赖于中间层特征和hard

labels支持更加通用的应用场景通过减少词表大小而不是维度进行词表压缩。

2.4

论文所采用的方法在SperGLUE上超过了25种SOTA的方法并且平均得分超过了最好的方法3%。

三、论文精读

两阶段的词预测允许教师模型和学生模型拥有不同的模型架构并且不需要选择中间层。

该过程使得蒸馏目标与模型任务更紧密地结合在一起并使模型的蒸馏在预训练和微调阶段更加一致。

在预训练阶段使用目标函数

tokens进行掩码但同时保留未掩码的标记和被掩码的标记。

“mask

***

意味着在处理序列数据时将填充标记通常是为了使不同句子长度一致而添加的无效标记进行掩码处理以防止它们对模型的预测产生影响。

填充标记在模型训练过程中可能会引入噪声所以将它们掩码可以提高训练效果。

掩码向量

m_p

的作用是保留被掩码的标记和未被掩码的标记。

这意味着掩码操作不会影响到模型应该学习的有用信息即模型可以通过保留某些标记和掩码其他标记来学习。

LM(x)

可以得到一个向量其中每个维度对应于词表中一个词的得分。

这些得分可以被解释为模型认为下一个词属于每个可能词的概率。

然后可以应用softmax函数将这些得分转化为概率分布从而得到LM(x)。

f_t(x)∈R^{l×h}

输入到任务特定的层如全连接层中可以生成与下游任务相关的预测。

这个任务特定的层将特征表示

f_t(x)

转化为适合特定任务的形式并计算出与任务相关的得分logits。

例如如果下游任务是文本分类这个任务特定的层可能会将ft(x)映射到各个类别上的得分用于分类决策。

f^S_l(x)

表示学生和教师模型在计算任务损失之前的输出。

这里应该是loft

3.1.2

词表压缩减少了词表当中的token数量。

单词频率具有长尾分布用相似的词替代之后一些低频词仍然可以被理解。

设词表压缩率为

r_v

v然后对预训练语料中的所有token按照出现的频率进行排序排在前

vr_v

mapping是为了将嵌入层的矩阵进行对齐只有将教师模型的嵌入层矩阵的维度变成与学生模型的嵌入层矩阵一致才能求loss。

3.2

它是第一个真正意义上的多语种通用预训练语言模型。

支持中文、英文、韩文、日文四种语言。

它训练数据集覆盖面广,使用了670亿词的高质量中文及英文数据进行预训练。

它的模型规模非常大,基础模型参数量达到137亿。

它支持多样的下游任务

Fine-tuning,包括阅读理解、文本分类、句子相似度等。

效果优于BERT等模型。

它是一个持续迭代的开源项目,会保持定期更新,并支持用户自定义训练。

综上,清华GLM之所以说是通用模型,是因为其支持多语言、训练数据覆盖面广、模型规模大、下游任务适应性强等特点。

这使得它成为一个强大的通用预训练语言模型。

作者在110M340M10B参数的模型上进行了验证所有的实验在40张

3.2.1

测试集使用更有挑战性的SuperGLUE这样更够让各个蒸馏方法的性能差距变得更明显。

语料库BooksCorpusEnglish

Wikipedia

19GBBaselines25种SOTA方法语言模型GLMGLM更加先进继承了自编码和自回归的优点。

选择原因比通常使用的BERT和RoBERTa表现更好开源了模型从10B-100B。

除了MobileBERT之外其余的方法基于GLM。

教师和学生都使用fp16的精度进行训练。

超参数

L_{sp}

的蒸馏温度分别设置为15和1所有的baseline使用的参数都是相应论文中最优的参数所有需要预训练的方法batch_size64peak

learning

rate4e-4迭代次数150000所有单一教师模型在微调阶段使用网格搜索寻找最优参数学习率为{5e-6,1e-5,2e-5}batch_size为{16,32}使用多教师和助教的方法在核心方法上与单一教师方法相似但在教师的权重和辅助方面存在差异微调阶段使用GLM提供的最佳参数所有的实验结果均为3个随机种子的平均结果。

3.2.2

BERT)对嵌入参数化进行因式分解。

大的词汇嵌入矩阵分解为两个小的矩阵将隐藏层的大小与嵌入层的分离开。

这种分离使得隐藏层的增加更加容易同时不显著增加词汇嵌入的参数量。

不再将

one-hot

MobileBERT在嵌入层进行压缩在嵌入层将维度降低到128需要在计算训练损失时恢复词汇维度来保证输入输出的维度一致性。

GLMD在

规模的25个baseline的实现了最高的成绩分别比最优方法TinyBERT提高了0.1%0.1%3.1%在没有词汇压缩的公平环境中

GLMD_{-vc}

2B的蒸馏上显著优于TinyBERT表明TinyBERT不适用于在SuperGLUE上的超大规模的模型蒸馏。

T_1

表现高出0.1%表明词汇压缩是一个有效的策略。

在与其他压缩策略联合使用时比如

GLMD_{al}

在进行token映射时作者尝试使用余弦相似度欧几里得距离或者直接替换为[UNK]这些方法都不如GLMD可能是因为GLMD中使用的映射方法更接近于语言建模任务中的解码方法。

3.2.4

提供了更多的知识但是仍不清楚为什么中间层特征不是必须的。

作者假设

L_{sp}

减少了感应偏置并且允许模型自发学习与教师相似的中间层特征。

为了验证此假设作者计算了预训练阶段

GLMD_{-vc}

GLMD−vc​的教师和学生中间层特征的距离度量如KL散度以及

L_{sp}

Lsp′​的减小并不是所有的教师和学生之间的特征距离在蒸馏过程中都在变近可能没有必要像现有的方法那样将所有中间特征绘制得很接近从而支持作者的假设。

作者假设词汇压缩的策略的成功基于token的长尾分布其中一些低频token在被替换以后仍然可以被语言模型理解。

实验表明教师模型使用token映射会降低性能验证了即使当一些token被替换学生仍然可以从老师那里学到这些标记的含义从而老师模型无需进行token

2限制

10B–2B的性能略低于GLM-2B但是GLM-2B在预训练阶段使用了更大的batch_size、迭代次数、GPU数量等。

四、总结

在预训练阶段只使用语言模型词预测的logits对模型进行蒸馏这个阶段的关键是对masked和unmasked的token都进行蒸馏。

Masked

在BERT等预训练模型中一种训练方式是进行“掩码语言建模”Masked

Language

Modeling。

在这种情况下输入的句子中的一些词会被随机地替换为特殊的“掩码”标记而模型的任务是预测这些掩码标记的原始词。

在知识蒸馏中对于教师模型和学生模型都可以通过预测掩码标记来进行蒸馏。

这有助于学生模型学习教师模型的语言表示能力。

Unmasked

Tokens未掩码标记

与此同时知识蒸馏也可以包括对未掩码标记的蒸馏。

未掩码标记是原始句子中的标记没有被掩码替换。

在知识蒸馏中教师模型和学生模型都可以被要求预测这些未掩码标记。

这有助于传递教师模型在理解原始文本内容方面的知识。

在task-specificfine-tuning阶段对语言模型词预测的logits和soft

labels都进行蒸馏。

这个阶段的关键是语言模型词预测的logits其使得两阶段的蒸馏更加一致。

4.2

运用两阶段的词预测蒸馏和基于词频分布的词汇压缩方法对模型进行蒸馏消除了模型蒸馏中对复杂的中间层和hard

labels以及标记数据等依然能够让模型自主学习到与教师模型相似的中间层特征。

本文提出的词汇压缩策略是基于数据中词汇的长尾分布不需要降低模型维数并且可以与其它降维的词汇压缩策略联合使用以降低性能损失。

中间层选择

复杂的深度学习模型通常包含多个层每个层都提取不同层次的特征表示。

在蒸馏过程中选择教师模型的中间层作为知识传递的来源是因为这些层往往包含了丰富的语义信息同时不太容易受到训练数据的噪声影响。

中间层的特征表示更抽象这些表示可能会捕捉到数据的潜在结构和模式对于学生模型来说这些特征可以是更有效的表示。

使用中间层有额外的限制比如需要教师模型和学生模型拥有相同的模型结构或者需要进行线性转换以确保教师和学生模型之间的维度一致性。

大量标记数据

蒸馏的目标之一是让学生模型在不同于教师模型训练数据的情况下表现得更好。

因此使用大量的标记数据可以增加学生模型的泛化能力使其在实际应用中更具有鲁棒性。

大量的标记数据可以减轻过拟合问题使得学生模型更能够从教师模型的知识中受益同时避免仅仅在教师模型的预测上拟合。

在蒸馏中使用不同于教师模型预训练数据的标记数据可以促使学生模型更广泛地理解语言和任务而不仅仅局限于教师模型已见过的数据。

在模型蒸馏的上下文中标记数据指的是用于训练学生模型的数据这些数据与教师模型训练数据可能不同。

模型蒸馏的目标是让学生模型通过观察教师模型的预测来学习以便学生模型在不同于教师模型训练数据的情况下也能够表现良好。

因此这些用于训练学生模型的标记数据可以是在不同领域、来源或方式下获得的以提高学生模型的泛化性能。

4.3

1模型压缩的时候不一定需要使用复杂的中间层特征仅仅使用输入输出信息也可以取得很好的效果

2虽然论文中设计的词表压缩策略是一个很好的方法但是如同词表中某些最高频的词可能是一些语气词、虚词等等这样的话会不会有一些潜在的问题

5论文所使用的语料为英文如果使用的语料库是中文因为中文分词和英文有一些区别如2中所说按照论文的词汇压缩会不会导致性能下降。

6如果中间层特征和hard

论文试图解决大规模预训练语言模型在不同设备上的部署问题,以及不损失性能的模型压缩问题。

这个问题不是全新的,模型压缩是自深度学习兴起以来一个持续的研究课题。

但针对大规模预训练语言模型的压缩仍然具有挑战性。

Q3这篇文章要验证一个什么科学假设

论文要验证不需要中间层特征和标注数据就可以进行有效的语言模型压缩的假设。

Q4有哪些相关研究如何归类谁是这一课题在领域内值得关注的研究员

相关研究包括基于中间层特征的压缩方法、只使用软硬标签的方法等。

语言模型蒸馏第一次将KD引入预训练语言模型的是PKD2019通过使用中间层特征在早期的研究中PD2019简单的运用了soft

targets模型迁移的知识相对有限随后的研究中主要集中在中间层特征的使用上包括在预训练阶段蒸馏、微调阶段蒸馏和两阶段蒸馏。

也有只使用soft

hard

词表压缩语言模型的蒸馏中减少模型的参数主要被用来减少模型层数或者维数。

MobileBERT和ALBERT减少词表的维数来实现词表的压缩。

MobileBERT需要在计算训练损失时恢复词汇维度来保证输入输出的维度一致性ALBERT使用一个线性层来改变模型的输出维度。

主要研究员有Geoffrey

实验结果显示该方法优于所有对比方法,验证了不需要中间层和标注的数据就可以进行压缩的假设。

Q9这篇论文到底有什么贡献

主要贡献是提出简单高效的压缩框架,并证实中间层特征不是必需的。

词表压缩也具有借鉴意义。

后续可在更多模型和任务上验证泛化能力,继续优化词表压缩,探索100B级模型压缩等。

六、相关知识点

Labels硬标签是指在分类问题中每个样本都被分配一个确定的类别标签。

例如在图像分类任务中一张狗的图片可能会有一个硬标签“狗”。

Soft

Labels软标签是指为每个样本分配一个概率分布表示它属于不同类别的可能性。

概率分布中的值可以是连续的反映了模型对不同类别的置信度。

软标签通常用于一些特殊的训练策略如知识蒸馏knowledge

distillation。

Logits是模型输出的原始值还没有经过softmax激活函数。

它们表示模型在各个类别上的得分或分数通常是一个向量。

在多分类问题中每个类别都对应一个logit。

Soft

Logits软logits类似于软标签软logits是模型在各个类别上的得分但这些得分并没有经过softmax激活函数。

它们可以用于一些特殊的训练技术如生成对抗网络GANs中的生成器输出。

Hard

Targets硬目标指训练模型时使用的真实标签也就是真实的类别标签。

在监督学习中通常使用硬目标来计算损失函数以便训练模型。

Soft

Targets软目标是指在训练过程中使用的类似于软标签的概率分布但用于指导模型的训练是教师模型的预测结果。

常见的用例是知识蒸馏其中一个复杂模型教师模型的软目标被用于训练一个简化模型学生模型。

硬标签每张图像都被分配一个明确的类别比如猫或狗。

软标签每张图像的标签是一个包含猫类别概率和狗类别概率的分布如[0.7,

0.3]表示模型更有信心这是一只猫但也有一些可能是狗。

Logits模型在猫和狗类别上的原始得分可能是[2.5,

1.8]表示模型认为这张图更可能是猫。

软logits模型在猫和狗类别上的未经过softmax激活函数的得分可能是[5.2,

2.7]表示猫类别得分更高但没有归一化。

硬目标训练时使用的真实标签例如这张图是一只猫。

软目标在知识蒸馏中可能使用从一个复杂模型得到的软标签以便训练另一个模型。

文献来源Are