。

OpenAI的ChatGPT及其后续产品在全球范围内引起了广泛关注#xff0c;展示了大型语言模型#xff08;LLM一种新型的通用语言模型预训练方法

随着人工智能技术的不断进步自然语言处理NLP领域也迎来了革命性的发展。

OpenAI的ChatGPT及其后续产品在全球范围内引起了广泛关注展示了大型语言模型LLM的强大能力。

在这一背景下GLMGeneral

Language

Model作为一种创新的预训练语言模型以其独特的自编码和自回归结合的训练方法为NLP领域带来了新的视角。

GLM模型结合了自编码和自回归两种预训练方法的优点通过随机MASK输入中连续跨度的token并使用自回归空白填充的方法重新构建这些跨度中的内容。

此外GLM还采用了二维编码技术以更好地表示跨间和跨内的信息。

这种独特的结合使得GLM在处理多种NLP任务时都能展现出优异的性能。

预训练目标自回归空白填充

GLM的预训练目标是通过自回归空白填充来优化的。

具体来说给定一个输入文本模型会从中采样多个文本片段并将这些片段用[MASK]符号替换形成一个损坏的文本。

模型随后以自回归的方式从损坏的文本中预测缺失的词。

为了捕捉不同片段之间的相互依赖关系GLM会随机打乱片段的顺序类似于排列语言模型。

架构与实现

GLM的架构设计巧妙地结合了双向编码器和单向解码器。

在模型的输入部分文本被分为两部分Part

A和Part

B中的后续词。

这种设计使得模型能够在统一的框架内同时学习双向和单向的注意力机制。

GLM预训练方法分析

中预测缺失的词。

这意味着在预测一个片段中的缺失词时模型可以访问损坏的文本和之前已经预测的片段。

打乱顺序为了充分捕捉不同片段之间的相互依赖关系模型随机打乱片段的顺序类似于排列语言模型。

排列集合令

Z_m

通过自回归空白填充目标进行优化这是一种结合了自编码和自回归特性的创新方法。

下面是对这一过程的详细分析

输入文本处理

中预测缺失的词。

这意味着在预测一个片段中的缺失词时模型可以访问损坏的文本和之前已经预测的片段。

为了充分捕捉不同片段之间的相互依赖关系模型随机打乱片段的顺序类似于排列语言模型。

$$令

预训练目标函数可以表示为最大化期望即最大化模型在所有可能的片段排列下预测缺失词的对数概率之和。

数学表达式为

max

\bm{s}_i|\bm{x}_{\text{corrupt}},\bm{s}_{z_{i}}

\right)

s_{i,j}|\bm{x}_{\text{corrupt}},\bm{s}_{z_{i}},\bm{s}_{i,j}

\right)

pθ​(si​∣xcorrupt​,szi​​)j1∏li​​p(si,j​∣xcorrupt​,szi​​,si,j​)(2)

\bm{x}

进行填充分别用于输入和输出。

这样模型就自动地在一个统一的模型中学习了一个双向编码器用于

Part

B的顺序打乱以捕捉跨度之间的内在联系。

这种随机交换跨度顺序的做法有助于模型学习到更丰富的上下文信息。

[S]

为了更好地表示不同片段之间以及片段内部的位置关系GLM引入了二维位置编码。

这种编码方式使得模型能够更精确地理解文本的结构和语义。

在自注意力机制中使用了特定的掩码策略。

灰色区域表示被掩盖的部分。

Part

A的词语可以相互看到如图2(d)中的蓝色框所示但不能看到Part

A和Part

B中位于它们之前的词语如图2(d)中的黄色和绿色框所示分别对应两个不同的片段。

这种设计确保了模型在生成文本时能够考虑到正确的上下文信息。

通过这种方式GLM模型不仅能够学习到文本中的上下文信息还能够捕捉到不同文本片段之间的复杂依赖关系从而在多种NLP任务中展现出优异的性能。

这种结合了自编码和自回归特性的预训练方法为语言模型的预训练提供了新的思路和方法。

GLM模型架构与微调方法分析

GLM采用了一个单一的Transformer架构并对其进行了一些关键的修改

层归一化和残差连接的重新排列这种调整对于避免大规模语言模型中的数值错误至关重要。

单一的线性层用于输出词预测简化了输出层提高了模型的预测效率。

GeLU激活函数替换ReLUGeLUGaussian

Error

GLM引入了二维位置编码以更好地处理自回归空白填充任务中的位置信息。

每个词使用两个位置ID进行编码

第一个位置ID表示词在损坏文本

这种编码方法确保模型在重建被遮盖的跨度时不知道其长度与其他模型如XLNet和SpanBERT相比这是一个显著的区别。

微调GLM

GLM将自然语言理解NLU分类任务重新制定为填空生成任务遵循PETPattern

Exploiting

Training方法。

例如情感分类任务可以被表述为“{SENTENCE}。

这真的是

[MASK]”。

标签如“positive”和“negative”分别映射到单词“good”和“bad”。

文本生成任务

对于文本生成任务GLM可以直接应用预训练模型进行无条件生成或者在条件生成任务上进行微调。

给定的上下文构成了输入的Part

通过这些创新的方法和架构调整GLM在处理各种自然语言处理任务时展现出了卓越的性能和灵活性。

应用与展望

GLM模型的出现不仅为NLP领域提供了新的研究方向也为实际应用带来了新的可能性。

无论是在文本分类、翻译、问答还是文本生成等任务中GLM都展现出了其独特的优势。

随着模型的进一步优化和应用场景的拓展GLM有望在未来的AI领域中扮演更加重要的角色。

总之GLM作为一种结合了自编码和自回归优点的预训练语言模型为NLP领域带来了新的活力。

通过其独特的预训练方法和架构设计GLM在多个NLP任务中都展现出了卓越的性能预示着其在未来的广阔应用前景。