语言模型Language

ModelLM也称统计语言模型是描述自然语言概率分布的模型是一个非常基础和重要的自然语言处理任务。

利用语言模型可以计算一个词序列或一句话的概率也可以在给定上文的条件下对接下来可能出现的词进行概率分布的估计。

同时语言模型是一项天然的预训练任务在基于预训练模型的自然语言处理方法中起到非常重要的作用因此这种预训练模型有时也被称为预训练语言模型。

本文将主要介绍经典的N元语言模型N-gram

Language

wt​的历史。

例如对于历史“我喜欢”希望得到下一个词为“读书”的概率即

我喜欢

P(读书∣我喜欢)。

在给定一个语料库时该条件概率可以理解为当语料中出现“我喜欢”时有多少次下一个词为“读书”然后通过最大似然估计进行计算

我喜欢

C(⋅)表示相应词序列在语料库中出现的次数也称为频次。

通过以上的条件概率可以进一步计算一个句子出现的概率即相应单词序列的联合概率

P(w_1,

l为序列的长度。

可以利用链式法则对该式进行分解从而将其转化为条件概率的计算问题即

P(w_1,

w_l)\prod_{i1}^l{P(w_i|w_1w_2\cdots

w_{i-1})}

P(w1​,w2​,⋯,wl​)i1∏l​P(wi​∣w1​w2​⋯wi−1​)

w_i|w_1w_2\cdots

wi​∣w1​w2​⋯wi−1​出现的次数会越来越少甚至从未出现过那么

P(w_i|w_1w_2\cdots

P(wi​∣w1​w2​⋯wi−1​)则很可能为0此时对于概率估计就没有意义了。

为了解决该问题可以假设“下一个词出现的概率只依赖于它前面

n−1

P(wt​∣w1​w2​⋯wt−1​)≈P(wt​∣wt−n1​wt−n2​⋯wt−1​)

Assumption。

满足这种假设的模型被称为N元语法或N元文法N-gram模型。

特别地当

N1时下一个词的出现独立于其历史相应的一元语法通常记作unigram。

当

N2时下一个词只依赖于前1个词对应的二元语法记作bigram。

二元语法模型也被称为一阶马尔可夫链Markov

N3也被称为二阶马尔可夫假设相应的三元语法记作trigram。

N的取值越大考虑的历史越完整。

在unigram模型中由于词与词之间相互独立因此它是与语序无关的。

以bigram模型为例上式可转换为

P(w_1,

w_l)\prod_{i1}^l{P(w_i|w_{i-1})}

P(w1​,w2​,⋯,wl​)i1∏l​P(wi​∣wi−1​)

P(w_i|w_{i-1})

w0​BOS。

同时也可以在句子的结尾增加一个句尾标记“EOS”End

Sentence设

n比较大或者测试句子中含有未登录词Out-Of-VocabularyOOV时仍然会出现“零概率”问题。

由于数据的稀疏性训练数据很难覆盖测试数据中所有可能出现的N-gram但这并不意味着这些N-gram出现的概率为0。

为了避免该问题需要使用平滑Smoothing技术调整概率估计的结果。

本文将介绍一种最基本也最简单的平滑算法——折扣法。

折扣法Discounting平滑的基本思想是“损有余而补不足”即从频繁出现的N-gram中匀出一部分概率并分配给低频次含零频次的N-gram从而使得整体概率分布趋于均匀。

加一平滑Add-one

Discounting是一种典型的折扣法也被称为拉普拉斯平滑Laplace

Smoothing它假设所有N-gram的频次比实际出现的频次多一次。

例如对于unigram模型来说平滑之后的概率可由以下公式计算

P(w_l)\frac{C(w_i)

P(wl​)∑w​(C(w)1)C(wi​)1​N∣V∣C(wi​)1​

在实际应用中尤其当训练数据较小时加一平滑将对低频次或零频次事件给出过高的概率估计。

一种自然的扩展是加

\delta

P(w_i|w_{i-1})\frac{C(w_{i-1}w_i)\delta}{\sum_w(C(w_{i-1}w_i)\delta)}\frac{C(w_{i-1}w_i)\delta}{C(w_{i-1})\delta|V|}

P(wi​∣wi−1​)∑w​(C(wi−1​wi​)δ)C(wi−1​wi​)δ​C(wi−1​)δ∣V∣C(wi−1​wi​)δ​

关于超参数

δ取值下的语言模型进行评价最终将最优的δ用于测试集。

由于引入了马尔可夫假设导致N元语言模型无法对长度超过N

扩大又会带来更严重的数据稀疏问题同时还会急剧增加模型的参数量N-gram数目为存储和计算都带来极大的挑战。

5.1节将要介绍的神经网络语言模型可以较好地解决N元语言模型的这些缺陷。

语言模型性能评价

衡量一个语言模型好坏的一种方法是将其应用于具体的外部任务如机器翻译并根据该任务上指标的高低对语言模型进行评价。

这种方法也被称为“外部任务评价”是最接近实际应用需求的一种评价方法。

但是这种方式的计算代价较高实现的难度也较大。

因此目前最为常用的是基于困惑度PerplexityPPL的“内部评价”方式。

为了进行内部评价首先将数据划分为不相交的两个集合分别称为训练集

train

Dtrain用于估计语言模型的参数。

由该模型计算出的测试集的概率

test

Dtestw1​w2​⋯wN​每个句子的开始和结束分布增加BOS与EOS标记那么测试集的概率为

test

P(Dtest)​P(w1​w2​⋯wN​)i1∏N​P(wi​∣w1​w2​⋯wi−1​)​

PPL

\text{PPL}(D^{\text{test}})(\prod_{i1}^NP(w_i|w_1w_2\cdots

PPL(Dtest)(i1∏N​P(wi​∣w1​w2​⋯wi−1​)−N1​

对于bigram模型而言

\text{PPL}(D^{\text{test}})(\prod_{i1}^NP(w_i|w_{i-1})^{-\frac{1}{N}}

PPL(Dtest)(i1∏N​P(wi​∣wi−1​)−N1​

在实际计算过程中考虑到多个概率的连乘可能带来浮点数下溢的问题通常需要将上式转化为对数和的形式

PPL

\text{PPL}(D^{\text{test}})2^{-\frac{1}{N}\sum_{i1}^N\log_2P(w_i|w_{i-1})}

PPL(Dtest)2−N1​∑i1N​log2​P(wi​∣wi−1​)

困惑度越小意味着单词序列的概率越大也意味着模型能够更好地解释测试集中的数据。

需要注意的是困惑度越低的语言模型并不总是能在外部任务上取得更好的性能指标但是两者之间通常呈现出一定的正相关性。

因此困惑度可以作为一种快速评价语言模型性能的指标而在将其应用于下游任务时仍然需要根据其在具体任务上的表现进行评价。

参考文献