1.切分算法

词典确定后句子可能含有很多词典中的词语他们有可能互相重叠如何切分需要一些规则。

常用规则为正向匹配算法、逆向匹配算法以及双向匹配算法。

但他们都是基于完全切分过程。

2.完全切分

完全切分指的是找出一段文本中的所有单词。

朴素的完全切分算法其实非常简单只要遍历文本中的连续序列查询该序列是否在词典中即可。

定义词典为dic,文本为text,当前的处理位置为i,完全切分的python算法如下

def

如果在词典中则认为是一个词word_list.append(word)return

word_listif

load_dictionary()print(fully_segment(商品和服务,

dic))运行结果

输出了所有可能的单词。

由于词库中含有单字所以结果中也出现了一些单字。

3.正向最长匹配

完全切分的结果比较没有意义我们更需要那种有意义的词语序列而不是所有出现在词典中的单词所构成的链表。

所以需要完善一下处理规则考虑到越长的单词表达的意义越丰富于是我们定义单词越长优先级越高。

具体说来就是在以某个下标为起点递增查词的过程中优先输出更长的单词这种规则被称为最长匹配算法。

扫描顺序从前往后则称为正向最长匹配反之则为逆向最长匹配。

def

则更优先输出word_list.append(longest_word)

输出最长词i

load_dictionary()print(forward_segment(就读北京大学,

dic))print(forward_segment(研究生命起源,

dic))

第二句话就会产生误差了我们是需要把“研究”提取出来结果按照正向最长匹配算法就提取出了“研究生”所以人们就想出了逆向最长匹配。

4.逆向最长匹配

第一句正确了但下一句又出错了可谓拆东墙补西墙。

另一些人提出综合两种规则期待它们取长补短称为双向最长匹配。

5.双向最长匹配

统计显示正向匹配错误而逆向匹配正确的句子占9.24%。

双向最长匹配规则集流程如下

1同时执行正向和逆向最长匹配若两者的词数不同则返回词数更少的那一个。

2否则返回两者中单字更少的那一个。

当单字数也相同时优先返回逆向最长匹配的结果。

def

都相等时逆向匹配优先级更高print(bidirectional_segment(研究生命起源,

dic))

print(bidirectional_segment(项目的研究,

dic))

比较之后发现双向最长匹配在2、3、5这3种情况下选择出了最好的结果但在4号句子上选择了错误的结果使得最终正确率3/6反而小于逆向最长匹配的4/6。

由此规则系统的脆弱可见一斑。

规则集的维护有时是拆东墙补西墙有时是帮倒忙。

6.速度评测

词典分词的规则没有技术含量消除歧义的效果不好。

词典分词的核心价值不在于精度而在于速度。

Python的运行速度比Java慢效率只有Java的一半不到正向匹配与逆向匹配的速度差不多是双向的两倍。

因为双向做了两倍的工作Java实现的正向匹配比逆向匹配快