一种基于词典的中文分词法的设计与实现

一种基于词典的中文分词法的设计与实

现

摘要：中文分词就是把没有明显分隔标志的中文字串切分为词串，它是其他中文信息处理的基础，广泛应用于搜索引擎、自动翻译、语音合成、自动分类、自动摘要、自动校对等领域。就中文分词的基本方法作了简单阐述，并介绍了一种基于词典采用最大匹配法实现中文分词的方法。

关键词：中文分词；词库索引；正向最大匹配法

1 中文分词

中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是分词算法。

1.1中文分词方法的种类

中文自动分词方法有多种，一般来说大致可归结为以下三大类：基于词典的分词方法、基于统计的分词方法、基于规则和基于统计相结合的分词方法[2]。1.1.1基于词典的分词方法。基于词典的分词方法，又叫做基于字符串匹配的分词方法。其基本思想是：事先建立词库，其中包含所有可能出现的词。对于给定的待分词的汉子串Str，按照某种确定的原则切取Str 的子串，若该子串与词库中的某词条相匹配，则该子串是就是词，继续分割其余的部分，直到剩余部分为空；否则，该子串不是词，转到上面重新切取Str的子串进行匹配。1.1.2基于统计的分词方法。基于词典分词方法要借助词典来进行，而中文的构词非常灵活，词的数目几乎是无限的，因此要构造完备的词典几乎是不可能的。鉴于上述分词方法存在的这些缺点，一种基于统计的分词方法应运而生。这种方法撇开词典，根据字串出现的频率来判断这个字串是否是词。该方法对于大的语料，分全率还可以，但是对于小的语料分全率就比较低。该方法的另一个缺点就是不够准确，有些经常一起出现的单字构成的字串其实不是词。但是由于出现的频率很高，就被分出来当作词处理了，而且这样的“词”还非常多, 例如“这一”、“之一”、“有的”、“我的”、“许多的”等。实际应用的统计分词系统都要使用一部基本的分词词典进行串匹配分词，同时使用统计方法识别一些新的词，即将串频统计和串匹配结合起来，既发挥匹配分词切分速度快、效率高的特点，又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。1.1.3基于规则和基于统计相结合的分词方法。该方法首先运用最大匹配作初步切分，然后对切分的边界处进行歧义探测，发现歧义，最后运用统计和规则相结合的方法来判断正确的切分[4]。运用不同的规则解决人名、地名、机构名识别，运用词法结构规则来生成复合词和衍生词。日前这种方法可以解决汉语中最常见的歧义类型：单字交集型歧义。并对人名、地名、机构名、后缀、动词/形容词重叠、衍生词等词法结构进行识别处理，基本解决了分词所面临的最关键的问题。若词典结构和算法设计优秀，分词速度将非常快。

1.2分词中的难题

有了成熟的分词算法，是否就能容易的解决中文分词的问题呢？事实远非如此。中文是一种十分复杂的语言，让计算机理解中文语言更是困难。在中文分词过程中，有两大难题一直没有完全突破。1.2.1歧义识别。歧义是指同样的一句话，可能有两种或者更多的切分方法。例如：“表面的”，因为“表面”和“面的”都是词，那么这个短语就可以分成“表面的”和“表面的”，这种称为交叉歧义，像这种交叉歧义十分常见。“化妆和服装”可以分成“化妆和服装”或者“化妆和服装”。由于没有人的知识去理解，计算机很难知道到底哪个方案正确。交叉歧义

相对组合歧义来说是还算比较容易处理，组合歧义就必需根据整个句子来判断了。例如，在句子“这个门把手坏了”中，“把手”是个词，但在句子“请把手拿开”中，“把手”就不是一个词；在句子“将军任命了一名中将”中，“中将”是个词，但在句子“产量三年中将增长两倍”中，“中将”就不再是词。这些词计算机又如何去识别?如果交叉歧义和组合歧义计算机都能解决的话，在歧义中还有一个难题，是真歧义。真歧义意思是给出一句话，由人去判断也不知道哪个应该是词，哪个应该不是词。例如：“羽毛球拍卖完了”，可以切分成“羽毛球拍卖完了”、也可切分成“羽毛球拍卖完了”，如果没有上下文其他的句子，恐怕谁也不知道“拍卖”在这里算不算一个词。

1.2.2新词识别。新词，专业术语称为未登录词。也就是那些在字典中都没有收录过，但又确实能称为词的那些词。最典型的是人名，人可以很容易理解句子“刘雷虎去广州了”中，“刘雷虎”是个词，因为是一个人的名字，但要是让计算机去识别就困难了。如果把“刘雷虎”做为一个词收录到字典中去，全世界有那么多名字，而且每时每刻都有新增的人名，收录这些人名本身就是一项巨大的工程。即使这项工作可以完成，还是会存在问题，例如：在句子“刘雷虎头虎脑的”中，“刘雷虎”还能不能算词？

新词中除了人名以外，还有机构名、地名、产品名、商标名、简称、省略语等都是很难处理的问题，而且这些又正好是人们经常使用的词，特别是对搜索引擎来说，分词系统中的新词识别十分重要。目前新词识别准确率已经成为评价一个分词系统好坏的重要标志之一。 2 基于词典的正向最大匹配中文分词法设计与实现

2.1算法设计

最大正向匹配法（Maximum Mathching Method）通常简称为ＭＭ法。其基本思想为：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理…… 如此进行下去，直到匹配成功，即切分出一个词或剩余字串的长度为零为止。这样就完成了一轮匹配，然后取下一个i字字串进行匹配处理，直到文档被扫描完为止。其算法描述如下：2.1.1初始化当前位置计数器，置为0；2.1.2从当前计数器开始，取前2i个字符（一个汉字两个字符）作为匹配字段，直到文档结束；2.1.3如果匹配字段长度为0，则当匹配字段的最后一个字符为汉字字符时，当前位置计数器的值加2，否则当前位置计数器的值加1，跳转到步骤2.1.2；如果匹配字段长度不为0，则查找词典中与之等长的作匹配处理。

如果匹配成功，则：a.把这个匹配字段作为一个词切分出来，放入分词统计表中；b.把当前位置计数器的值加上匹配字段的长度；c.跳转到步骤2.1.2。

否则：a.如果匹配字段的最后一个字符为汉字字符，则把匹配字段的最后一个字去掉，匹配字段长度减2，跳转至步骤2.1.3；b.如果匹配字段的最后一个字符为西文字符，则把匹配字段的最后一个字节去掉，匹配字段长度减1，跳转至步骤2.1.3。

2.2词库组织

由于采用的是基于词典匹配的分词方法，因而词库是分词系统的基础。整个分词过程实际上就是在词典上的查找匹配的过程，因而词库的组织相当重要。假设词典存放在一个文本文件里，每一个词条由两项组成，一个是词的wordID、另一个是词本身。那么可以在词典上加上静态索引，进行分组管理并在上面添加三级索引[1]。首先对词条按字数分组，字数相同的词条放在同一组里，并对词典按首汉字的内码从小到大排序。一级索引是加在各个分组上，一级索引记录了各分组的开始位置，再根据下一分组的起始位置可以确定当前分组的终止位置。二级索引是加在一级索引内部的，在同一组内部由于有很多的词条，二级索引是按词的首汉字内码建立的，它加在以不同汉字开头的词条组中，这样通过二级索引可以进一步