中文分词技术研究

分词算法一般有三类：基于字符串匹配、基于语义分析、基于统计。复杂的分词程序会将各种算法结合起来以便提高准确率。Lucene被很多公司用来提供站内搜索，但是Lucene本身并没有支持中文分词的组件，只是在Sandbox里面有两个组件支持中文分词：ChineseAnalyzer和CJKAnalyzer。ChineseAnalyzer 采取一个字符一个字符切分的方法，例如"我想去北京天安门广场"用ChineseAnalyzer分词后结果为：我#想#去#北#京#天#安#门#广#场。CJKAnalyzer 则是二元分词法，即将相邻的两个字当成一个词，同样前面那句用CJKAnalyzer 分词之后结果为：我想#想去#去北#北京#京天#天安#安门#门广#广场。

这两种分词方法都不支持中文和英文及数字混合的文本分词，例如：IBM T60HKU现在只要11000元就可以买到。用上述两种分词方法建立索引，不管是搜索IBM还是11000都是没办法搜索到的。另外，假如我们使用"服务器"作为关键字进行搜索时，只要文档包含"服务"和"器"就会出现在搜索结果中，但这显然是错误的。因此，ChineseAnalyzer和CJKAnalyzer虽然能够简单实现中文的分词，但是在应用中仍然会感觉到诸多不便。基于字符串匹配的分词算法用得很多的是正向最大匹配和逆向最大匹配。其实这两种算法是大同小异的，只不过扫描的方向不同而已，但是逆向匹配的准确率会稍微高一些。"我想去北京天安门广场"这句使用最大正向分词匹配分词结果：我#想去#北京#天安门广场。这样分显然比ChineseAnalyzer和CJKAnalyzer来得准确，但是正向最大匹配是基于词典的，因此不同的词典对分词结果影响很大，比如有的词典里面会认为"北京天安门"是一个词，那么上面那句的分词结果则是：我#想去#北京天安门#广场。

如果用"广场"作为关键字进行检索，那么使用后一个词典分出来的便可检索到，而使用前一个的则不行，而事实上应该是不管搜索北京天安门、天安门广场、天安门、广场都能检索到这篇文档。使用全切分可以实现这个想法，同样是那句使用正向全切分分词结果为：我#想去#北京天安门#北京#天安门#天安门广场#广场，这样不管用"北京天安门"、"天安门广场"、"天安门"、"广场"中的哪一个作为关键字搜索都可以搜索到。采取这种分法会在一定程度上提高分词的准确率，但也会出现问题，例如"我要在上海南站上车"这句采用正向全切分结果为：我#要在#上海#海南#南站，分出海南这个词显然是错误的，这属于交叉歧义。

正如前面所说，基于字符串匹配的分词算法都是依赖于词典的，但是不管再

怎么大的词典也未必能完全收录所有词汇，况且不断的有新词出现，还有就是人名的识别，因此分词程序如果能够识别出一些词典中所没有的新词的话，有助于提高分词的准确率。最简单的识别新词的方法可以基于统计，一般来说如果两个字不断重复的出现在一起那么他们组成一个词的频率就比较大。基于单字共现的统计方法计算两个汉字A和B（也可能是三个或更多）的相邻共现概率，当这种概率值大于一定的阀值时，我们就认为这两个字可以组词。经常被用来做新词识别的统计理论有：N - 元模型、后缀数组等。

在《“全文检索(full-text search)”和“搜索引擎(search engine)”的区别和联系》中我们提及到了中文分词，以及《双数组Trie(Double Array Trie)实现原理的一点剖析》中阐述了高效率中文分词的实现。接下来让我们抛开双数组Trie的那些公式，从概念上来了解一下分词技术，因为英文分词相对比较简单，这里主要来了解的是中文分词。

英文是以词为单位的，词与词之间上靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，翻译成“我是一个学生”。计算机可以很简单的通过空格知道student是一个单词，但是“学”，“生”假如分开来，计算机是无法理解的。必须把他们合在一起才变得有意义。把中文的汉字序列切分成有意义的词，就是中文分词。再比如“研究生命”，可以划分为“研究生/命”，也可以是“研究/生命”，假如是人脑可以很明显的判断出这里后者的划分更加的确切，但是计算机要做到这一点却是相当的困难。

现有的分词算法有3种：基于字符串匹配的分词算法、基于理解的分词算法和基于统计的分词算法。何为分词？中文分词与其他的分词又有什么不同呢？分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在上面的例子中我们就可以看出，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段可以通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，但是在词这一层上，上面的例子中我们也可以看出，中文比之英文要复杂的多、困难的多。要想说清楚中文分词的意义和作用，就要提到智能计算技术。智能计算技术涉及的学科包括物理学、数学、计算机科学、电子机械、通讯、生理学、进化理论和心理学等等。简单的说，智能计算就是让机器“能看会想，能听会讲”，让计算机像人类一样可以快速

判断出“研究生命”这样短语的切分。要想实现这样的一个目标，首先就要让机器理解人类的语言，只有机器理解了人类的语言文字，才使得人与机器的交流成为可能。再反观我们人类的语言中，“词是最小的能够独立活动的有意义的语言成分”，所以对于中文来讲，将词确定下来是理解自然语言的第一步，只有跨越了这一步，中文才能象英文那样过渡到短语划分、概念抽取以及主题分析，以至于自然语言理解，最终达到智能计算的最高境界，实现人类的梦想。

目前我们常用的Google,Baidu，Yahoo这些主流的搜索引擎，还都是基于关键字(Keyword)来匹配结果的，不过可喜的是，已经有很多公司投入了大量的资金进行着自然语言检索的方式来进行查询，随着研究的进行，计算机可以理解人类的语言从而实现真正意义上的人机对话，那也将不再是遥不可及的而变得指日可待了。从现阶段的实际情况来看，英文已经跨越了分词这一步，也就是说在词的利用上已经先我们一步，并且已经展现了良好的应用前景，无论是信息检索还是主题分析的研究都要强于中文，究其根本原因就是中文要通过分词这道难关，只有攻破了这道难关，我们才有希望赶上并超过英文在信息领域的发展，所以中文分词对我们来说意义重大，可以说直接影响到使用中文的每一个人的方方面面。

中文分词主要应用于信息检索、人机交互、信息提取、文本挖掘、中外文对译、中文校对、自动摘要、自动分类等很多方面。下面就以信息检索为例来说明中文分词的应用。通过近几年的发展，互联网已经离我们不再遥远。互联网上的信息也在急剧膨胀，在这海量的信息中，各类信息混杂在一起，要想充分利用这些信息资源就要对它们进行整理，如果由人来做这项工作，已经是不可能的，而如果面对中文信息不采用分词技术，那么整理的结果就过于粗糙，而导致资源的不可用，例如一个我们常见的比较经典的例子：“制造业和服务业是两个不同的行业”和“我们出口日本的和服比去年有所增长”中都有“和服”，而被当作同一类来处理，结果是检索“和服”的相关信息，会将他们都检索到，在信息量少的情况下，似乎还能够忍受，如果是海量信息，这样的结果就会令人讨厌了。通过引入分词技术，就可以使机器对海量信息的整理更准确更合理，在“制造业和服务业是两个不同的行业”中“和服”不会被当做一个词来处理，那么检索“和服”当然不会将它检索到，使得检索结果更准确，效率也会大幅度的提高。