关于现代中文分词技术的综述

《信息组织》

论文大纲

题目: 汉语分词技术论述

姓名:

班级: 信管0901

学号: 4203090137

2012 年4月12 日

目录

摘要 (2)

关键词 (2)

Abstract (2)

Key words (2)

引言（或绪论） (2)

1汉语分词技术 (2)

2分词的必要性 (2)

3中文分词技术的分类 (2)

3.1逐词遍历法 (2)

3.2机械分词法 (3)

3.3全切分和基于词的频度统计的分词方法 (4)

3.4基于知识理解的分词方法 (4)

3.5一种新的分词方法 (4)

4 汉语分词技术的方法 (5)

5分词的主要算法 (5)

5.1基于规则的分词算法 (5)

5.2基于统计的分词算法 (6)

5.3统计和规则相结合的方法 (6)

5.4基于字标注的分词系统在Bakeoff-2005上崭露头角 (6)

6中文分词中的困难 (7)

6.1没有明确的定义 (7)

6.2切分歧义影响分词系统切分正确率 (7)

6.3未登陆词增多 (7)

6.4停用次的处理 (7)

7结束语 (7)

参考文献 (7)

表1 检索提问在百度和谷歌中的分词情况 (8)

汉语分词技术综述

摘要：分词是中文信息处理的基础，在汉语文本分类、文献标引、职能检索、自然语言理解与处理等应用中，首先都要对中文文本进行分词处理。从分词的基础理论出发，对近年来的汉语分词的研究方法与成果进行了综合论述，分析了现有分词方法的特点，提出了把神经网络和专家系统结合起来建立集成式汉语自动分词系统的构想。

关键词：中文分词，方法，基于字标注，未登录词

引言：随着因特网上信息给人们带来方便的同时，也存在信息查找不便、不良信息过多等弊端，信息过滤技术应运而生。信息过滤就是根据用户的信息需求，利用一定的工具从大规模的动态信息流中自动筛选出满足用户需求的信息，同时屏蔽掉无用信息的过程。目前很多信息过滤系统的设计都是基于内容的过滤，即查找信息文本中是否含有特征词库中设置的关键词。这种设计思想符合人们正常的思维习惯，比较容易实现。但是在实际应用中，特别是在处理中文信息的时候由于缺乏中文策略，处理结果很难让人满意。因此，进行中文信息过滤，首先就要对文本预处理，进行中文分词，将其表示成可计算和推理的模型。中文分词是中文文本过滤的首要基础性工作、难点问题，也是自然语言信息处理中最基本的一步。

一、中文分词技术

将连续的字序列按照一定的规范重新组合成词序列的过程被称为分词；中文分词就是把中文的汉字序列分成有意义的词。分词只是中文信息处理的一部分，分词本身并不是目的，而是后续处理过程的必要阶段，是中文信息处理的基础技术。

二、中文分词的必要性

如何让计算机更好地读懂人类的语言，理解人类的思想，更好地让用户快速方便地搜索到自己所需要的资源，中文分词技术的产生是中文搜索质量提高的至关重要的因素。众所周知，中文文本与英文文本的表示方法有所不同，英文文本中词与词中间都由空格或标点符号隔开，因而词与词之间的界限很明显，可以很容易地获取关键词，而中文文本中词与词则无明显的界限，这就影响了关键词的获取和匹配。

三、中文分词技术的分类

我们讨论的分词算法可分为三大类：基于字典、词库匹配的分词方法；基于词频度统计的分词方法和基于知识理解的分词方法。

第一类方法应用词典匹配、汉语词法或其它汉语语言知识进行分词，如：最大匹配法、最小分词方法等。这类方法简单、分词效率较高,但汉语语言现象复杂丰富，词典的完备性、规则的一致性等问题使其难以适应开放的大规模文本的分词处理。第二类基于统计的分词方法则基于字和词的统计信息，如把相邻字间的信息、词频及相应的共现信息等应用于分词，由于这些信息是通过调查真实语料而取得的，因而基于统计的分词方法具有较好的实用性。

下面简要介绍几种常用方法:

3.1逐词遍历法

逐词遍历法将词典中的所有词按由长到短的顺序在文章中逐字搜索,直至文章结束。也就是说,不管文章有多短,词典有多大,都要将词典遍历一遍。这种方法效率比较低，大一点的系统一般都不使用。

3.2基于字典、词库匹配的分词方法（机械分词法）

这种方法按照一定策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功。识别出一个词，根据扫描方向的不同分为正向匹配和逆向匹配。根据不同长度优先匹配的情况，分为最大（最长）匹配和最小（最短）匹配。根据与词性标注过程是否相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的方法如下：

（一）最大正向匹配法 (ＭａｘｉｍｕｍＭａｔｃｈｉｎｇＭｅｔｈｏｄ)通常简称为ＭＭ法。其基本思想为：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理……如此进行下去，直到匹配成功，即切分出一个词或剩余字串的长度为零为止。这样就完成了一轮匹配，然后取下一个i字字串进行匹配处理，直到文档被扫描完为止。

其算法描述如下：

(1)初始化当前位置计数器，置为0；

(2)从当前计数器开始，取前2i个字符作为匹配字段，直到文档结束；

(3)如果匹配字段长度不为0，则查找词典中与之等长的作匹配处理。

如果匹配成功，

则，

a)把这个匹配字段作为一个词切分出来，放入分词统计表中；

b)把当前位置计数器的值加上匹配字段的长度；

c)跳转到步骤2);

否则

a) 如果匹配字段的最后一个字符为汉字字符，

则

①把匹配字段的最后一个字去掉；

②匹配字段长度减2；

否则

①把匹配字段的最后一个字节去掉；

②匹配字段长度减1；

b)跳转至步骤3）；

否则

a)如果匹配字段的最后一个字符为汉字字符，

则当前位置计数器的值加2；

否则当前位置计数器的值加1；

b)跳转到步骤2)。

（二）逆向最大匹配法 (ＲｅｖｅｒｓｅＭａｘｉｍｕｍＭａｔｃｉｎｇＭｅｔｈｏｄ)通常简称为ＲＭＭ法。ＲＭＭ法的基本原理与ＭＭ法相同 ,不同的是分词切分的方向与MM法相反，而且使用的分词辞典也不同。逆向最大匹配法从被处理文档的末端开始匹配扫描，每次取最末端的2i个字符（i字字串）作为匹配字段，若匹配失败，则去掉匹配字段最前面的一个字，继续匹配。相应地，它使用的分词词典是逆序词典，其中的每个词条都将按逆序方式存放。在实际处理时，先将文档进行倒排处理，生成逆序文档。然后，根据逆序词典，对逆序文档用正向最大匹配法处理即可。

由于汉语中偏正结构较多，若从后向前匹配，可以适当提高精确度。所以，逆向最大匹配法比正向最大匹配法的误差要小。统计结果表明 ,单纯使用正向最大匹配的错误