中文分词技术在搜索引擎中的应用研究

n
n
n
式 中： 汉 字 串 X、Y 和 XY 出 现 的 次 数 分 别 计 为 n(X)、
n(Y)、n(XY)，汉字串总长度为 n。
互信息用于定量估计两个汉字间的结合力：互信程度就会越低。同时还提供
了两个相连汉字的断连判别规则：互信息高于某一阈值，则连，
否则断。互信息分词的优点是可以从已有的大量实例中进行归纳
基于理解的分词方法是通过机器智能模拟人对内容的理解
来实现识别，其主要思想是：在分词的同时，进行语义、句法
的分析，利用语义和句法信息来进行歧义现象的处理。该分词
方法需要使用许多的语言知识信息，由于中文的语言知识及语
言规则过于复杂，难以把各种信息组织成方便机器直接读取的
关键词：中文分词技术 词汇构成 字符串匹配 文章编号：ISSN2095-6711/Z01-2017-05-0217
在对汉字信息进行处理时，由于汉字词汇构成的特殊性， 不能像英文一样，可以用空格来分隔单词，所以怎么把一整段 的汉字进行切分，形成一个个独立的词语，是中文信息处理上 的一个难点。中文的分词技术目前在应用上可以分为三个类型： 基于字符串匹配的分词技术、基于统计的分词技术和基于理解 的分词技术。
总结，分析语言内在的关联信息，并将其加入到统计模型中。
2．t 测试
对有序的汉字串 xyz 来说，字符 Y 相对应于 x 和 z 的 t 测试
的定义为： tx,z ( y)
P(z / y) P( y / x) 2 (P(z / y) 2 (P( y / x) （3）
式中： --y 关于 x 相应的条件概率； --z 关于 y 的相应条
一、基于字符串匹配分词 基于字符串匹配分词又称为机械分词型算法或基于词库的 分词算法，是按照预定的策略，将等待切分的汉字串与一个充 分大的机器词进行匹配。按照扫描的方向不同，则串匹配分词 分为逆向匹配和正向匹配；按照不同长度优先匹配可分为最大 ( 最长 ) 匹配和最小 ( 最短 ) 匹配；按照是否与词性标注过程相 结合，又可以分为单纯分词和分词与标注相结合的一体化。字 符串匹配分词需要分词词典的支持，具有效率高，算法简单的 特点，但难以排除机械切分产生的歧义，准确率较差。常用的 字符串匹配分词主要有如下几种。 1．正向最大匹配分词算法。该算法又称 MM 算法（Maximum Matching Method），优点是算法简单，不需要任何的词法、句法 和语义知识，没有复杂的数据结构。假设 Words 为词库，Max 表 示词库中最大词条的长度，Str 是等待切分的汉字串，MM 分词算 法思路：取 Str 中的前 Max 个汉字，作为匹配的字段，与 Words 中的对应词条进行匹配；如果词库内有这样的一个词组，那么就 匹配成功，词条被分离出来；反之，就去掉相应匹配字段的最末 一个字，再将余下的字符串，作为另一个的匹配字段进行匹配。 2．逆向最大匹配分词算法。逆向最大匹配分词算法可称 为 RMM 法，基本原理与 MM 算法是一样，不同的是分词扫描 的方向是从等待切分的汉字串尾端开始处理的。这种分词算法 对交集型的歧义字段上的处理效果要比最大正向匹配法更好。 RMM 算法的主要优点是实现简单且切分速度快，切分的准确率 与 MM 算法相比有明显的提高，然而它的缺点就是歧义现象不 能完全的排除。 3．双向匹配分词算法。双向匹配分词算法可称为 BM 法 (Bi-direction Matching Method)，它的基本原理是将将逆向最大匹 配方法和正向最大匹配方法结合起来，构成双向匹配方法，从 而使得切分的准确率得到进一不提高，还可消解一部分歧义现 象。但是由于该算法在执行过程中要做双向性扫描，所以会增 加时间复杂度，且分词词库一定要同时能够支持正向、逆向这 两种顺序的检索，在结构上比一般词库还要复杂很多。 二、基于统计的分词方法 基于统计的分词算法又称为无词库分词，算法认为词条是 最稳定的组合，相邻汉字在文本中同时出现的次数越多，越可 能构成一个词。因此字与字相邻共现的频率或概率能够较好的 反映成词的可信度，对语料中相邻共现的各个字的组合的频度
进行统计，计算它们的互现信息。根据词的频度来判断成词的
概率，能有效地识别新词，但时空开销大，效率有限。
另外，算法对常用词的识别精度较差。有学者对汉语中相
邻出现的所有汉字组合的概率进行统计，计算出两个字组成词
的概率，即两个汉字 X、Y 的能组成词的概率，成词概率体现
了汉字联系的紧密程度。如果这个程度值高于我们设定的某一
个阈值时，那么这样就可以认为这相邻的字可能会组成一个词。
但是也会出现一些共现频度较高、但又不是词的字组，如 “没
的”、“你的”、“很多的”等。目前对汉字间紧密程度进行
统计的模型有两种：互信息、T 测试。
1．互信息
对包含汉字 X 和 Y 的字符，X 和 Y 之间的互信息定义为：
I ( X ,Y )

log2
件概率； --z 关于 y 方差； --y 关于 x 方差。
当 t 测试 >0 时，字符 y 有与后面字符 z 相连接的趋势，值
越大，相连的趋势越强；
当 t 测试 =O 时，任何趋势都不反映；
当 t 测试 <0 时，字符 y 有与前向字符 x 相连的可能，值越小，
相连的可能越强。
三、基于理解的分词方法
P(X ,Y ) P(X )P(Y )
（1）
式中： -- 汉字 X 和 Y 的互信息； -- 汉字 X 和 Y 联合出 现的概率；-- 汉字 X 出现的概率；-- 汉字 Y 出现的概率。且有：
P( X ,Y ) n(XY ) , P(X ) n( X ) , P(Y ) n(Y ) （2）
·教育广角·
中文分词技术在搜索引擎中的应用研究
南昌理工学院 徐贵冰
摘 要：在对汉字信息进行处理时，由于汉字词汇构成的特殊性，不能像英文一样，可以用空格来分隔单词，所以 怎么把一整段的汉字进行切分，形成一个个独立的词语，是中文信息处理上的一个难点。中文的分词技术 目前在应用上可以分为三个类型：基于字符串匹配的分词技术、基于统计的分词技术和基于理解的分词技术。