基于Lucene的中文字典分词模块

Company name
2008年6月21日 年 月 日
致谢 在我的毕业设计即将完成之际，我 想感谢所有在毕设过程中帮助指导我的 老师和同学们。感谢程老师，在整个设 计过程中都给予了高度的关注和悉心的 指导。感谢各位答辩组的老师，感谢郭 师兄，还有我的同学孙琳，谢谢你们给 了我最无私的帮助，谢谢。
对结果的纠错功能实现过程
中文字典 不 存 在 查找
存 在
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
基于Lucene的中文字典分词模块的设计与实现 基于 的中文字典分词模块的设计与实现
5.新词识别 新词识别
获得位 置连续的 碎片 组
计算每 两个 相邻碎 片的 条件 概率
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
总结 2)对分词歧义进行了研究。实现了最大正向匹配算法，对 中文文本分词。为了提高分词的准确率，在最大正向匹配算 法的基础做了改进，对文本分别实现了正向和逆向的最大匹 配，然后对两种结果进行基于规则的选择，实验证明，这种 分词算法可显著提高分词准确率。 3)在识别新词的问题上，对分词产生的碎片进行概率上的 统计，以此来判断是否将其认为是未登录词。通过测试验 证，系统可识别大部分的中文人名，提高了系统的实用性。 4)针对中文文本中可能会出现英文词语的特点，系统对英 文文本也进行了相应的处理，保证了分词的全面性，提高 了系统的处理能力。
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
双字哈希词典机制
为了使分词系统在具有较高的分词效率的同 时，维护和更新词典也相对简单，本研究采用了 一种新的词典机制来建立词典——双字哈希词典 机制。。
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
Company name
LOGO
2008年6月21日 年 月 日
Company name
基于Lucene的中文字典分词模块 的设计与实现
LOGO
2008年6月21日 年 年月 日 2008年6月21日 月 日
基于Lucene的中文字典分词模块的设计与实现 基于 的中文字典分词模块的设计与实现
1.中文分词的研究背景及现状 1.中文分词的研究背景及现状 中文分词的研究 2.中文分词的研究内容和意义 2.中文分词的研究内容和意义 中文分词的研究 3.分词模块的设计与实现 3.分词模块的设计与实现 4.对本文工作的总结 4.对本文工作的总结
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
中文分词面临的问题
计算机难以正确理 解并分析中文文本
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
中文分词的研究内容
语言是一个开放集，它的词条始终是处于不断的增长中， 所以很难有一个完善的词典来描述它，可能这个词在今天 不是词，在将来就被认定为一个词了。这就告诉我们，词 典的完备性始终是我们研究中文分词必须考虑的一个问题。 汉语自然语言处理的应用系统处理对象越来越多的是大规 模语料，因此分词的速度和分词算法的易实现性变得相当 关键。 词典规模、词典查找速度、切分预处理方式、切分排 歧方式、未登录词处理、词性标注等方面在前人的基 础上做进一步的改善
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
基于Lucene的中文字典分词模块的设计与实现 基于 的中文字典分词模块的设计与实现
4 歧义识别 歧义识别——对结果的进一步处理 对结果的进一步处理
最大正向匹配算法 最大逆向匹配算法
Company name
2008年6月21日 日 年 月 6月21日 2008年 月 年 日
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
中文文本分词的一般过程
词典初始化 输入分词文本，对文本预处理 对文本进行初步的划分 消歧和未登陆词识别 保存结果
Company name
中文词典 更新词典
2008年6月21日 年 年月 日 2008年6月21日 月 日
Company name
2008年6月21日 年 月 日
总结 不过，此中文分词模块还存在一些固有的缺陷，如词 典结构的建立并未充分考虑到空间浪费的问题，对于碎片 的整理之后还应该添加权值计算和确定的功能，系统还未 实现向词典添加新词的功能，这些问题都有待进一步深入 研究后，再提出可行的方案进行完善。
与设定 的阈 值比较 大小 判断是 否为 词
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
新词识别
王军虎
计算碎片“虎”相对于“军” （“王军”）的条件概率 计算碎片“军”相对于 “王“的条件概率
碎片“ 碎片“虎”碎片“ Nhomakorabea片“军”
计算“王”在文本 中出现的概率 碎片“王” 碎片“
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
中文分词的研究现状
从70年代我国情报检索界从事到中文信息检索 领域的研究开始，一直有大量学者致力于中文自动 分词研究，至今已获得许多可喜的成果，出现了一 些实用的自动分词系统。这些系统在分词的精确度 和分词速度方面都具有相当的水平，但是仍然需要 进一步的研究。
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
中文分词的研究背景及现状 中文分词的研究背景及现状 网络资源爆炸性增长， 网络资源爆炸性增长，搜索引擎技术发展迅速 全文搜索引擎包Lucene在许多搜索引擎技术项 全文搜索引擎包Lucene在许多搜索引擎技术项 Lucene 目中得到了广泛且深入的应用和研究 中文分词技术成为计算机信息检索、 中文分词技术成为计算机信息检索、自然语言 理解、人工智能、 理解、人工智能、机器翻译和自动文摘等领域 突破的关键多种技术发展的瓶颈
基于Lucene的中文字典分词模块的设计与实现 基于Lucene的中文字典分词模块的设计与实现 Lucene 1词典建立 词典是汉语自动分词的基础，分词词典机制的 优劣直接影响到中文分词的速度和效率。
1 基于整词二分 的分词词典机 制 2 基于TRIE索引 树的分词词典 机制 3 基于逐字二分 的分词词典机 制
Company name
2008年6月21日 年 月 日
本课题的研究意义
由于Lucene支持的中文文本分词仅限于单字区分 和双字区分两种方式，不能满足大多数中文文本 信息检索技术的需求，所以在一定程度上限制了 它在中国的应用和开发。因此Lucene加入中文分 词的功能，对于Lucene在中国的广泛应用和发展 将会起到很大的推动作用
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
基于Lucene的中文字典分词模块的设计与实现 基于Lucene的中文字典分词模块的设计与实现 Lucene 本设计完成的功能：
设计词典结构，读入词库文件，初始化词典结构 对文本预处理，使用最大正向匹配算法初步分词 设计实现双向匹配算法，对结果进行基于规则的选择，实 现系统纠错功能 对分词后的结果产生的碎片进行概率统计，识别文本中的未 登陆词 将分词系统封装成Lucene分析器，并使用索引器建立索引， 实现系统检索功能
Company name
2008年6月21日 日 年 月年6月21日 2008年 日 月
基于Lucene的中文字典分词模块的设计与实现 基于 的中文字典分词模块的设计与实现
3.对文本进行初步的分词 本分词系统选用机械分词算法中的最大匹配算 法作为中文分词算法，具体实现就是对于字符串s， 从前到后扫描，对扫描的每个字，从词表中寻找 最长匹配 。
双字哈希词典机制
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
基于Lucene的中文字典分词模块的设计与实现 基于 的中文字典分词模块的设计与实现
2.对文本进行预处理
预处理，利用特殊的标记(0xa1)将输入的中文文本 分割成较短的汉字串，汉字串以中文空格分开，简化分 词算法要处理的特殊情况，这些标记包括所有的标点符 号，例如：“，”、“。”等等。由于本研究同时考虑 到了对英文文本和数字的处理，所以，也将英文单词， 数字等作为标记来分割中文文本。
系统设计界面和功能展示
Company name
2008年6月21日 年 月 日
系统设计界面和功能展示
Company name
2008年6月21日 年 月 日
系统设计界面和功能展示
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
对本文工作的总结 对本文工作的总结 本文在全文搜索引擎JAVA版的开源软件包LUCENE的基 础上，对中文分词技术进行了深入的研究，设计并完成了 中文文本字典分词系统，并将系统封装成LUCENE分析器添 加到LUCENE中使用，扩展了LUCENE的中文处理的功能。 1)对几种常用词典机制进行了分析和比较，针对中文文本 中双字词所占比例较高的特点，实现双层哈希词典机制策 略，在保证分词具有较高的效率的同时，简化了对词典的 维护和更新等操作，使系统维护简单易行。
Company name
2008年6月21日 年 年月 日 2008年6月21日 月 日
基于Lucene的中文字典分词模块的设计与实现 基于 的中文字典分词模块的设计与实现
5.将系统封装成Lucene分析器，建立索引
lucene.analysis(分析器)