中文分词实验报告

实验：中文分词实验

小组成员：黄婷苏亮肖方定山

一、实验目的：

1.实验目的

（1）了解并掌握基于匹配的分词方法、改进方法、分词效果的评价方法等

2.实验要求

（1）从互联网上查找并构建不低于10万词的词典，构建词典的存储结构；（2）选择实现一种机械分词方法（双向最大匹配、双向最小匹配、正向减字最大匹配法等），同时实现至少一种改进算法。

（3）在不低于1000个文本文件（可以使用附件提供的语料），每个文件大于1000字的文档中进行中文分词测试，记录并分析所选分词算法的准确率、召回率、F-值、分词速度。

二、实验方案：

1. 实验环境

系统：win10

软件平台：spyder

语言：python

2. 算法选择

（1）选择正向减字最大匹配法

（2）算法伪代码描述：

3. 实验步骤

● 在网上查找语料和词典文本文件； ● 思考并编写代码构建词典存储结构；

●编写代码将语料分割为1500 个文本文件，每个文件的字数大于1000 字；

●编写分词代码；

●思考并编写代码将语料标注为可计算准确率的文本；

●对测试集和分词结果集进行合并；

●对分词结果进行统计，计算准确率，召回率及 F 值（正确率和召回率的调

和平均值）；

●思考总结，分析结论。

4. 实验实施

实验过程：

（1）语料来源：语料来自SIGHAN 的官方主页（/ ），SIGHAN 是国际计算语言学会（ACL ）中文语言处理小组的简称，其英文全称为“Special Interest Group for Chinese Language Processing of the Association for Computational Linguistics”，又可以理解为“SIG 汉“或“SIG 漢“。SIGHAN 为我们提供了一个非商业使用（non-commercial ）的免费分词语料库获取途径。我下载的是Bakeoff 2005 的中文语料。有86925 行，2368390 个词语。语料形式：“没有孩子的世界是寂寞的，没有老人的世界是寒冷的。”

（2）词典：词典用的是来自网络的有373 万多个词语的词典，采用的数据结构为python 的一种数据结构——集合。

（3）分割测试数据集：将原数据分割成1500 个文本文件，每个文件的词数大于1000 。

（4）编写分词代码：采用python 语言和教材上介绍的算法思路，进行编程。（5）编写代码将语料标注为可计算准确率的文本：用 B 代表单词的开始字，E 代表结尾的字，BE 代表中间的字，如果只有一个字，用 E 表示。例如：

原数据是：“人们常说生活是一部教科书”

而我将它转化为了如下格式：

（6）进行分词：使用之前编写的分词函数，载入文本，进行分词，将每个文本结果输出到txt 文本。

（7）对测试集和分词结果集进行合并：将测试集和分词结果集合并是为了进行准确率，召回率等的计算。测试集和训练集都是下面的格式：

将它们合并为下面的格式，第二列为测试集的标注，第三列为训练集的结果：

（8）对分词结果进行统计，计算准确率P ，召回率R 及 F 值（正确率和召回率的调和平均值），设提取出的信息条数为C, 提取出的正确信息条数为CR, 样本中的信息条数O ：

计算结果如下：

（9）反思：平均准确率只有75.79% ，为何分词效果这么差，没有达到我们的预期效果85% ，经过思考和多次尝试才发现，原来是因为词典太大了，最大匹配分词效果对词典依赖很大，不是词典越大越好，还有就是我们的词典和我们的测试数据的相关性不大，于是我们小组修改了词典，进行了第二轮测试。（10）修改词典：将词典大小裁剪，但是不能只取局部，例如前面10 万词或后面10 万词，于是我的做法是在373 万词的词典中随机取 3 万词，再用之前没用完的语料制作7 万词，组成10 万词的词典：

（11）再次实验：重新进行前面的步骤得到了下面的结果：

此时分词的平均准确率提高到了87.13% ，还是很不错的，说明我的反思是有道

理的。

三、实验结果及分析：

1.实验结果：

2.结果分析：

2018-2019-1学期《搜索引擎技术》实验报告

（1）第一轮分词结果只有75.79% ，而小组的预期效果或者说目标是85% 以上，我们先是讨论是不是这个算法只能达到这么多，于是通过网络和询问同学的分词准确率知道，这个结果是可以继续提升的。于是，我们仔细思考了每一个环节，发现问题主要出在词典上面，因为词典中的词越多，利用做大匹配分出来的词的平均长度就越长，分得的词数也越少，错误率反而增大，而那些分法可能并不是我们想要的，而且我们的词典和我们的语料相关性很小，分词效果是依赖于这个词典的相关性的。然后我们尝试减少词典的大小，见减小到150万词，发现效果确实好了点，于是干脆只在原词典中取出3万词，再用语料库没用过的同类型的语料做一份词典，再把它们合起来，结果分词准确率一下子提高到了87.13% 。

（2）影响中文分词效果的因素：词典的大小，数据集的规范性，算法的优越程度如何提高中文分词的准确率：规范的数据集，合理大小的词典，好的算法。

四、实验总结：

本次实验期间遇到过很多问题，幸好都一一解决了，比如在合并测试集和分词结果集时，合并测试集和分词结果集时中词语的位置有错位，想了好几个办法才解决，其实在实验之前多思考思考是可以避免这种情况的。本次实验中，分词是实验的重点，但难点不在分词上面，而在数据的处理和计算准确率。我们还应多练习，多运用，多思考才能真正提升自己的能力。

五、参考文献：

[1]百度文库“搜索引擎检索性能评价实验报告”

[2]数据集：SIGHAN bakeoff2005 数据集中的简体中文部分

[3]链接：/bakeoff2005/

[4]文献：1. 知乎：如何解释召回率与准确率？

[5]链接：https:///question/19645541

[6]《搜索引擎-- 原理、技术与系统》

[7]百度文库“中文分词实验”

11 / 11