分词及词性标注

分词及词性标注

在英文中，计算机能够利用词语之间的空格来辨别每一个单词词语，但是由连续中文文本组成的汉语序列，因为其词和词之间没有任何标识来进行划分，所以计算机无法方便的直接进行分词处理。然而计算机在对语句进行处理分析的时，由于对其的处理全部是以词语作为基本语言单位的，所以对语句进行分词处理从而成为离散的词语序列便是专利设计目标提取首先要完成的内容。

面向中文语句的分词的研究在目前已经提出了十余种中文分词方法，并成功研发了若干个相关的系统组件，目前基本可以将这些方法分为以词典为基础的方法和以知识规则为基础的方法这两个类别，以词典为基础的学习方法的代表有基于最大熵的方法、基于隐马尔科夫模型的方法等，以知识规则为基础的学习方法的代表有N-最短路径方法、最少切分法和最大匹配算法等。

上述这些算法都有自己的不足之处，其中现阶段面临的问题大致有两个，其一是对未登录词识别的问题，这些词没有被中文分词词典收录，所以当这些专业词汇在词法分析时，它们的识别率通常较低，往往不会被切分出来，从而造成错误的出现；其二是歧义切分的问题，是指如果依照不同的切分方法，那么即使是切分同一个语句，最后切分出的结果也会不同。

在对专利进行文本挖掘之前，需要对专利的标题和摘要数据进行切分成词序列，这是做文本挖掘工作的开始。目前，开源中文分词工具有很多，如张华平博士团队开发的NLPIR系统（C、Python、Java），哈王大的LTP语言平台（C++、Python），还有R语言的分词包等，送些分词工具都各具特色，本文在此受篇幅所限不做巧细介绍。本文采用结巴分词算法，其主要原因是它处理速度快，分词准确，并带有新词发现、词性标注功能。同时该算法功能可以通过加载包的形式，加载进Python中，便于统一编程实现。该分词算法分词流程如下：

专利标题和摘要分句最大逆向匹配切

分

后处理

输出自定义词典停用词

以下程序实现了对评论句子进行的分词过程，同时进行了词性标注。

词性标注的目的是给句子中的所有词确定一种词性分类。词性类别包括形容词（/a）、动词（/v）、名词（/n）、动名词（/vn）、副词（/d）等等。对句子进行词性的标注在接下来的句法分析和信息抽取中扮演着尤其关键的作用。本文的词性标注过程采用结巴分词算法，如前所述，在结巴分词的过程中posseg自带词性标注功能。词性标注的部分结果展示如下图。