在对语料库信息的加工处理过程中,词类标注是

规则和统计相结合的汉语词类标注方法*周强北京大学计算语言学研究所北京，100871摘要：本文分析了汉语的多类词现象与汉语词类标注的困难，介绍了汉语词类标注中的规则排歧和统计排歧的处理策略以及规则和统计相结合的处理思路。

按此思路设计的软件系统，对封闭语料和开放语料的标注正确率分别达到了 96.06% 和 95.82%。

1. 引言在对语料库信息的加工处理过程中，词类标注是一项很重要的工作。

它的任务就是给语料库中的每个词赋一个合适的词类标记。

由于英语、汉语等许多自然语言中都存在着大量的词的兼类现象，因此给语料库的自动词类标注带来了很大困难。

词类歧义消解(Grammatical Category Disambiguation)已成为自动词类标注研究的主要课题。

　国外对英语语料库的自动词类标注研究可以分为以下几个阶段：七十年代初，主要采用了基于规则的处理方法。

其代表是TAGGIT系统[3]它主要利用了3300条上下文框架规则（Context Frame Rules）对100万词次的Brown语料库[5]进行了自动词类标注，处理正确率达到了77％。

七十年代末到八十年代初，随着经验主义方法在计算语言学研究中的不断流行，基于统计的词类排歧方法开始得到应用。

1983年的语料库标注系统 CLAWS[6]最先采用了Shannon的噪声信道模型思想[7]进行词类自动标注。

通过利用Brown语料库的正确标注语料训练参数，达到了96％的正确率。

从此以后，随着正确标注语料数量的不断增长和统计处理技术的不断完善，基于统计的方法在英语语料库的自动词类标注器设计中占有了主导地位，如：[1]，[2]，[4]等。

相比之下，国内对汉语语料库的词类标注研究则起步较晚。

近几年来，清华大学和山西大学对基于统计的汉语语料库自动标注方法进行了一些研究和探索，提出了一套用于汉语语料库标注的词类标记集，标注正确率也达到了95％左右的([8],[9])。

但由于训练语料规模的限制（约20万字），并没有进一步进行大规模汉语语料库的标注。

而有关规则和统计相结合的处理方法，在[16],[17]中也作了一些有益的探索．从92年初开始，北大计算语言所开始进行汉语语料库的多级加工处理研究，提出了一种切分和标注相融合的汉语语料库多级加工方法[14]，其中的重要内容是规则和统计相结合的处理思想。

我们的出发点是充分发挥基于统计方法和基于规则方法各自的优势，为大规模汉语语料库的词类自动标注寻找一种较好的处理方法。

对约四十万字的汉语语料的实际处理结果显示，标注正确率达到了96% 左右，处理效果还是比较令人满意的。

在下面的几节中，第二节将讨论汉语词的多词类现象，第三、四节分别介绍基于规则处理和基于统计方法的基本思想，然后第五节说明规则和统计相结合的处理方法，第六节给出一些实验结果，并对不同方法的处理性能进行比较和分析，最后是结束语。

2. 汉语词的多词类现象由于计算机处理文本数据时通常不考虑读音，同形词和兼类词的识别处理没有区别，致使在词类标注过程中遇到的词类歧义现象比传统语言学意义上的兼类现象范围更广。

它主要包括以下几种情况：1). 字同音不同的词：*本论文相关的研究工作得到国家自然科学基金的支持，项目号为 69483003如: “好”— (hǎo) — a ：他很好— (hào) — v ：他好吃2). 字同音同义不同的词：如：“编辑”——ｎ [指人］：他是编辑“编辑”——ｖ［指动作］：他在编辑教材3). 字同音同的兼类词：如：“丰富”—— a-v ：［生活很丰富／ａ；丰富／ｖ业余生活］“把”—— q-p ：［把／ｐ书放上面；一把／ｑ刀］4). 1)、2)、3)的各种混合体：如：“了”：既有字同音同的兼类词（u-y），又有字同音不同的不同类词（ｖ（ｌｉǎｏ）－ｕ（・ｌｅ））对于汉语中的这些语言现象，我们统称为词的同形异类现象，而把具有这些现象的词，则称为多类词。

在这里，我们利用了北大提出的信息处理用现代汉语词语语法功能分类 [11]，其词类与代码列在表１中。

表１. 汉语词类代码表名词n 区别词b助词u 简称略语j语素 g成语i时间词t 形容词a语气词y 习用语l字x处所词s 状态词z象声词o 前接成分h数词 m方位词 f 动词v叹词 e 标点符号w副词 d量词q 介词p代词r 后接成分k连词 c汉语中多类词还是挺普遍的。

通过对《动词用法词典》[10]的约４０万字语料的切词结果的统计，我们得到了表２的结果：表２：多词类现象统计表总词次２９１６２３（个）总词条１０８１３（个）多类词词次１０７４０６（个）多类词词条４６３（个）多词类现象１０２（种）由于语料的主要是研究各种动词用法的例句，因此句型比较规范，单字词较多。

这些特点在统计结果中也有所体现。

表３，表４分别列出了语料中出现频率最高的前２０个多类词和前１０种同形异类现象。

表３. 多类词词表（前２０个）序号词条词类集频度序号词条词类集频度1 一m-d-c 6371 11 了 v-u-y 19072 上v-f 4046 12 起 v-q 17803 过d-u-v 3447 13 就 d-v-c-p 17704 把q-p 3239 14 里 q-f 17465 来m-v 3185 15 在 p-d-v 6806 着u-n-v-q 2485 16 得 u-v 15257 到p-v 2278 17 次 q-a 15068 下q-v-f 2250 18 出 v-q 13859 两q-m 2198 19 好 v-a-d 120810 开v-q 1994 20 没 v-d 1169从这些统计结果中，不难发现以下特点：1). 多类词数量虽不多（占词条总数的4.28％），但出现频度却很高（约占总词次的36.8％）。

2). 越是常用的词歧义现象越严重。

表2中前20个多类词总共出现了47187次，占了多类词总次数的43.9％。

3). 同形异类现象错综复杂，但分布很不均匀，一些常见词类歧义组合占很大比例。

　了解了语料中多词类现象的分布规律，对我们在语料的自动词类标注中采取正确的策略是有重要启示意义的。

表４. 同形异类现象表(前10种)　序号词类集频度序号词类集频度1 v-q 7605 6 v-f-n40642 m-d-c 6371 7 d-u-v34473 p-v 6325 8 p-q 32394 v-n 6015 9 m-v 31855 q-n 4792 10 v-d 2854____________________________________________________________________________3. 规则排歧处理规则处理的基本思路是利用上下文框架规则描述在特定的语境下一个多类词到底应标上什么词类标记，这里的语境包括词语信息、词类信息、甚至还有某些词语的特征信息。

由于我们的汉语词语分类体系[11]主要依据了“按照词的语法功能进行分类”[15]的思想，对每类词所具有的不同语法功能都进行了详细的描述，从而为我们构造不同的上下文框架规则提供了大量有用的信息。

在实际应用过程中，为提高工作效率，又可把规则处理分为以下几个不同的阶段：1). 特征词排歧：对于那些出现频度很高，词类标记又较多的词（如：“一”，“着”，“了”，“过”，“好”，“就”，……），设置特定的规则，检查这些词在句子中出现的上下文环境，以确定不同的标注情况。

这相当于基于词的排歧方法。

例如：对多类词“了”/v-u-y，可总结出以下的排歧规则：a. “了”＋句尾标记→ y　这里的句尾标记包括标点符号：句号、感叹号、问号及其它语气词。

b. v +“得”|“不”+“了”→ v　c. v|a + “了”→ u　2). 特定词类组合排歧：统计语料中经常出现的一些词类组合，如：v-q,p-v,v-n,v-d,a-v 等，调查这些组合在不同语境下选取某个词类的可能性大小。

通过利用词类划分的语法功能特征，特别是某类词区别于其它词类的它本身所特有的语法分布信息，构造相应的上下文规则描述，来选择正确度较高的词类标记。

这相当于基于词类组合的排歧方法。

例如：对词类组合 v-a ，可提取以下的排歧规则：a.{“很”,“太”,“最”,“非常”,……} + v-a → a　b. q + v-a + n → a　c. v + v-a + n|u|y → a　其它情况取v　d.3).上下文关系排歧：设置一些上下文词类标记匹配模式，描述在一定的词类环境下可能出现的词类标记的集合。

在实际处理过程中，如果句子中多类词的前后词类描述与这些规则模式相匹配，则将多词类集与规则描述中可能出现的词类集合进行交运算。

若所得结果只有一个词类标记，则排歧成功。

这相当于基于模式的排歧方法。

例如：若我们有模式：v+{p,u,a}+n ，表明动词（v）和名词（n）中间可能为 p,u,a ，则对于句子片段：有/v 怪/a-d-v 招/n 中的多类词“怪”，进行集合运算 {p,u,a}∧{a,d,v}，得到a ，从而给出了正确的词类标记“怪/a ”，完成了词类排歧。

规则知识库是基于规则的处理的基础，而它的构造则需考虑两个基本问题：规则对语言现象的覆盖率和规则处理的正确率。

一般而言，对于一条规则，这两种性能往往显示反比关系，即如果一条规则覆盖的语言现象越多，则它处理的正确率越低；反之，若一条规则只描述一种特定的语言现象，则它可以保持较高的正确率。

在我们上面的三种排歧规则中，特征词排歧是基于词的，可以对有关信息描述得很深入，因此处理正确率也较高。

而多类词排歧规则和上下文排歧规则则是基于词类的，因此对某些词的处理效果不太令人满意，但它们能覆盖较多的语言现象，提高规则处理的覆盖面。

因此，一个好的规则库应该综合考虑这两方面的因素，合理安排不同规则的分布，使规则处理的整体效果达到最佳。

在我们目前的系统中，这三部分规则的数量分布大致为3:5:2 ，从第六节中给出的一些实验结果来看，整体排歧效果还是比较好的。

4. 统计排歧处理首先，构造如下的统计计算模型：令 W w w w n =12... 为一多词类词串，C c c c n =12... 为可能的词类标注结果串。

P(C|W)为给定Ｗ条件下Ｃ出现的概率。

如果不考虑更大的上下文，我们可以认为使得 P(C |W)的值取得最大时的Ｃ出现的可能性最大。

这样就把词类标注问题转化为寻找一组标记串Ｃ′，使得：C P C W 'arg max (|)= (1) 根据贝叶斯定律，可以得到： P C W P C P W C P W (|)()(|)()=(2)其中P(W)为常量，不需要考虑，关键在于对P(C)和P(W |C)的计算。

由于两者的参数估计极为复杂，在实际应用中，往往需进行简化。