基于Bootstrapping的文本分类模型

中　文　信　息　学　报第19卷第2期　JOURNA L OF CHINESE INFOR MATION PR OCESSING V ol119N o12文章编号:1003-0077(2005)02-0086-07基于Bootstrapping的文本分类模型①陈文亮,朱慕华,朱靖波,姚天顺(东北大学自然语言处理实验室,辽宁沈阳　110004)摘要:本文提出一种基于Bootstrapping的文本分类模型,该模型采用最大熵模型作为分类器,从少量的种子集出发,自动学习更多的文本作为新的种子样本,这样不断学习来提高最大熵分类器的文本分类性能。

文中提出一个权重因子来调整新的种子样本在分类器训练过程中的权重。

实验结果表明,在相同的手工训练语料的条件下,与传统的文本分类模型相比这种基于Bootstrapping的文本分类模型具有明显优势,仅使用每类100篇种子训练集,分类结果的F1值为70156%,比传统模型高出4170%。

该模型通过使用适当的权重因子可以更好改善分类器的训练效果。

关键词:计算机应用;中文信息处理;文本分类;最大熵模型;权重因子中图分类号:TP391 文献标识码:ASemi2Supervised T ext C ategorization Using BootstrappingCHE N Wen2liang,ZH U Mu2hua,ZH U Jing2bo,Y AO T ian2shun(Natural Language Processing Lab,N ortheastern University,Shenyang,Liaoning110004,China)Abstract:This paper proposes a semi2supervised text categ orization using bootstrapping.The System uses the Maximum En2 tropy M odel as the text classifier.I t learns m ore automatic labeled sam ples as new seed training sam ples from unlabeled sam2 ples using a small size of seed training sam ples.In this paper,we use a weighted factor to adjust the weight of new seed sam ples during the following training process.The experimental results show that the proposed system per forms better than the conventional system with the same labeled documents.And it yields70156%F1using only1002labeled documents for each categ ory,417%over the conventional system does.And it can provide the same per formance as the conventional sys2 tem using50%or less training sam ples.The results als o show that the weighted factor can im prove the per formance.key w ords:com puter application;Chinese in formation processing;text categ orization;maximum entropy;weight factor1　引言文本分类问题一直是自然语言处理领域的一个重要课题。

近年来,国内外研究人员对文本分类问题进行深入研究,他们采用很多不同方法来构造分类器,例如:K NN、na ve Bayes、Maxi2 mum Entropy、S VM、R occhio、Decision T ree、NNet、LLSF等等,这些分类系统都需要大量的标注语料才能达到较好的分类性能[1～4]。

同时,随着互联网的发展,大规模的无标注文档越来越容易获得。

近年来,有很多研究者开始研究如何用无标注的语料来提高小标注训练集的训练效果。

Nigam提出用E M方法从未标注语料和小标注语料训练分类器,其中,E M是一种最大似然估计①收稿日期:2004-06-15基金资助:国家自然科学基金和微软亚洲研究院联合资助项目(60260319);教育部科学技术研究重点资助项目(104065);国家自然科学基金资助项目(6047140)作者简介:陈文亮(1977—),男,博士生,研究方向为文本分类和机器学习.的迭代方法[5]。

Blum和Mitchell提出用C o2training方法[6]来解决用于网页分类的手工标注语料训练不足的问题,构造两个不同的分类器来进行标注学习。

本文采用一种基于bootstrapping的学习方法,采用最大熵作为分类器,从少量的种子集出发,自动学习新的种子样本,通过不断学习,来提高最大熵分类器的文本分类性能。

Bootstrap2 ping[7]是一种被广泛应用于知识获取的机器学习技术,E llen Riloff用来构造信息抽取的知识库[8],David Y arowsky用来进行语义消歧[9]等。

一般首先给定种子集合,通过学习器来学习新的种子样本。

这样达到用少量的标注训练样本就可以达到传统方法的大标注训练集训练效果。

在学习过程中,新的种子样本必然存在一些误标注,这样对下一轮的训练学习会造成一些不利的影响,本文引入一个权重因子到最大熵模型的特征函数中实现初始种子集和新种子集较合理的组合。

实验表明,这种权重因子可以改善学习模型的训练效果,进而提高分类性能。

2　最大熵模型最大熵(Maximum Entropy2ME)模型已经成功用到了自然语言处理多个领域,如:文本分类、词性标注、名词实体识别等等。

本文将简介最大熵模型在文本分类中的应用,详细描述请参看文献[10,11]。

最大熵模型在给定约束的条件下,尽可能的使分布变得平均。

存在训练样本集T={(d1, c1)(d2,c2),…,(d N,c N)},其中d i是一个训练样本,c i是文档d i的类别。

在给定T和与之相关的约束条件下,存在一个唯一概率模型:该模型的熵达到最大值,概率模型的计算公式如下:PΛ(c|d)=1ZΛ(d)exp[6iλi f i(d,c)] 其中,Λ={λ1,λ2,…,λn}是模型的参数,f i(d,c)是给定的特征函数,Z(d)是一个归一化因子:Z(d)=6c exp(6iλi f i(d,c)) 这样,最大熵模型的求解可以通过下式:LΛ=6d,c p～(d,c)log p(c|d) 其中,p～(d,c)是经验概率分布,求解过程可以通过参数优化算法来完成。

本文实验中采用了Limited2Mem ory Variable Metric(一种牛顿迭代法)来求解Λ={λ1,λ2,…,λn}。

最大熵模型在实际应用时的关键问题是如何选取特征函数,根据不同的应用选择不同的特征函数。

3　B2ME模型本节构建一个基于Bootstrapping的文本分类自学习模型,该模型使用少量标注样本作为种子集,首先用种子集作为训练集来训练文本分类器,然后利用分类器对未标注文本进行类别标注,从中选取部分文本作为新种子样本加入训练集中,再重复训练标注,直到结束。

这样就实现利用少量种子集加上大量未标注语料学习出一个较好的文本分类器。

本文选用最大熵模型作为分类器,最大熵模型可以给出文档属于某个类别的概率。

本文把这种基于Bootstrapping和最大熵模型(ME)的文本分类自学习模型称为B2ME模型。

在本文中,训练集D={L,U},其中L表示标注好的种子集,U表示大规模的无标注文本集。

表1表示B2ME模型的整个学习过程,其中n=|U|k,而|U|是U的文档数,k是迭代的轮数。

在学习过程中,包含3个重要的步骤:1)训练分类器:训练最大熵模型分类器;2)无标注语料的标注:利用训练好的最大熵模型分类器对语料U分类;3)新种子样本选取:从步骤2)中的标注结果选取部分文本,提供给下轮次学习使用。

算法1　B2ME模型的学习算法输入:L-少量带标注种子集;U-大规模未标注文本集输出:训练好的最大熵模型分类器步骤:　用L来训练最大熵分类器ME　L′=<　迭代k轮　■　使用当前最大熵分类器标注U得到L U　■　选取置信度最高的n个文本,并加到L′;U=U-L′　■　使用L∪L′来训练最大熵分类器311　训练分类器:f w,c′(d,c)=0c≠c′tf(w,d)　c=c′ 其中,tf(w,d)是词w在文档d中出现的频数。

训练最大熵模型分为两种情况:1)开始阶段:训练语料是种子集L(少量标注语料);2)学习过程中:训练语料是L和L′的并集,其中L′是自动学习的新种子集(获取方法见节313)。

312　无标注语料的标注使用当前训练好的最大熵模型分类器对语料U={d1,d2,…,d|U|}进行分类,得到每一文档d i的最大类别概率p i=max0≤j≤|C|(p(c j|d i)),本文称p i为该文档的分类置信度,这样得到U的标注结果为:L U={(d1,p1),(d2,p2),…,(d|U|,p|U|)}。

313　新种子样本选取新种子样本选取是从L U中选择部分文本作为新的种子样本提供给下一轮学习使用。

选取步骤:首先,根据文档分类置信度对L U进行排序;再选择前面n个文本作为新的种子样本加入到训练集中。

4　B2ME2β模型在B2ME模型中,新学习到的种子样本在加入训练集后,就不再区分手工标注的种子样本和自动标注的新种子样本。

但是新种子样本必然还存在一些错误,这样对分类器的下一轮训练会带来一些不利的影响。

因此,本文引入一个新的参数β(0≤β≤1)到特征函数中,来调整自动标注的新种子样本对训练模型的影响。

首先,定义一个δ表示权重因子:δ(d,c)=β d∈U 1 d∈L 把权重因子加入特征函数中:f w,c′(d,c)=0c≠c′δ(d,c)tf(w,d)　c=c′ 本文把这时的最大熵模型称为ME2β模型。

在ME2β模型中,文档d产生的特征函数通过δ来调整权重。

基于Bootstrapping和ME2β模型的自学习模型被称为B2ME2β模型。