基于内容和情感的文本分类方法研究_硕士学位论文

硕士学位论文

基于内容和情感的文本分类方法研究

A Thesis Submitted in Partial Fulfillment of the Requirements for

the Degree of Master of Engineering

Research on Text Classification Methods Based on Content and Emotion

Candidate : Zhang Chaoyang

Major :Industrial Engineering

Supervisor :Associate Professor Huang Jinguo

Huazhong University of Science &Technology

Wuhan 430074, P.R. China

January 2013

独创性声明

本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。

学位论文作者签名：

日期：年月日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

本论文属于

保密□, 在_____年解密后适用本授权书。

不保密□。

（请在以上方框内打“√”）

学位论文作者签名：指导教师签名：

日期：年月日日期：年月日

摘要

文本分类在自然语言处理、信息组织、内容过滤等领域都有着广泛的应用。传统的K最邻近法具有简单、强壮、无参数、分类精度高的优点，但它需要计算一个新文本和所有训练文本的距离，因而需要大量的计算时间。针对这一问题，本文在使用K最邻近法之前先使用聚类方法对数据进行预处理，具体做法是使用CHAMELEON算法把训练集中的每个类聚成多个小簇，计算小簇的质心得到广义实例集，找到与未知文本最近的k1个广义实例，再用回溯法找到这k1个广义实例所代表的原始文本，从这些原始文本中找到与未知文本最近的k2个文本，用它们投票表决未知文档的归类。在Tan语料库和复旦语料库上的实验表明该方法能够达到与传统KNN相同的分类精度和召回度，而运行时间只需要KNN的十分之一左右。

在网络购物中消费者对商品的评论已成为电子商务信任机制的重要组成部分，但大多数电子商务网站还不能从语义层面上自动区分好评与差评。本文以《知网》情感词为种子词汇，提出了一种基于条件随机场的Bootrapping情感词挖掘算法，并利用互信息将这些情感词分为正面和负面两类。根据句子中包含正面和负面情感词的数目将电子商务网站上的图书评论自动分为好评和差评。对2026条图书评论作分类实验，正确率将近82%，说明了算法的有效性。

分词和特征项选择是文本分类的前期准备工作。本文通过在微软研究院提供的中文语料上做分词实验发现条件随机场要优于隐马尔可夫模型。信息增益、互信息、期望交叉熵和卡方统计量是四种特征选择的方法，本文的对比实验表明信息增益和卡方统计量这两种方法在文本分类中表现较好。

关键词：文本分类；情感挖掘；中文分词；特征项选择；隐马尔可夫；条件随机场

Abstract

Text classification has a wide range of applications in the field of natural language processing, information organization and content filtering. Traditional K Nearest Neighbor method is simple, strong and free parameters,and can reach high classification accuracy, but it needs to calculate the distance between a new text and all of the training texts, thus it requires a lot of computing time. According to this problem,texts are clustered before using KNN.First each class of the training set is clustered by CHAMELEON algorithm,centers of these clusters are token as generalized instance sets.Then we search k1 nearest neighbors of the unknown document from generalized instance sets.Finally KNN is employed on the unknown document and the original training texts who generate those k1 generalized instances.Experiments on Tan corpus and Fudan corpus have shown that this method can achieve the same precision and recall as traditional KNN, but offers a much lower computational cost.

Consumer product reviews have become an important part of the e-commerce trust mechanism,most sites can’t divide reviews into praise and poor based on semantics.With HowNet emotional words as seed vocabulary, this paper proposed a Bootrapping mining algorithms of emotional words based on Conditional Random Fields. Then emotional words were divided into praise and poor in the light of mutual information. According to the number of positive and negative emotion words that contained in a sentence, book reviews on the e-commerce site were divided into good and bad basis. 2,026 book reviews were tested, and 82% of them were divided correctly, indicating the effectiveness of this algorithm. Segmentation and feature selection is the preliminary work for text classification. Experiment on the Chinese corpus provided by Microsoft Research proved that Conditional Random Fields is superior to Hidden Markov Model. Information Gain, Mutual Information, Expected Cross Entropy and the chi-square statistic are four feature selection methods, our contrast experiments show that Information Gain and chi-square statistic have nice performance in text classification.

keywords: Text Categorization; Emotion Mining; Chinese Word Segmentation;

Feature Selection; Hidden Markov Model; Conditional Random Fields

目录

摘要 .................................................................................................................... I Abstract ................................................................................................................II 1 绪论

1.1课题研究意义 (1)

1.2研究现状 (2)

1.3本文组织结构 (6)

2 相关技术研究

2.1中文分词 (7)

2.2隐马尔可夫模型 (9)

2.3条件随机场模型 (12)

2.4本章小结 (16)

3 基于内容的文本分类

3.1文档向量空间模型 (17)

3.2 CHAMELEON聚类 (20)

3.3带回溯的广义实例文本分类算法 (21)

3.4分类实验 (23)

3.5本章小结 (28)

4 基于情感的书评分类

4.1分词算法实验对比 (29)

4.2基于条件随机场的新词发现 (2)

4.3自举法搜集情感词 (4)

4.4基于情感词的书评分类 (7)

4.5本章小结 (8)

5 总结与展望 (40)

致谢 (41)

参考文献 (42)

附录攻读学位期间发表论文目录 (14)

1 绪论

1.1课题研究意义

基于内容的文本分类工作是指在给定一组带有类别标签的文本集的情况下，确定一个新文本属于哪一类别，它在知识管理、垂直搜索、文本过滤等领域都有重要应用。尤其是在互联网时代，随着电子文档数量的级数增涨，自动化文本分类受到人们特别的关注。正如图1.1所示，谷歌搜索引擎对互联网上的新闻进行了分类整理，极大地方便了网民浏览到自己感兴趣的内容。很多时候需要将文本分为正常和非正常两类：邮箱服务提供商需要根据邮件内容识别哪些是正常邮件，哪些是垃圾或广告邮件，搜索引擎也需要对色情暴力等不良信息网站进行识别，还有一些论坛、社交网站要识别出哪些发贴是正常发贴，哪些是机器发贴，并将机器发贴删除掉。

图1.1 谷歌对新闻资讯的分类

根据一个文本所属的类别数目可以分为单标签分类和多标签分类；根据类别的层次又可分为单层分类和多层分类。本文只研究单层单标签分类。

除了按内容进行分类，有些情况下也需要按情感倾向对文本进行分类，对短文本进行情感分类相对容易实现一些。网络上充斥着各种短文本，比如微博、聊天记录、跟帖评论等等，它们都在百余字以内，故而称之为短文本。文本按情感进行分类关键在于对文本中隐含的情感的挖掘，短文本情感挖掘是指通过对这些文本的分析，判断作者想要表达的某种情感，例如幸福、悲伤、赞美、不满等。对短文本进行情感挖掘具有非常重要的政治意义和商业价值。近年来随着微博等社交网站的迅速走红，人们在网络上自由地发表自己的生活态度和对一些社会现象的观点，这给网络舆情分析带来了一个极好的契机。在舆情分析工作中可以从多个角度对网民进行分类，比如政治取向、生活幸福程度、对政府的满意程度、道德觉悟程度等等。网购消费者对商品的评论已成为电子商务信任机制的重要组成部分，而对商品评论进行好评与差评的分类也属于短文本情感挖掘的范畴。目前短文本情感挖掘还没有在实际生活中很好地发挥作用，比如2012年很火的一件事“你幸福吗”是在大街上进行的调查，通过网络舆论来收集人民的生活满意度还没有受到政府的足够重视；当当、京东等电子商务网站对好评与差评的判别也仅仅是依靠用户评的星级数目，如图1.2所示仅仅因为用户给了一颗星京东就认为该用户不喜欢这本书，在这个例子中显然是错误的，而且这种判断错误的情况时有发生。

图1.2 京东书评

1.2研究现状

1.2.1长文本分类

经典的文本分类算法有朴素贝叶斯、K最邻近、支持向量机、神经网络和决策树等。

K最近邻（K-Nearest Neighbour,KNN）法从训练文本集中先找出与待分类文本（有时称未知文本）最相近的K个文本，这个K个邻居采用投票法决定未知文本属于于哪一个类别[1]。如图1.3所示，由于未知样本的4个最近邻居中有3个都属于正方形类，，所以判定未知样本也属于正方形类。

训练集

最近邻

图1.3 KNN分类法示意图

在文档向量模型中每个文档用一个高维（通常在一千维以上）向量来表示，要从整个训练集中找到未知文本的K个最近邻居，需要分别计算未知文本与每一个已标记文本的距离，两个向量的距离可以采用欧氏距离或街区距离等，在基于距离的最近邻搜索中K-D Tree[2]和Ball Tree[3]是两中加速搜索的算法，当维度比较大（一般超过20）时，K-D D Tree的检索性能急剧下降，此时宜采用Ball Tree。在文本分类中由于高维向量的稀疏性，采用向量夹角来计算文本之间的相似性效果会更好一些。

K最邻近法具有简单、强壮、无参数、分类精度高的优点，但它需要计算一个新文本和所有训练集文本的距离，因而需要大量的计算时间，此外它不能识别噪声，一旦噪声文档成为待分类文档的K最近邻之一，分类结果出错的概率就会大大增加。针对这些问题人们对传统KNN进行了各种改进，以求降低计算量。比如质心分类器求出训练样本中每个类别的质心，求未知文本与这些质心的向量夹角，夹角最小的就是所属类别[4] ]质心法同时具有平滑噪声的功能。Tsay为原类别选择多个质心，部分程度上克服了单个质心难以适应稀疏样本的弱点[5]。GIS（Generalized Instance Sets）方法将样本划分成若干子簇，子簇的质心成为广义实例（GI），这些广义实例能够很好的反应训练文本的全部特征[6]。

朴素贝叶斯（Na?ve Bayes，NB）是基于贝叶斯全概率公式的一种分类方法[7]。朴素

素贝叶斯模型有两个假设：所有变量对分类均是有用的，即输出依赖于所有的属性；这些变量是相互独立的，即不相关的。之所以称为“朴素”，就是因为这些假设从未被证实过。在文本分类中特征词就是对分类有用的变量。可以用公式1.1计算当文档中包含

（1.1）

使上式的概率最大的i C 就是文本所属的类别。实际上公式1.1中的分母并不需要计算，因为对所有i 来说，分母都是一样的，表示类别i 出现的概率，可以通过统计训练集中类别i 的文档数目占全体训练集文本数目的比例来得到。根据朴素贝叶斯模型的假设，

所以有：

（1.2）

i C 素贝叶斯在许多数据集上不逊于甚至优于一些更复杂的分类方法。

对偶传播神经网络（Counter-Propagation Network ，CPN ）是一种结合了有导师学习和无导师学习的分类算法，它包含3层：输入层、隐藏层和输出层，输入层细胞个数等于文档向量的维度，输出层细胞个数是文档类别的数目，隐藏层细胞数目由算法设计者决定，一般来说隐藏层细胞越多分类精度越高但计算量也越大。CPN 采用两个阶段来分别训练竞争层的内星权向量和外星权向量，即第一阶段完全不顾输出层，采用自组织映射网络（Self-Organizing Feature Map ，SOFM ）的方法来训练竞争层的内星权向量，第二阶段采用有导师的Widrow-Hoff 规则来训练竞争层的外星权向量。两阶段学习的结果，是使内星权向量向当前的输入模式靠拢，外星权向量向期望输出靠拢。

支持向量机（Support Vector Machine ，SVM ）是一种线性分类器，它在文本分类中性能表现尤其优异[8][9]。SVM 构建了一个分隔两类的超平面，试图使两类之间的分隔达隔达到最大化。落在边界平面上的数据集称为支持向量，“支持向量机”的名字也由此

得来。有些情况下被分成两类的数据点是线性不可分的，此时需要将数据从低维空间映射到高维空间，使之线性可分。在SVM的计算过程中运用核函数K可以减小计算量。

（1.3）

<>表示内积运算。公式1.3说明向量x和y从低维空间映射到高维空间后再作内积运算等价于直接在低维空间上进行核运算。

1.2.2电商评论情感分类

电商网站上的评论大都是些短文本，长文本的分类方法在短文本中已不再适用，这是因为：

（1）在长文本分类中使用的文档向量模型认为词与词之间是独立的，而短文本中词与词之间的关联度比较大，于是不少研究工作者采用关联规则挖掘的方法对短文本进行分类[10][11]，在这种方法中分类特征不再是一个个独立的词汇，而是一条条强关联规则。

（2）因为短文本表示为高维向量后会十分稀疏，从而导致分类精度很低。范云杰等[12]借助网络知识库维基百科抽取相关概念，并采用统计规律与类别信息相结合的方式式计算概念间相关度，建立语义相关概念集合，对短文本的特征向量进行扩展，从而有效补充短文本的语义特征。杨震等[13]借由时间、空间、联系等要素挖掘文本间隐含的关联关系，重构文本上下文范畴，提升情感极性分类性能。

在短文本情感分类当中《知网》作出了非常基础且有意义的工作，它提供了汉语词汇相似度的计算方法[14]，并包含中文褒义词与贬义词列表，很多文本情感挖掘工作就是是利用《知网》展开的。马渊[15]使用情感词汇作为文本特征项对文本进行表示，在计算语义相似度时考虑了义原深度对语义相似度性能的影响，并使用经验权值系数对语义相似度算法进行改造。闻彬等[16]赋予概念情感语义，重新定义概念的情感相似度，对程度副词进行精细的划分并赋予不同的权值，同时考虑了否定副词对语义理解的影响。韩忠明等[17]则进一步考虑了转折和递进连词对语义理解的影响。

文能[18]把商品评论倾向性分析分为两个阶段：先是从评论中抽取被评论的对象；然然后再对句子的情感极性进行判断。这里的“被评论对象”要具体到商品性能的各个方面，比如对于手机的评论，评论对象要具体到手机的屏幕大小、开机速度、是否省电、

价格，甚至是送货速度、客服态度等等。从商品评论中抽取被评论的对象这本身属于信息抽取的工作，一般情况下需要针对特定领域构建本体[18][19][20][21]，Neches等[22]对本体的定义是：本体定义了组成主题领域的词汇的基本术语及其关系，以及结合这些术语和关系来定义词汇表外延的规则。

针对特定领域的情感挖掘，仅依赖《知网》中提供的正面词汇和负面词汇是不够的，还需要补充本领域中的一些褒扬或贬低的词汇。文献[23]中描述了一种基于最大熵和

和LMR模板的中文情感词抽取算法，首先设定一个LMR（Left，Middle，Right）情感词模型，利用词、词的位置、词性信息做特征，使用最大熵模型从训练语料中学习，并对评测语料中的情感词进行自动识别和倾向性判断。文献[18]以《知网》情感词作为种子评价词，采用基于CRFs模型的半监督迭代算法获取大量评价词。

1.3本文组织结构

本文一共分为五章。第一章介绍了课题研究的意义，以及国内外对内容分类和情感分类的研究现状。第二章为第三章和第四章作技术与理论的准备工作，这一章介绍了中文分词的一些方法，因为分词的好坏直接影响文本分类的精度和情感词收集的完备程度。第二章还详细介绍了隐马尔可夫模型与条件随机场模型，它们都是基于标记的算法，都可用于中文分词，并且在第四章中利用条件随机场做情感词的挖掘也取得不错的效果。第三章介绍了文档向量模型和几种常见的特征词选择算法，并提出了一种基于广义实例的带回溯的长文本分类方法，本文使用CHAMELEON聚类来产生广义实例。第四章通过实验对比发现条件随机场比隐马尔可夫在分词领域表现更好，于是用条件随机场来发现未登录词，然后应用基于条件随机场的自举方法来搜集情感词，最后提出了基于情感词的图书评论分类方法。第五章对全文的工作做了系统的总结，指出了不足之处和今后努力的方向。

2 相关技术研究

2.1中文分词

中文分词是指将中文连续的字序列按照一定的规则重新组合成词序列，它是自然语言处理的第一步工作，分词算法的好坏对文本分类、情感挖掘、机器翻译、信息抽取等工作的准确度有很大的影响。在过去几十年的时间里各种各样的分词算法被提出，而这些算法绝大多数都是面向具体的应用领域的，由不同的需求所驱动。总体上说，这些方法可被划分为两类：基于词汇知识的和基于语言知识的。

在了解分词算法之前首先要了解分词领域所面临的两个基本难题：未登录词的识别和消歧的消除。可以人工标注的语料库总是有限的，在测试语料中难免会出现一些新词。另外在当今这个互联网高速发展的信息时代，外来词、网络词不断涌现，也给新词的识别带来了挑战。即使是依据词典对同一个汉语句子也会有不同的切词方式，造成不同的语义，比如“他/说/的/确实/在理”也可以被切分为“他/说/的确/实在/理”，后面一种切分方式是错误的，这是由于词汇的交叉重叠而造成的。

基于词汇的分词方法使用词典作为唯一的可用资源，词典的索引方式一般采用Hash 索引或Tire索引树。其优点是算法简单，执行效率高，在有些情况下可以满足分词需求，缺点是它不对交叉歧义的情况进行处理。

最长子串匹配法（或者叫最大匹配法）从句子的第一个汉字开始找到最长的能够匹配词典里某一个词语的子串，在该子串后面进行一次切分，然后从切分位置开始继续寻找与词典里某一项匹配的最大子串。显然使用这种方法产生的分词结果是唯一的，但有时候这个结果并不好，比如“这些学生会游泳”按照最大匹配法的切分结果为“这些/学生会/游泳”，而正确的切分应该是“这些/学生/会/游泳”。带有回溯的最大匹配法是对最大匹配法的一种补充，它在决定是否分词时除考虑词典匹配外还考虑一个词在相似上下文环境中的匹配历史[24]。

最大匹配法如果是从句首逐字向句尾扫描称为正向最大匹配法，如果是从句尾向句首扫描则称为逆向最大匹配法。正向扫描和逆向扫描有时候会产生不同的分词结果，利用一些启发式规则和语言知识来解决这种冲突就有望消除由于词汇重叠而造成的分词

错误。由于要进行正向和逆向再次扫描，所以这种算法的计算量大大增加。

穷举匹配法会穷举所有的切分方式，把与词典中的词语匹配的切分方式作为候选方案，然后采用一定的评价标准（比如最少词汇、最大匹配等）选出最好的分词方式[25]。。以“他说的确实在理”这句话为例，可穷举出的切分方式有：

“他/说/的确/实在/理

他/说/的/确实/在理

他/说/的/确/实在/理

他/说/的/确/实/在/理

……”

如果以最大匹配为标准，最后选择的分词方式为“他/说/的确/实在/理”。单独使用穷举法并没有什么意义，它计算量大，而且又单纯地使用词典，多数情况下不会比其他基于词典的方法取得更好的结果。因此它通常和基于语言知识的分词方法结合起来使用。

基于语言知识的分词方法既利用了词典这一简单高效的工作，同时又利用了语料中的统计信息，考虑了上下文的约束，因此可以在语义消歧上取得一定的效果。分词领域常用的统计模型有最大熵模型、隐马尔可夫模型、N元语法模型。

Richard等把分词看成是一个统计转换问题[26]，词典就是一个带权的有限状态转换换器。对于每一种可能的分词方式计算出相应路径上每条边的权值和，选择权值和最小的作为最优的分词方式，图2.1中从起点0到终点7的所有路径代表所有可能的切分方式，Li表示边的权重，一条边上的汉字序列出现的概率越高，边的权值越小。解码的过程是一个典型的应用Viterbi算法的例子。由于只考虑了汉字本身，并没有考虑之前或之后的汉字对当前字分词时的影响，所以这种模型叫做0阶模型或叫一元语法。

确L10在L11

图2.1 句子切分的带权有向无环图

二元语法模型在统计状态转移概率时考虑了前一字对当前字的影响，三元语法模型考虑了前两个字对当前字的影响[27]。实践表明高阶模型比0阶模型在中文分词中更能有有效地处理词语交叉重叠带来的歧义，在高阶模型中一阶或二阶已经可以达到令人满意的分词精度且算法运行时间最短。

ICTCLAS是中科院计算所开发的目前国内公认最好的中文分词开源系统，它采用层叠隐马尔可夫模型（Hierarchical Hidden Markov Model）[28]，分词速度500KB/s左右，，精度达98.45%，提供C和Java两套API。SCWS是一个主要基于词典的分词系统，加入了一些专有名称、人名、地名、数字年代等规则集，在小范围的测试中精度可达90%以上，采用纯C语言编写。此外还有斯坦福大学基于条件随机场（Conditional Random Field,CRF）模型开发的中文分词系统，采用纯Java代码编写。

2.2隐马尔可夫模型

本节详细介绍一种完全基于统计的中文分词方法――隐马尔可夫模型（Hidden Markov Model,HMM）[29][30]。中文分词可以看成是一个为汉字进行标记的过程，如果一果一个汉字位于一个词语的首部则标记为B，位于尾部则标记为E，中间位置一律标记为M，如果一个汉字单独成为一个词则标记为I。下面举一个例子。

他/I 是/I 一/B个/E 和/B蔼/M可/M亲/E 的/I 人/I

HMM

其中，S是状态集，模型共有N个状态；V是词汇集，模型共有M个可能输出的词汇；A是N*N的状态转移矩阵，a ij是从状态S i转换到状态S j的概率；B是N*M的释放

矩阵，b j (V k )是在状态S j 时释放单词V k 的概率；π是初始状态概率集合，πi 是第i 个状态作为初始状态的概率。隐马尔可夫模型有所谓的条件独立性假设：一是t 时刻的状态q t =S i 只依赖于t-1时刻的状态q t-1=S j ；二是t 时刻所生成的观察值b j (V k )只依赖于t 时刻的状态q t =S i ；三是状态与具体的时间无关，即对于任意的i 和j 都有

HMM 有三个基本问题：一是评估问题，给定一个模型λ={S,V ,A,B,}，如何高效

{,,,,}S V A B λπ=和一个输出字符序列12T V VV V = ，如何找到产生这一序列概率最大的状态序列；三是学习问题，给定隐藏状态集合S 、观察值集合V 和一个输出字符序列12T V VV V = ，如何调整模型的参数π、A 、B 使得产生这一序列的概率最大。

对于评估问题可以采用forward 算法求解。对于任意模型λ，在t 时刻，状态为S i 时的部分观察序列(V 1V 2…V t )的概率记为forward 变量：

12()(,|)i t t i a t p VV V q S λ== （2.1）

它表示在t 时刻满足状态S i ，且t 时刻之前（包括t 时刻）满足观察序列(V 1V 2…V t )的概率。则采用向前算法的计算步骤为：

1. 初始化初始状态概率1,1()i i a i B π=；

2. 迭代计算1,,11

()[()]N

t t i j j t i a j a i A B ++==∑；

3. 终止条件：1

(|)()N T i p V a i λ==∑。

向前算法的运算复杂度为N*N*T ，如果采用枚举复杂度为2T*N T 。

对于解码问题可以采用Viterbi 算法求解。Viterbi 算法是一种利用动态规划的算法，

它可以根据观察序列12T V VV V = 找到最优的状态序列12T Q q q q = ，计算量为N*T 2。

定义：

12112()max (,|)t t q q q t j t j p q S VV V δλ-== （2.2）

它表示观察时刻t 正处于状态j ，且在t 时刻之前状态序列为q 1q 2…q t 观察到的字条串序列为V 1V 2….V t 的最大概率。经过推导可以得到

11()max [()]()t i N t ij j t j i a b V δδ≤≤-=

（2.3）

Viterbi 算法的步骤为：

1. 初始化：11()()i i i b O δπ=，1()0i ?=；

2. 递归迭代：11()max [()]()t i N t ij j t j i a b V δδ≤≤-=，11()argmax [()]t i N t ij j i a ?δ≤≤-=；

3. 终止条件：*1max ()i N T p i δ≤≤=，*1arg max ()t i N T q i δ≤≤=；

4. 回溯：**11[]t t t q q ?++=。

对于学习问题可以采用Baum-Welch 算法求解。与定义forward 变量类似，可以定义backward 变量：

t 12()(...|,)t t T t i i P V V V q s βλ++== （2.4）

向后变量表示t 时刻出现状态S i ，且t 时刻之后满足观察序列(V t+1V t+2…V T )的概率。可以递推得到：

t 1t+11()()()

N ij j t j i a b V j ββ+==∑ （2.5）

根据向前变量和向后变量的定义可以直接得出：

t (,|)()()t i t P q s V a i i λβ==

（2.6）

t 11(|)(,|)()()

N N t i t i i P V P q s V a i i λλβ=====∑∑ （2.7）

从而得到：

t t 1(,|)()()(|,)(|)()()

t i t t i N t i P q s V a i i P q s V P V a i i λβλλβ=====∑

（2.8）

Baum-Welch 是一种迭代的最大期望值算法：给定初始的配置参数，调整模型参数到局部最大化未标记数据的可能性。Baum-Welch 训练算法只能够达到局部最优并且对初始参数设置敏感。Baum-Welch 算法实际上利用了期望最大化（Expectation Maximization ）的思想[31]。

基于标记的中文分词可以和隐马尔可夫模型建立对应关系：每个汉字都是观察值，4种标签（B 、M 、E 、I ）就组成状态的集合。当有训练语料库时，分词问题对应于HMM 中的解码问题，模型参数π、A 、B 可以从训练库中统计得来；当无训练语料库时模型参数π、A 、B 需要通过Baum-Welch 算法学习得来。

2.3条件随机场模型

条件随机场（Conditional Random Fields ，CRF ）最早是由Lafferty 等人于2001年提出来的[32]，同隐马尔可夫一样，条件随机场也是一种出色的基于标记的方法[34][35]，也，也可以用来作中文分词，并且本文还利用它来作情感词的挖掘。条件随机场的思想主要来源于最大熵模型[35]，为了把条件随机场的理论了解清楚，需要先来看一下最大熵模型的推导过程。

最大熵原理（Maximum Entropy ，ME ）的基本概念在1990年由Jaynes 提出[36]，简简单明了地说就是，当需要对一个随机事件的概率分布进行预测时，预测应当满足全部已知的条件，并且对未知的情况不做任何主观的、有偏的假设。在这种情况下概率分布最均匀，预测风险最小。因为这个概率分布的信息熵最大，所以这个模型称为“最大熵模型”。

令输出值的有限集合为Y ，对于每一个y Y ∈都受到上下文信息x 的影响，令x 组成的集合为X ，模型的目标是计算条件概率p(y|x)。人工标记的训练样本是1122{(,),(,),,(,)}N N x y x y x y ，从训练样本中可得到变量x 和y 的联合经验概率分布(,)p

x y 。 (,)(,)N x y p x y = 同时在样本中出现的次数样本的大小 （2.9）

目标是构建一个能生成训练样本分布(,)p

x y 的统计模型，建立特征方程。特征方程要能够完整地反应训练样本中数据的特征，比如在中文分词中使用特征函数:

1''(,)0if y end and x f x y otherwise ==?=??

人 （2.10）

相对于经验分布(,)p x y 特征函数(,)f x y 的数学期望为： ,()(,)(,)x y p

f p x y f x y =∑ （2.11）

相对于模型确定的概率分布(,)p x y ，特征函数(,)f x y 的数学期望为：

,,()(,)(,)()(|)(,)x y x y p f p x y f x y p

x p y x f x y ==∑∑ （2.12）

要求用()p

f 描述的训练样本的统计现象的内存属性能够与模型得到的()p f 所体现的统计现象的内在属性吻合，即()()p

f p f = 。 ,,(,)(,)()(|)(,)x y x y p

x y f x y p x p y x f x y =∑∑ （2.13）

用H(p)来代替H(Y|X)，公式2.14是最大熵的数学模型，它要求在满足公式2.13的约束下使得条件熵H(p)最大。

,,,max ()()(|)log (|)..(,)(,)()(|)(,)x y x y x y H p p x p y x p y x s t p

x y f x y p x p y x f x y ?=-??=??∑∑∑ （2.14）

使用Lagrange 乘子法解决上面的带约束优化问题，对于每一个特征函数i f 都引入一个Lagrange 乘子i λ，得到Lagrange 函数：

1(,)()(()())m i i i i L p H p p f p

f λλ==+-∑ （2.15）

可以求出无约束Lagrange 函数(,)L p λ取得最大值时的p: