关于新闻和微博的大规模情感分析

关于新闻和微博的大规模情感分析

摘要

报纸和微博用来表达对最近报道的新鲜实体（任务、地点、事情）的观点。我们创造一个以打分的形式存在的系统，此系统用来指示文本语料库中的对每一个有区别的实体的积极和消极的观点。我们的系统包括一个与每一个相关实体的观点相联系的情感识别阶段和一个对同一类中每一个其他相关实体打分的情感聚集和评分阶段。最后，我们评估这种基于新闻和微博大规模语料库的这种打分技术的意义。

1.简介

新闻有好坏之分，但却很少有中立的情况。尽管在机器的操控下对于自然语言文本的充分理解发展得很好，但是对简单情感核心的相关性的数据分析可以提供一些令人惊奇的、有意义的的理解，这些理解都是关于最近的新闻消息如何影响重要的实体的。

在这篇论文中，我们将论述基于Lydia文本分析系统[1、2、3、4、5]顶部的对于新闻和微博实体大规模情感分析的发展。我们决定成千上万的所追踪的实体的公共情感和这种情感如何随着时间变化。我们鼓励读者学习我们在/sentimen上对于所喜欢的新闻实体的历史情感分析，同时对在/sentiment发布的日常情感分析提出意见和建议。在第六部分，我们将在系统的证明论文中给出几个我们分析的例子。

在这篇论文中，我们将讨论关于情感分析系统的几个部分，包括：

*情感字典的算法结构——我们的情感索引精密地依赖于对有积极和消极含义的形容词的参考频率的追踪。我们找到一种方法，将有积极和消极意义词的候选列表扩展为在词汇网络中建立的基于情感分析的同义词和反义词的全面的情感词典。我们用情感的交替次数来决定候选词的受欢迎程度和消除含义模糊的词。我们将呈现精密的算法和执行结果。

*情感索引规划——构造能够反映并列情感词意义的数据索引是很重要和微妙的。我们提出了一种用情感词和实体的并列以及以频率权重来衡量的用幸福水平来给实体情感打分的插入的技术。

*意义的评估——我们提供了情感评估合理性的证据，此情感评估与现实世界的几个级别的时间相联系，这些事件包括（1）专业篮球和篮球比赛的结果，（2）股票市场目录的表现，和（3）季节的影响。乐观统计表明我们的分析者能够准确地测量出公共情感。我们还提出轶事一样的证据用来证明我们的分析。

最后，我们讨论可能的应用和我们工作的意义。

2．相关工作

自然语言的情感分析是一个正在成长的大规模领域。特别是关于我们任务先前的相关工作

自然分配给我们这两个小组。第一个小组是关于自动收集情感字典的技术。第二个是关于整个文档进行情感分析（总体上或者部分的）的系统的技术。

2.1 具有决定性的语义方向的词

Hatzivassilogou和McKeown假设词性相同的形容词可以用“和”来区分，而词性相反的用“但是”来区分。从小的种子列表开始，这种信息过去常常用来将形容词分为两个集合，比如最大的约束条件是满意的。

Wiebe像评价渐变的等级一样来评估形容词的词性。数据模型将形容词根

据其语气和语义方向将其分成几个集合。这种渐变的形容词的使用对主观性的决定起着重要的作用。数据模型用来预测形容词的渐变性。

Kim和Hovy评价观点持有者（实体），此观点持有者通过扩展种子列表在词汇网络中产生积极和消极词的列表。他们假设一个词的同义词（反义词）有相同的（相反的）词性。一个词的同义词所占的比例属于用于测量其词性强弱的词性列表，而另一些则被认为是中立的或者词义不清的入口。当主题附近包括的词在这个句子中时就会产生最好的结果。

2.2情感分析系统

已经建立起来的几个系统用于在产品的综述中对观点进行量化。Pang、Lee和Vaithyanathan执行对电影综述中的情感分析。他们的结果表明机器学习技术比简单技术方法效果更好。对于词性级别的正确性他们大概能达到83%。在第[11]部分，他们确定了在一篇综述中哪些句子具有用于提高情感分析的主观因素。在这个系统中我们不做区别，因为我们认为事实和观点都对关于新闻实体的公共情感有影响。

自人们都不同意整体文档情感以后，Nasukawa和Yi[12]认为局部情感比整体文档情感更加据有说服力。他们集中于辨别这些情感表达的方向和决定这些情感的目标。浅显的语法分析辨别目标和情感表达；后者用目标来评估并与目标相联系。我们的系统也进行局部情感分析，但是是为了加快和变形：在相同的句子中，我们将情感归于所有并列的实体而不是某一特殊的目标。在[13]部分里，他们用特征词追踪器来进行追随。在给定的项目中，特征追踪器辨认局部或者是项目的属性。比如电池和摄像头是照相机的特征。

3.情感词典的产生

情感分析取决于在语料库和方向上我们对一个情感词的辨别能力。我们为七个情感规模（常规、健康、犯罪、运动、商业、政治、媒体）依次进行定义。我们选择这些规模是基于我们用对意见和情感的区别标准来区别新闻规模的辨认度。扩大情感词典的数量可以使更多的精力放在分析特殊目标的现象上，但是在人类屏幕上潜在着大量的消耗。为了避免这个，我们发明了一种将小规模的种子情感词扩展为充分的词典的算法。

3.1贯穿于路径分析的词典算法

在第二部分详细介绍过的先前的系统通过电脑词典-词汇网络[14]对同义词的递归查询的办法已经将种子列表扩展为词典.。这种方法的缺陷在于同义词会随着距离而一直减弱。第一组数据将会显示通过词汇网络同义词的链接四种方法如何从好变成坏的。

为了抵消这些问题，情感词的产生算法扩展了一系列以同义词和反义词查询的种子词，如下：

*我们将一个词性（积极或者消极）与每个词和查询的同义词和反义词两方面同时联系在一起，就像同义词[15,16]从它父母那里继承词性,反之反义词继承相反的词性。

*一条路径的意义随着它在种子词中深度和广度的作用而减弱，就像[9,17,18]所描述的。词W的意义在深度d上以指数（W）=1/cd（c是常数，c＞1）形式减少，最后每个词的分数是整天所接收路径上所有分数的综合。

表1：每个形容词的情感词典的构成

*在积极和消极词之间转换的路径像是伪造的。因此我们的算法运行两次迭代。第一次计算每个词的先前分数，就像上面所描述的那样对每个先前的词进行评估。当计算明显的情感交替和跳跃时，第二次迭代重新列举路径。跳跃越少，这条路径越值得信任。最后的分数只考虑哪些跳跃值在我们预设的关口之内的路径。

*词汇网络用含义对同义词/反义词进行排序，先采用在列表中更加普通的含义。既然这些指定的分数服从正态分布，他们自然转换为z-分数。大多数的词位于中间模糊的分配地带，这意味着他们不能被以积极和消极的范围连续的分开。一些词义模糊的词被丢弃，只取既不极端也不词义扭曲的词的前X%。

表1展示了算法产生和形容词每个阶级的情感词典的构成

3.2性能评估

我们通过两种不同的方式评估了我们的情感词库的生成。第一种方法我们称为un-测试。前缀“un-”和“im-”通常是负面情感的术语。因此形式为X和unX 的术语应当出现在情感频谱上不同的两端，就像“能胜任的”和“不能胜任的”。表格2记录了部分拥有同极性的配对（正面术语和负面术语）。因此这个比率越低越好。我们的结果显示，以查全率为代价的精确度提高需要我们：

（1）限制通道情绪交替的数量，和

（2）删除少数对义性词语正在增长的部分。