微博短文本细粒度情感分析毕业设计论文

摘要

题目：微博短文本细粒度情感分析

摘要

微博作为是移动互联网起步最早也发展最快的业务之一，在经历了最初几年的高速增长和热捧之后，一度有些沉寂。但是，伴随着4G网络、WiFi网络大规模覆盖，移动终端智能设备的极速增长，越来越多的人频繁地使用微博。移动端用户的增长，让微博有了日活跃用户超过1亿的基础。基于该庞大的用户群体，利用微博文本对用户进行情感分析，不仅有利于新生代商业模式探索、社会舆情监控与分析，而且对人工智能发展的积极意义也不容小觑。文本情感分析为人工智能在人类情感领域的探索做出了积极的贡献。

微博具有典型的网络语言特点，语法规范性差、口语化、新词汇层出不穷、大量的表情符号和文本噪声等。基于传统规范书面语言词典的微博情感分析效果差强人意。为了解决这个问题，本文一方面通过对传统情感词典进行网络语言的扩充，构建了新的适用于微博文本分析的词典，并通过实验验证了词典的有效性；另一方面，使用对特殊情感词汇依赖性小的RAE网络模型，性能得到了提高。

含有否定词的文本情感判别较为复杂，否定词的加入可能使原文本情感极性发生转变，也可能极性保持不变，程度有所削弱。传统本文传统的情感分析方法通常对文本模型进行简化，假设一个词语仅和其前一个词语有关，对含有否定词的文本的积极/消极判别较差。RNTN模型没有进行类似简化，保持了词向量之间的强相关性。本文通过对RNTN模型的训练，使其在含有否定词中文文本情感极性判别上有良好的表现。

RNTN模型对词语或短语级细粒度情感分析上表现出色，而且不需要大量的人工标注；RAE模型作为较为成熟的深度学习模型，抛弃了传统的词袋模型，利用层次结构和成分语义来进行情感分类；SVM作为传统机器学习方法，通用性强，适用范围广。结合以上方法的特点以及情感分类的任务目标，本文设计了微博短文本的双极性、细粒度情感分类方案，首先使用SVM对微博篇章进行主客观分类，RAE和RNTN对判定为主观情感的文本的每一个句子进行正负极性判断，并选出极性最强的句子，该句子的情感极性即为整个微博的情感极性。若RAE和RNTN评判结果一致，即为最终结果。并通过实

北京邮电大学硕士学位论文验证明了系统的可行性和高效性。

关键词：微博短文本机器学习神经网络

Abstract

FINE GRAINED SENTIMENT ANALYSIS ABOUT

MICRO BLOG SHORT TEXT

ABSTRACT

As one of the earliest and fastest growing mobile Internet business, in the first few years of rapid growth and heat holding, once some quiet. However, with the 4G network, the WiFi network is a large scale, the rapid growth of mobile terminal intelligent devices, more and more people frequently use microblogging. The growth of mobile end users, so that microblogging has more than one hundred million active users in the day. Based on the huge user groups, the use of microblogging text sentiment analysis of the user, not only conducive to the new generation business model exploration, social public opinion monitoring and analysis and the positive significance to the development of artificial intelligence also should not be underestimated. Text sentiment analysis has made a positive contribution to the exploration of artificial intelligence in the field of human emotion.

Micro blog has the typical characteristics of network language, such as poor grammar, spoken language, new vocabulary, a large number of expression symbols and text noise. The traditional standard written language dictionary based on the analysis of the effect of micro-blog emotion just passable. In order to solve this problem, this paper constructs a new dictionary which is suitable for micro blog text analysis. On the other hand, the performance of the RAE network model is improved.

The emotional judgment of text containing the negative words is more complex, and the addition of the negative word may cause the original emotional polarity to change, and it may remain unchanged. In this paper, the traditional method of sentiment analysis is usually simplified to the text model, assuming that one word is only related to the

北京邮电大学硕士学位论文

former one, and the positive / negative discrimination of the negative words is poor. The RNTN model does not have a similar simplification, and the strong correlation between the word vector is maintained. In this paper, the training of RNTN model, which makes it a good performance in the Chinese text of the negative words.

RNTN model is a good performance in terms of words and phrases, and does not require a lot of manual labeling; RAE model as a more mature deep learning model, abandoned the traditional word bag model, the use of hierarchical structure and composition semantics to carry out emotional classification; SVM as a traditional machine learning method, universal strong, wide range of application. Based on the characteristics of the above methods and the task of sentiment classification, this paper designs the bipolar and fine-grained sentiment classification scheme. Firstly, SVM is used to classify the micro blog text, RNTN and RAE are positive and negative polarity. If the RAE and RNTN evaluation results are consistent, that is the final result. The reliability and stability of the system are verified by experiments.

KEY WORDS：Micro blog short text，Machine Learning ，Neural Network

目录

目录

第一章引言 (1)

1.1 背景 (1)

1.2 情感分析在人工智能上的意义 (2)

1.3 细粒度情感分析 (4)

1.4 文章结构 (5)

1.5 本章小结 (6)

第二章细粒度情感分析方法 (7)

2.1 微博及短文本 (7)

2.1.1 微博短文本特征 (7)

2.1.2 语料库 (8)

2.2 微博短文本情感分析理论基础 (10)

2.2.1 统计语言模型 (10)

2.3 文本机器学习方法 (13)

2.3.1 隐含马尔科夫模型 (13)

2.3.2 K近邻算法 (16)

2.3.3 支持向量机 (18)

2.3.4 贝叶斯分类方法 (19)

2.4递归神经网络 (20)

2.4.1 深度学习的复兴 (20)

2.4.2 神经网络的定义和基本知识 (21)

2.5本章小结 (23)

第三章微博文本准备与处理 (24)

3.1 细粒度情感分析概述 (24)

3.1.1情感分析研究层次 (24)

3.1.2情感信息分类 (25)

3.2 数据清洗 (26)

3.2.1繁体转换 (26)

3.2.2 去除多余标志 (26)

3.3 词典构建 (27)

3.3.1中文分词 (27)

3.3.2词向量 (28)

3.3.3 Word2vec词向量模型 (30)

北京邮电大学硕士学位论文

3.3.4误差反向传播训练 (32)

3.3.5 微博文本词典构建 (34)

3.4 本章小结 (36)

第四章基于递归神经网络的细粒度情感分析 (37)

4.1基于RNTN的双极性情感分析 (37)

4.1.1 RNTN的网络模型训练 (37)

4.1.2 实验1：n-gram细粒度情感分类与结果分析 (39)

4.1.3 实验2：转折句情感分类与结果分析 (40)

4.1.4 实验3：否定句情感分类与结果分析 (40)

4.2基于RAE的多类别情感分类 (42)

4.2.1 RAE的网络模型训练 (42)

4.2.2 实验1：RAE模型参数调整结果与分析 (43)

4.3微博细粒度情感分类 (43)

4.3.1 方案设计 (44)

4.3.2 实验1：基于不同语料库的实验结果分析 (46)

4.3.3 实验2：基于不同情感分析方法的实验结果分析 (47)

4.3.4 实验总结和相关工作 (48)

4.4本章小结 (49)

第五章总结与展望 (50)

5.1 论文总结 (50)

5.2 下一步工作 (50)

参考文献 (52)

缩略词 (54)

致谢.............................................................................................. 错误！未定义书签。

第一章引言

第一章引言

随着新闻中不断报道中国有望在2016年年底接替美国成为第一大经济体【】，新经济范式出现得更加迫切。每一种伟大的经济范式都具备三个要素——通信媒介、能源和运输机制【】。如果没有通信我们就无法管理经济活动、不能生成信息或传输能力，也不能在整个价值链中进行经济活动。无处不在的通信网络正在与初期可再生能源互联网、处于萌芽阶段的自动化物流和交通运输网络相连接，以扩大全球的影响力。

随着通信网互联网、移动互联网、物联网的高速发展，成千上百的爱好者和公司创造了巨大的价值。已在过去10年里，亿万消费者转变为互联网的产消者，开始在网上以接近免费的方式制作和分享音乐、视频和知识，微博就是互联网群体进行知识分享、情感交流、信息传播、产销合一等的最佳平台。微博具有极强的信息流动和传播能力，打通了不同人群之间沟通的地域障碍。11月19日，微博发布2015年第三季度财报。显示，微博营收同比增长48%达到1.247亿美元，盈利2210万美元，比上个季度增幅超过1倍，并连续四个季度实现盈利。同时微博月活跃用户达到2.22亿，同比增长33%，日活跃用户也达到1亿。【】

1.1 背景

微博虽然以PC端发家，但本质上是移动互联网的应用。4G网络在中国已经逐渐普及，大屏智能终端也成为流行，用户使用手机上网越来越频繁。数字显示，上市以来，微博月活跃用户净增长7800多万，其中移动端占比85%，达到1.887亿，比年初增长了近5000万。可以这样讲，正是因为移动端用户的增长，才让微博有了日活跃用户超过1亿的基础。【】

微博用户表现非常活跃，第三财季每条热门微博的评论数量为83.4万条，环比增长5.8%。每条热门微博的平均“点赞”数量为1599个，环比增长20%。对于庞大使用人群的微博平台进行情感研究，不仅仅能够揭示出4G移动网络普及对社会形态的影响，对社会舆情起到良好的监督作用，同时情感分析本身对人工智能的发展有巨大的促进作用。

最早提出机器智能设想的是计算机科学之父阿兰·图灵（Alan Turing），1950年他在《思想》(Mind)杂志上发表了一篇题为“计算的机器和智能”的论文【】。在论文中，图灵并没有提出什么研究方法：让人和机器进行交流，如果人无法判

北京邮电大学硕士学位论文

断自己交流的对象是人还是机器，就说明这个机器有智能了。这个方法被后人称为图灵测试（Turing Test）。让计算机能够像人类一样进行学习、思考、识别人类的情感，最佳的途经之一就是学习人类的语言模式，自然语言处理是使用人工智能得到突破性发展的领域之一。

基于统计的自然语言处理方法，在数学模型和通信是想通的，甚至就是相同的。因此，在数学意义上的自然语言处理又和语言的初衷——通信联系在了一起。但是，科学家们用了几十年才认识到这个系统。

自然语言处理的应用在过去的25年里也发生了巨大的变化。比如对自动问答的需求很大程度上被网页搜索和数据挖掘替代了。而新的应用越来越依靠数据的作用和浅层的自然语言处理工作，这就在客观上大大加速了自然语言处理研究从基于规则的方法到基于统计的方法的转变，变成了非常贴近实际应用的机器翻译、语音识别、文本到数据库自动生成、数据挖掘和知识获取等等【】。

技术进步让世界变得美好，但新的挑战也随之而来。Erik Brynjolfsson和Andrew McAfee提出，数字技术置于人类智力，相当于工业革命时期蒸汽机及相关技术对人类肌肉的解放。数字技术让我们能很快克服多种局限，以前所未有的速度开拓很多新领域。其影响力不可小觑。正如蒸汽机经过了几十年的改良才终于促成工业革命，数字技术的完善同样也需要时间。计算机和机器会不断进化，以惊人的速度学习新事物。这正是引发我们思考的原因，我们正处于所谓“第二个机器时代”的黎明时分。

第二机器时代能够分为几个阶段。第一阶段中，人类步步艰难地传授给机器毕生所学，这也是传统软件编程的内容。到了第二阶段，机器将具备自主学习的能力，甚至创造出连人类都无法解释的知识和技能。目前机器已经在语言、纠错、和计算机游戏中展现出了一定的学习能力。如果机器能够感知情绪和人际互动等人类领先的优势，就可能产生第三个阶段。现在麻省理工学院媒体实验室的研究者正在开发能识别情绪的机器人分析面部表情的能力甚至超过了你我。机器已经开始涉足与创造力、灵活性、情感感知能力相关的领域【】。

1.2 情感分析在人工智能上的意义

如果你一直以来把人工智能（AI）当作科幻小说，但是近来却听到很多学者严肃地讨论这个问题，你可能也会困惑。这种困惑是有原因的【】：

1.我们总是把人工智能和电影想到一起。星球大战、终结者、2001：太空漫游等等。电影是虚构的，那些电影角色也是虚构的，所以我们总是觉得人工智能缺乏真实感。

第一章引言

2.人工智能是个很宽泛的话题。从手机上的计算器到无人驾驶汽车，到未来可能改变世界的重大变革，人工智能可以用来描述很多东西，所以人们会有疑惑。

3.我们日常生活中已经每天都在使用人工智能了，只是我们没意识到而已。John McCarthy，在1956年最早使用了人工智能（Artificial Intelligence）这个词。他总是抱怨“一旦一样东西用人工智能实现了，人们就不再叫它人工智能了。”

人工智能的概念很宽，Tim Urban按照人工智能的实力将其分成三大类【】：弱人工智能Artificial Narrow Intelligence (ANI):弱人工智能是擅长于单个方面的人工智能。比如有能战胜象棋世界冠军的人工智能，但是它只会下象棋，你要问它怎样更好地在硬盘上储存数据，它就不知道怎么回答你了。

强人工智能Artificial General Intelligence (AGI):人类级别的人工智能。强人工智能是指在各方面都能和人类比肩的人工智能，人类能干的脑力活它都能干。创造强人工智能比创造弱人工智能难得多，我们现在还做不到。Linda Gottfredson 把智能定义为“一种宽泛的心理能力，能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作。”强人工智能在进行这些操作时应该和人类一样得心应手。

超人工智能Artificial Superintelligence (ASI):Nick Bostrom把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能。”超人工智能可以是各方面都比人类强一点，也可以是各方面都比人类强万亿倍的。超人工智能也正是为什么人工智能这个话题这么火热的缘故。

Donald Knuth【】提出，“人工智能已经在几乎所有需要思考的领域超过了人类，但是在那些人类和其它动物不需要思考就能完成的事情上，还差得很远。”读者应该能很快意识到，那些对我们来说很简单的事情，其实是很复杂的，它们看上去很简单，因为它们已经在动物进化的过程中经历了几亿年的优化了。当你手拿一件东西的时候，你肩膀、手肘、手腕里的肌肉、肌腱和骨头，瞬间就进行了一组复杂的物理运作，这一切还配合着你的眼睛的运作，使得你的手能都在三维空间中进行直线运作。对你来说这一切轻而易举，因为在你脑中负责处理这些的“软件”已经很完美了。同样的，软件很难识别网站的验证码，不是因为软件太蠢，恰恰相反，是因为这对计算机来说并不是一件容易的事。

人工智能往往离不开机器学习，机器学习中的一个重要领域就是深度学习【】，深度学习技术受益于越来越多的数据，更快的机器与更多核CPU/GPU对深度学习的普及起了很大的促进作用，新的模型，算法和创意层出不穷，通过深度学习技术提升效果首先发生在语音识别和机器视觉领域，然后开始过渡到自然语言处理领域。

微博数量巨大，参与度高，信息更替速度极快成为非常好的研究自然语言处

北京邮电大学硕士学位论文

理的研究样本。

1.3 细粒度情感分析

情感分析（Sentiment analysis），又称倾向性分析，意见抽取（Opinion extraction），意见挖掘（Opinion mining），情感挖掘（Sentiment mining），主观分析（Subjectivity analysis），它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程，如从评论文本中分析用户对“数码相机”的“变焦、价格、大小、重量、闪光、易用性”等属性的情感倾向。

情感计算的概念最早由R.Picard教授在1995年提出，她在其专著《Affective Computing（情感计算）》中定义“情感计算是与情感相关、来源于情感或能对情感施加影响的计算”。情感计算一直都是人工智能方面的研究热点，其包含的领域也有很多，包括面部表情识别、语音情感识别、歌曲情感识别、文本情感分析等等。

挖掘微博（Twitter）中的用户情感发现，其与传统的调查、投票等方法结果有高度的一致性（以消费者信心和政治选举为例，准确度达80%）（Brendan O' Connor, Ramnath Balasubramanyan, Bryan R. Routledge, and Noah A. Smith. 【】研究表明2008年到2009年初，网民情绪低谷是金融危机导致，从2009年5月份开始慢慢恢复。

Johan Bollen【】等人研究表示通过Twitter用户情感预测股票走势，2012年5月，世界首家基于社交媒体的对冲基金Derwent Capital Markets 在屡次跳票后终于上线。它会即时关注Twitter 中的公众情绪指导投资。正如基金创始人保罗?郝汀（Paul Hawtin）表示：“长期以来，投资者已经广泛地认可金融市场由恐惧和贪婪驱使，但我们从未拥有一种技术或数据来量化人们的情感。”一直为金融市场非理性举动所困惑的投资者，终于有了一扇可以了解心灵世界的窗户——那便是微博。每天浩如烟海的推文，在一份2011年8月的报道中显示，利用微博的对冲基金Derwent Capital Markets 在首月的交易中已经盈利，它以1.85%的收益率，让平均数只有0.76%的其他对冲基金相形见绌。类似的工作还有预测电影票房、选举结果等，均是将公众情绪与社会事件对比，发现一致性，并用于预测，如将“冷静CLAM”情绪指数后移3天后和道琼斯工业平均指数DIJA惊人一致。

文本作为网络信息传递的主要载体，也越来越多的引起人们的注意，同时文本情感分析作为情感计算的重要分支也得到了足够的重视。不同学者对文本情感分析理解不同，王宏伟等人认为是对用户发表的评论进行分析，从而识别出隐含的情感信息，并发现用户的情绪演化；张紫琼等人认为情感分析是通过对产品评

第一章引言

论自动分析，发现消费者对该商品的褒贬态度和意见。无伦是从哪个角度理解情感分析，其主要任务按粒度都可以划分为词语级情感分析、语句级情感分析和篇章级情感分析。

目前，篇章级的情感分析应用，效果比较好的主要集中在对产品评论领域的情感分析。由于微博的长度不超过140 个字符，特别是中文微博一般就几个简单的句子或者几个词组、几个表情符号，对于微博短文本的情感分析技术主要集中在词语级和句子级情感分析的应用。

国外方面针对社交媒体的研究相对较早，2005年Pak 【】等人就开始了面向Twitter的情感分析研究。Pak 等人组织标注了Twitter 微博短文本情感极性数据集，实现了基于朴素贝叶斯、支持向量机和条件随机场的情感分类器。Read 【】等人提出可以利用Twitter API 获得大量的表情符号，并对表情符号对情感分类的作用进行了详细论证。Go 等人采用无监督指导的朴素贝叶斯、最大熵和支持向量机三种机器学习方法，将表情符号也加入到所选取特征中，情感倾向判别的准率超过了80%。

由于微博是近几年才在国内发展起来的新型社交媒体平台，所以国内方面针对微博短文本的情感分析研究还相对较少。谢丽星等人对基于表情符号的规则方法、基于情感词典的规则方法和基于SVM的层次结构的多策略方法进行了深入的研究，结果表明基于SVM 的层次结构多策略方法效果最好。国内目前微博短文本情感分析的研究现状大部分都是通过统计微博中情感词的出现频率来确定其情感倾向性，并没有考虑其上下文语境，更没有从语义理解的角度进行研究，从而影响最终结果的正确率；

再者，大部分的分析方法是将传统的情感分析移植到微博研究中，并没有深入挖掘微博个性化情感特征，导致正确率始终没有明显的提高。

1.4 文章结构

本文以信息系统数据挖掘典型方法——机器学习为研究基础，介绍了机器学习中常用的方法和体系架构，并针对微博短文本的语言特点，传统情感分析的词典覆盖面有限，从构建新的情感词典和使用对特殊情感词依赖性低的RAE模型两方面解决这个问题。其次，针对传统文本情感分析方法对含有否定词的文本情感判别的低效性的问题，使用并训练RNTN神经网络模型，增强输入词向量之间的相关性，使对否定的判别得到了提升。最后，结合SVM、RAE、RNTN的特点，设计一套针对微博短文本细粒度情感判别的方案，并通过仿真测试验证了方案的可行性与高效性。

北京邮电大学硕士学位论文

论文将按照如下组织结构展开：

第二章，具体介绍了微博文本类常用的方法，包括支持向量机、朴素贝叶斯、人工神经网络等多个方面。

第三章，分析了当前微博短文本情感分析中存在的问题，词典覆盖不全和需要大量人工标注的，结和Word2vec进行分词和词性标注，并构建了针对微博文本的情感词典。

第四章，结合实例，详细阐述了解决否定情感句的模型，比较了多个方法在否定情感判别上的优劣，通过对RNTN和RAE的模型训练，提高了性能。最后结合SVM、RAE和RNTN的特点，设计微博细粒度情感分析的方案，并描述了设计原则以及优缺点。

第五章，对全文进行总结并对未来的研究工作进行展望。

1.5 本章小结

本章首先阐述了当前微博短文本情感分析所面临的挑战和网诞生的背景，结合具体数据指出提升情感分析系统的必要性。其次，本章介绍了人工智能的信息研究进展，简述了其架构特点，阐述架构中存在的问题。第三，结合文本问题研究现状指出了论文选题的意义。最后，介绍了全文组织结构。

第二章细粒度情感分析方法

第二章细粒度情感分析方法

2.1 微博及短文本

2.1.1 微博短文本特征

微博(Weibo 或Micro-blog)，又称微博客，是一个基于用户关注机制的信息分享、传播及获取平台，用户可以通过WEB、WAP 以及各种联网的智能客户端，公开发布140 字符左右的消息，可以包含表情符号、图片、链接地址等，并实现即时分享自己的日常生活，心情感悟，或者表达个人观点。微博将网民从单纯的信息接收者变成了接收和发布信息的完全参与者。

微博承载的主要形式就是短文本。短文本就是指内容长度较短的文本格式的信息，统计NLP&CC2014 会议中文微博情绪分析评测所提供的4000 条微博语料，通常微博短文本只包含1-6 个短句。和传统的文章、新闻等正式文本相比，微博短文本有很大的特殊性：

(1) 数据稀疏性。微博由于文本字数受到限制，单条微博短文本通常只有一个或几个短句组成，这就在很大程度上造成了数据稀疏的问题。对仅有几十字节大小的微博短文本进行情感分析，只包含几个或十几个词，很难有效的抽取情感词，情感空间模型表示起来势必会造成严重的数据稀疏问题。

(2) 不规范性。微博短文本表达简洁，用语精炼又十分口语化，极不规范，缩写和拼写错误很常见，还经常掺杂着一些新近的流行网络语言、表情符号和链接地址，如果说数据稀疏可以通过某种词语聚类能在某种程度上解决这个问题，但又由于微博语言的非正式性，词语聚类又成了情感分析过程中新的瓶颈。

(3) 实时性。微博可以随时随地通过互联网和各种智能终端发布和接收博文，而且无须经过审批，方便快捷，其时效性大大增强。任何新闻或事件都可能在微博迅速形成话题，短时间内关于该话题的评论就会铺天盖地的产生。通过实时产生的海量数据做舆情分析，可以快速引导大众舆论，但是海量的微博短文本会导致有效样本分布不均匀，噪音更多，所以对微博短文本情感分析系统的性能要求更高。

(4) 交互性。微博是基于“弱关系”的社交平台，大量的微博信息都是通过回复和转发而产生的，这样的“交互性”微博具有丰富的上下文语境，所产生的微博短文本带有大量的省略和指代，而且产生了大量无关字符，这对情感要素抽

北京邮电大学硕士学位论文

取造成了困难。

(5) 无领域性。传统的评论大多只针对产品、新闻的某一个特定的领域，然而微博的内容缺毫无领域性可言，评论领域广泛，无论是对新闻热点事件的讨论，还是对产品的评论，或是抒发自己的人生感悟，甚至是与好友、明星、意见领袖的直接对话都在微博中广泛存在。这就要求微博情感分析系统具有可移植性。

2.1.2 语料库

语料库和在线词典是自然语言处理中不可缺少的部分，是自然语言处理迈向实用的根基。在语言学中，语料库（Corpus）或文本语料库（Test Corpus）是指大型的结构化的文本集，现在通常使用电子设备存储和处理。它们通常用于统计分析和假设检验之中，来检验在特定的语言领域内出现的语言情况或验证语言规则。

语料库可以含有单一语言文本（单语语料库），也可以包含多种语言文本数据（多语语料库）。特殊格式的端到端的比较的多语言语料库，称为对齐平行语料库。包含两种语言文本的平行语料库有2种主要形式，即翻译语料库和对比语料库。在翻译类语料库中，一种语言的文本是另一种语言文本的翻译。在对比语料库中，文本覆盖相同的内容，并且是同一种文本类型，但它们不是彼此的另一种语言翻译。【Wo?k, K.; Marasek, K. A Sentence Meaning Based Alignment Method for Parallel Text Corpora Preparation. Advances in Intelligent Systems and Computing (Springer) 275: 107–114. ISBN 978-3-319-05950-1. ISSN 2194-5357】为了开发一个平行文本，识别某种对齐文本的等效文本段（短语或句子）的是进行先决分析的条件之一。机器翻译算法的翻译语言之间的经常使用平行的片段，包括第一语言语料库和第二语言语料库，这是一个元素的第一语言语料库元素的翻译。对双语翻译的机器翻译算法训练，通常使用包含第一语言语料库和第二语言语料库的平行片段，其中第二语料库是第一语言语料库中元素的一对一翻译。【Wo?k, K.; Marasek, K. (2015). "Tuned and GPU-accelerated Parallel Data Mining from Comparable Corpora". Lecture Notes in Artificial Intelligence (Springer): 32–40. ISBN 978-3-319-24032-9.】

为了使语料库更有利于语言研究，往往会对其进行标注。一种形式是对语料库进行词性标注（Art-of-speech tagging或者POS-tagging），每个词语的部分信息（如词性，动词、名词、形容词、副词等）以标签的形式添加进语料库中。另一种形式是以基的形式表示每个词语。当主体语言不是研究人员的工作语言，行间注释用来做双语标注。

第二章细粒度情感分析方法

一些语料库有用来分析应用的进一步层次化结构。特别是，一些较小的语料库可以被完全解析。这些语料库通常被称作树库（Treebanks）或解析语料库（Parsed Corpora），如斯坦福情感树库（）。确保整个语料库注释的完整性和一致性的难度在于，这些语料库通常较小，仅包含约一至三百万词语。语言结构的其他层次分析是可行的，其中包括形态、语义等的注释。

在自然语言处理、语音识别和机器翻译领域中，各种类型的语料库的分析和处理得到了很大的发展，通常创建一个隐马尔可夫模型用于词性标注或者其他用途。

下文将介绍几种常用的语料库和在线词典。

语料库列表：

DBpedia：由柏林自由大学和莱比锡大学与OpenLink Software共同合作，于2007出版的第一个公开可用的基于维基百科的数据集。维基百科的文章主要包括自由文本和一些结构化信息，如“信息框”表、分类信息、图片、地理坐标和外部链接的网页。【Bizer, Christian; Lehmann, Jens;et.. "DBpedia - A crystallization point for the Web of Data". Web Semantics: Science,Services and Agents on the World Wide Web 7 (3): 154–165. doi:10.1016/j.websem.2009.07.002. ISSN 1570-8268.】这种结构化的信息被提取并统一放置在一个数据集中，供使用者查询。2014年9月发布了新版本，其中主要变化是对抽象文本的提取方式，通过运行维基百科的本地镜像，从中提取所需摘要，提取文本的过程相当简洁。整个DBpedia数据集描了述4580000个实体，其中4220000个被归类为一个一致的本体，包括1445000个人，735000个地方，123000个音乐专辑，87000部电影，19000个视频游戏，241000个组织，251000个物种和6000个疾病。数据集关于这些实体的功能标签和摘要多达125种不同的语言，25200000个到图像的链接和29800000个到外部网页链接。此外，它包含大约50000000个到其他RDF数据集的链接，80900000个到维基百科的类别链接以及41200000 个YAGO2类别。DBpedia中映射语言已经发展到帮助语言映射到属性本体，同时减少同义词的数量。由于使用维基百科的多样性和大量性，发展和完善这些映射的过程中已经对公众开放。【"DBpedia Version 2014 released". DBpedia. Retrieved 9 September 2014.】

WordNet：是一个词汇语言数据库。【G. A. Miller, R. Beckwith, C. D. Fellbaum, D. Gross, K. Miller. 1990. WordNet: An online lexical database. Int. J. Lexicograph. 3, 4, pp. 235–244.】可以被看作是一个组合的字典和词典，主要用于自动文本分析和人工智能。数据库和软件工具可以免费从WordNet的网站下载。无论是字典