基于BiLSTM-ATT的微博用户情感分类研究

26传感器与微系统(Transducer and Microsystem Technologies)2021年第40卷第2期
DOI ： 10.13873/J. 1000-9787(2021)02-0026-04
基于BiLSTM-ATT 的微博用户情感分类研究*
*收稿日期：2019-08-27
*基金项目：国家自然科学基金资助项目(61701296)；上海工程技术大学学科建设项目(19KY0229)
谢思雅，施一萍，胡佳玲，陈 藩，刘 瑾
(上海工程技术大学电子电气工程学院，上海201620)
摘 要：针对目前微博平台的文本情感分类模型大多是对句子的词性、表情符号等进行情感分析而不了 解用户本身的情感倾向且存在语义理解不足的问题,提出一种利用Word2Vec 结合深度学习的方法对微 博用户进行情感分类。

使用Worcl2Vec 中的Skip-Gram 模型结合负采样对语料训练词向量，然后利用双向 长短期记忆网络(BiLSTM)-ATT 模型自动学习词向量中的情感信息，捕捉文本数据中最具代表性的特征， 最后经过SoftMax 层对微博用户的情感倾向进行分类。

在NLPCC2013数据集上进行测试，同时做了 5组 对比试验。

结果表明:所提出的模型AVP 达到0.814,AVF1值达到0.831，且在词向量维度取150吋效果最好。

关键词：词向量；双向长短时记忆网络；注意力机制；情感分类
中图分类号：TP391.1 文献标识码：A 文章编号：1000-9787(2021)02-0026-04
Research on emotional classification of weibo
users based on BiLSTM-ATT '
XIE Siya, SHI Yiping, HU Jialing, CHEN Fan,LIU Jin
(School of Electronic and Electrical Engineering ,Shanghai University of Engineering Science ,Shanghai 201620,China)
Abstract : In view of lhe current emotional classification models for lext on weibo platform , most of them conduct emotional analysis on the part of speech or emoji of a setence, etc ・ without understanding users ? emotional tendency and lack of semantic understand!ng. Proposing a method of emotional classification for weibo users by using Word2Vec combined with deep learning. Specifically , skip-gram model in Word2Vec and negative sampling are used to train word vectors. Then bidirectional long short-term memory ( B 订STM )・attenlion mechanism ( ATT) model is used to automatically learn the emotional information in word vectors , capture the most representative features in text data , and finally classify lhe emotional tendencies of Weibo users through softmax layer ・ Test on NLPCC2013 data set , at the same time , made five group of contrast test. The results show that the new model AVP reaches 0. 814, AVF1 reaches 0. 831 ,and the effect is best when the dimension of word vector is 150.Keywords : word vector ； BiLSTM ； attention mechanisms ； sentiment classification
0引言随着移动互联网的迅速发展，新浪微博已成为广大群 众抒发情感发表观点的重要平台。

了解其言论情感就能了 解用户该时间段内的情感倾向,从而获得更多信息。

传统的文本情感分析方法主要有:基于情感词典、基于 表情符号等。

如文献［1］使用情感词典的方法，文献［2］利 用表情符号进行情感分类。

但这些方法需要花费大量的时 间提取文本数据中的特征。

因此，利用机器学习和深度学 习进行情感分类的方法应运而生。

针对微博短文本，张 英⑶提出了一种基于深度卷积神经网络的情感分类方法， 并与 支持向量机(support vector machine, SVM)算法和卷 积神经网络(convolutional neural network , CNN )方法进行比 较，验证该模型的有效性。

李鸣等人⑷应用Apriori 算法和
情感词典匹配算法进行了较准确的文本情感分析。

袁 磊⑸利用改进的卡方统计量算法进行特征提取，提高了情 感文本分类的准确率。

本文针对用户自身的情感倾向提出了一种使用词向量 结合深度学习的方式去学习文本中的情感信息，在 NLPCC2013语料集的基础上构建一个新的带有微博用户 情感信息的数据集进行测试，最终实现了更准确的用户情 感倾向分类。

这些结果对政府了解群众的情感动态以及企 业了解用户喜好有重要价值。

1相关工作
长短期记忆(long short-term memory ,LSTM )网络是一
第2期谢思雅，等:基于BiLSTM-ATT的微博用户情感分类研究27
种较特殊的循环神经网络（RNN）,可以做到长期依赖信息。

Sundermeyer M等人解释了怎样使用LSTM构造语言模型⑹。

Zou H等人⑺使用LSTM模型对文档进行处理，解决了跨语言的文本情感分类问题。

Tang D等人⑻利用CNN 结合LSTM构建的神经网络进行文档分类，判断情感性质。

但LSTM模型存在单向传输且存储过小的问题。

因此，金宸等人⑼将双向的LSTM模型运用到中文情感分类中，并构建了完整的模型。

注意力机制（attention mechanism,ATT）最早是在计算机视觉领域被提出来的。

Bahdanau D等人"°】将注意力机制和神经网络相结合，证明了注意力机制与深度学习相结合的有效性。

Liang B等人⑴］将多注意力机制和CNN相结合用于处理文本情感分析的任务，其分析准确性比单一神经网络模型更高。

2基于BiLSTM-ATT的模型
2.1整体模型
如图1所示为本文提出的整体模型结构。

I输出层I
|注意力层I
|Bi-LSTM层|
|词嵌入层|
|情感分类结果|
图1BiLSTM-ATl模型结构
首先，将经过预处理的中文文本经过词嵌入层训练成词向量形式，作为BiLSTM层的输入，提取出全局特征，利用注意力机制重点关注文本中的情感信息,最后经过SoliMax 层进行分类,完成微博用户的情感分类。

2.2文本预处理
本文采用Jieba分词对文本进行分词，然后基于哈工大提供的停用词表对其进行去停用词处理。

2.3词向量
将经过预处理后的文本利用Word2Vec模型训练成词向量。

Word2Vec包含两种神经网络语言模型：CBOW和Skip-Gram模型。

文献［12］采用的CBOW模型，但考虑到与CBOW模型相比,Skip-Gram模型对于中心词的预测和调整，能使词向量相对更准确，所以本文选择了Skip-Gram模型，并利用负采样减少计算量，优化算法。

Skip-Gram模型图如图2所示。

叫2
叫
■O
图2Skip-Gram模型
Skip-Gram模型包含三层：输入层、投影层和输岀层。

其中,输入层是从词向量矩阵中取出一行，通过中间投影层将输入层输出的词向量传递到输出层〔⑶，预测输出叭的上下文叫_1，叫_2，叫+1，叫+2。

2.4BiLSTM
LSTM具有输入门、遗忘门、输出门结构，可以解决当预测位置和相关信息之间的文本间隔很大时,RNN学习不到的问题。

周瑛等人〔⑷提出的基于注意力机制的LSTM模型在情感分析任务中效果甚好，但无法体现词与词之间的关系。

这是因为在LSTM中，状态传输是单向的。

但在某些微博用户文本信息中，当前时刻的状态不仅和之前的状态有关，也和之后的状态有关。

因此,本文采用双向LSTM来充分利用上下文关系。

BiLSTM是由两个LSTM上下反向组成的，输出由这两个LSTM的状态共同决定。

当向输入层输入一个词向量时，双向LSTM模型会分别从前后两个方向进行运算。

输出向量h… ,h n作为n时刻BiLSTM的输出y n,w为权重为偏置，〃为隐藏单元数。

自前向后LSTM的更新公式为
K=H（咋各+W直匚,加）(1)自后向前LSTM的更新公式为
h“皿（W朋”+旳“宀+厉(2)两层LSTM叠加后输出层
K=Wg r h n+W iiy h…+b y(3) 2.5注意力机制
在微博语料集中，并不是所有词都对子句的语义表达有作用。

因此，本文引入注意力机制来提取重要的信息，并选择性忽略无用的信息，最后将这些信息的向量组合在一起作为输出，起到重点词关注的作用。

其中,W w,b w是注意力模型的权重和偏置，九是BiLSTM层的输出；％也是权重值，计算结果＜P,表示文本中每个词的重要度信息；V是经过注意力模型计算后的输出向量。

具体计算公式如下
=tanh(W u h,+b w)(4) exp(u^u,…)
/^exp(uX)
t
v=X w扎
t
(6) 2.6SoftMax层
将经过模型处理的文本信息通过SoftMax层输出情感类别判定结果。

采用反向传播算法对模型参数进行梯度更新。

其中,K是分类器的输出，C是总类别个数,S：是当前元素与所有元素的比值，即判断为每个类别的概率S严—（7）
i
28传感器与微系统第40卷
SoflMax的损失函数
C
L i=~s>,+1°g s e's;⑻
7=1
式中s”为正确类别对应的函数,Sj为正确类别对应的SoftMax输出。

为防止模型过拟合,本文在SoftMax层中采用了Dropout训练。

3实验结果与分析
3.1实验语料
为确保选取用户发表的言论能够更好地反映该用户在一段时间内所处的情感状态，随机挑选了200位微博用户，爬取了约5000条微博语句，结合NLPCC2013语料构建了一个新的带有微博用户文本信息的数据集，如表1。

表1实验数据集语料分布
样本情感类型训练集测试集
积极40002935
消极40002026
中性4000182
总数量120005143选取训练集时使3种情感类别的样本数量相同，是为防止因训练样本数量不同而造成误差。

3.2实验环境
Windows10操作系统，Intel Core i7-8550U,8GB内存, Python编程语言,Tensorflow框架,PyCharm开发环境。

3.3评价指标
本文所采用的评价标准如表2所示。

表2评价标准表
结果系统判定属于A类系统判断不属于A类实际属于A类T?心
实际不属于A类F p
精确率P：分类器做出的正确预测为类别A占所有预测为类别A的比例。

召回率R：分类器在类别A中做岀的正确分类占实际为类别A的比例。

值:精确率和召回率的加权平均
P=片/(T P+F P),R=T P/(Tp+心)，F】=2x P x R p/ (P+R)(9)由于本文实现的是三分类，在计算出用户情感倾向为积极、消极和中性对应的精确率P,召回率R及几值后，取三个类别的平均值作为评价标准，即AVP,AVR和AVF10 3.4参数设置
BiLSTM-ATT模型采用Tanh激活函数，窗口长度设置为5,即取中心词左右两边各5个字,Dropout为0.5,词向量维度取150,负采样中的批处理个数为礎,隐含层节点数取200。

3.5实验结果与分析
实验1对比实验。

为了更好体现出本文方法的优势，做了5组对比实验：1)SVM：使用TF-1DF(term frequency­inverse document frequency)111来表示微博语句，使用SVM 算法进行情感分类；2)LSTM：使用Word2Vec构建词向量后，通过LSTM模型，再用SVM进行情感分类;3)LSTM+ ATT：使用Word2Vec构建词向量后，通过引入注意力机制的ISI'M模型，再用SoftMax进行情感分类；4)BiLSTM：使用Word2Vec构建词向量后，利用BiLSTM模型来提取文本的深度词向量特征，再用SoftMax进行情感分类;5)BiLSTM+ CNN：使用Word2Vec构建词向量后，通过BiLSTM-CNN模型提取文本信息，最后使用全连接层进行分类^。

实验结果如表3所示。

表3NLPCC2013语料集不同模型比较
模型AVP AVR AVF1
SVM0.6470.6880.632
LSTM0.7210.7460.701 LSTM+A1T0.7770.7910.795
BJI5TM0.7970.7640.775 BiLSTM+CNN0.8090.8200.803
本文模型0.8140.8170.831
根据表3可以看出:方法(1)的分类效果最差，其AVP 只有0.647,AVR只有0.688,AVF1更低只有0.632，这主要是因为TF-IDF算法提取关键词太依赖语料库。

与方法(1)相比，方法(2)的各项指标要更高些。

BiLSTM可以双向传输，显而易见，方法(4)比方法(2)在AVP上提升了7.6%,在AVR上提升了1.8%,在AVF］上提升了7.4%。

为了更好与本文方法进行比较，进行了方法(3)的实验，除了模型中LSTM的区别外，其它结构一样。

实验结果表明，本文模型实现的各项指标高于方法(3),其中AV片提升最高为3.6%。

方法(5)是在BiLSTM模型的基础上，将提取到的文本信息传入CNN中，得到比BiLSTM更好的分类性能，AVP,AVR,AVF］分别达到0.809,0.820,0.803o在所有的模型方法中，本文方法取得最高的平均精确率，达到了0.814,且AVF］值也是最高，达到0.831。

实验2不同词向量维度。

为确保参数最优化，另做了当词向量维度不同时AVP,AVR,AVF］值为多少的实验，结果如图3所示。

图3不同词向量维度AVP.AVR.AVFl比较从图3中可以看出：在词向量维度为150左右时变化趋势较大,150之后变化较为缓慢。

AVP,AVR,AVF,在词向量维度变化时整体呈现出先增大后减小的趋势。

当词向
第2期谢思雅，等:基于BiLSTM-ATT的微博用户情感分类研究29
量维度达到150时,AVP,AVR,AVFj值最大，总休性能指标较好。

4结束语
本文针对微博用户提岀了一种新的文本情感分类方法,经过预处理后，使用Word2Vec词向量结合深度学习的方法，对微博用户的情感倾向进行分类，词向量维度达到150时，效果最好。

本文还在NI.PCC2013语料集的基础上，构建了一个新的带有微博用户情感信息的数据集。

实验结果表明，本文提出的模型在NLPCC2013语料集上实现效果更好。

参考文献：
[1]李永帅，王黎明，柴玉梅，等.基于双向LSTM的动态情感词典
构建方法研究[J].小型微型计算机系统,2019,40⑶：503-509.
[2]阳庆玲，郑志伟,邱佳玲，等•基于表情符号的文本情感分析
研究[J].现代预防医学,2019,46(9)：1537-1540.
[3]张英•基于深度神经网络的微博短文本情感分析研究[D].郑
州：中原工学院,2017.
[4]李鸣，吴波，宋阳，等•细粒度情感分析的酒店评论研究[J]•
传感器与微系统,2016,35(12)：41-43,47.
[5]袁磊•基于改进CH1特征选择的情感文本分类研究[J].传感
器与微系统,2017,36(5):47-51.
[6]SUNDERMEYER M,SCHLUTER R,NEY H.LSTM neural net-
works for language modeling[C]//Interspeech,2012：194—197.
[7]ZOU H,TANG X ,XIE B ,et al.Sentiment classification using
machine learning techniques with syntax features[C]〃Interna­tional Conference on Computational Science and Computational
Intelligence,IEEE Computer Society,2015：175—179.
(上接第25页)
[5]ARIYANTO G,NIXON M S.Model-based3D gait biometrics[C]〃
2011International Joint Conference on Biometrics(IJCB),
IEEE,2011：1-7.
[6]BODOR R,DRENNER A,FEIIR D,et al.View-independent human
motion classification using image-based reconstniction[J].Image
and Vision Computing,2009,27(8)：1194-1206.
[7]TOME D,RUSSELL C,AGAPITO L.Lifting from the deep：
Convolutional3d pose estimation from a single image[C~\//
Proceedings of the IEEE Conference on Computer Vision and
Pattern Recognition,2017：2500—2509.
[8]WEI S E,RAMAKRISHNA V,KANADE T,et al.Convolutional
pose machines[C]〃Proceedings of lhe IEEE Conference on
Computer Vision and Pattern Recognition,2016：4724—4732. [9]LIU J,SHAHROUDY A,XU D,et al.Spatio-temporal1STM with
trust gates for3D human action recognition[C]European
Conference on Computer Vision‘Springer,Cham,2016：816—833. [10]WENG J,LIU M,JIANG X,et al.Deformable pose traversal [8]TANG D,QIN B,LIU T.Document modeling with gated recurrent
neural network for sentiment classification[C~]//EMNLP,2015:
1422-1432.
[9]金宸,李维华，姬晨，等•基于双向LSTM神经网络模型的中文
分词[J]・中文信息学报,2018,32(2)：29-37.
[10]BAHDANAU D,CHO K H,BENGIO Y B.Neural machine trans­
lation by jointly learning to align and translate[C]〃Pn)c of Inter­
national Conference on Learning Representations,2015:940—
1000.
[11]LIANG B,LIU Q,XU J,et al.Aspect-based sentiment analysis
based on multi-attention CNN[J].Journal of Computer Research
&Development,2017,54(8)：1724-1735.
[12]黄贤英，刘广峰，刘小洋，等.基于Word2Vec和双向LSTM的
情感分类深度模型[J]•计算机应用研究,2019,36(12)：3583一
3587,3596.
[13]胡西祥.基于深度学习的微博评论情感倾向性分析[D].哈尔
滨:哈尔滨工业大学,2017.
[14]周瑛，刘越，蔡俊•基于注意力机制的微博情感分析[J]•情报
理论与实践,2018,41(3)：89-94.
[15]宋呈祥，陈秀宏，牛强•文本分类中基于CHI改进的特征选择
方法[J]•传感器与微系统,2019,38(2)：37-40.
[16]谭咏梅，刘姝雯，吕学强.基于CNN与双向LSTM的中文文本
蕴含识别方法[J]・中文信息学报,2018,32(7)：11-19.
作者简介：
谢思雅(1995-),女，硕士研究生，研究方向为深度学习和图像处理,E-mail：1275463664@0
施一萍(1964-)，女，通讯作者，副教授,硕士研究生导师,主要研究领域为深度学习和智能控制等,E-mail：syp@ o
convolution for3D action and gesture recognition Procee・
dings of the European Conference on Computer Vision(ECCV),
2018:136-152.
[11]LEA C,FLYNN M D,VIDAL R,et al.Temporal convolutional
networks for action segmentation and detection[C]//Proceedings
of the IEEE Conference on Computer Vision and Pattern Recogni­
tion,2017：156-165.
[12]HU J,SHEN L,SUN G.Squeeze-and-excitation networks[C]〃
Proceedings of the IEEE Conference on Computer Vision and
Pattern Recognition,2018：7132—7141.
[13]YU S,TAN D,TAN T.A framework for evaluating the effect of
view angle,clothing and carrying condition on gait recogni・
tion[C]//18th International Conference on Pattern Recognition,
ICPR'06,IEEE,2006：441一444.
作者简介：
赵黎明(1995-)，男，硕士研究生，研究方向为计算机视觉与模式识别,E-mail：1447939055@。

张荣(1974-)，女，通讯作者，博士，副教授，主要研究领域为计算机视觉擞字取证与信息安全,E-mail:zhangrong@ o。