基于深度学习与自注意力机制的情感分类方法研究

基于深度学习与自注意力机制的情感分类方法研究传统的情感分类算法大多基于浅层的机器学习,采用人工设计的特征选择方法进行特征提取,但这些方法耗时长,训练难,人工成本高的缺陷很难适用于如今数据集庞大的应用场景。基于深度学习的情感分类方法,能从海量数据中主动学习包含语义信息的词向量,通过不

同的深度神经网络获得句子或文档的特征和情感表达。深度神经网络中的损失函数对模型训练过拟合影响力显著,优化损失函数能够提高模型泛化能力,减少过拟合;情感词在文本分类中占有重要地位,循环神经网络中对输入词在情感分类结果的贡献度进行快速排序,增加情感词在文本分类中的影响,能够定量减少情感信息的丢失;在情感分

类任务中引入自注意力机制,能充分学习到句子内部的词依赖关系,

优化特征向量,有效解决信息冗余。基于上述思想,本文结合深度神经网络和自注意力机制展开文本情感分类方法的研究,通过设计模型结构和优化策略,提出四种情感分类模型,以期获得更好的分类效果。本文主要研究工作和创新点如下:(1)以长短期记忆网络和卷积神经网

络为基础,对二分类任务中所用的交叉熵损失函数进行优化,使模型

更有效地去拟合预测错误样本,减少过拟合。基于优化的交叉熵损失函数,设计了 LSTM-BO(Long Short-Term Memory Binary-Optimize)和 CNN-BO(Convolutional NeuralNetworks Binary-Optimize)模型,并在中文、英文两类数据集上进行参数优化实验和对比分析实验。实验表明,LSTM-BO和CNN-BO模型能够一定程度上提高情感分类准确率,明显降低损失率,防止过拟合。(2)循环神经网络能够处理文本数据的

序列信息,通过计算输入词对最终分类结果的影响程度并排序。根据排序结果,对情感倾向比较强烈的词分配较高权重,减少情感信息的丢失。据此,本文设计了W-RNN(Weight-Recurrent Neural Network)模型,并在中文、英文两类数据集上通过定量与定性实验验证模型的有效性。(3)注意力机制可以帮助算法模型发现关键特征,自注意力机制能有效捕获句子的内部结构,优化特征向量。本文提出将自注意力机制与双向长短期记忆网络相结合的策略来解决情感分类问题,实验验证了结合自注意力机制后的SA-BiLSTM(Self Attention-BiLSTM)模型更容易捕获句子中长距离的相互依赖的特征,能够有效解决信息冗余问题,进一步提高情感分类准确率。