基于深度学习和主题模型的短文本分类方法

㊀收稿日期:２０２１－０７－１６基金项目:国家自然科学基金项目(６１８０２１６０)
作者简介:王青松(１９７４－)ꎬ男ꎬ辽宁沈阳人ꎬ副教授ꎬ研究方向:大数据㊁数据挖掘.
㊀㊀辽宁大学学报㊀㊀㊀自然科学版第４９卷㊀第２期㊀２０２２年ＪＯＵＲＮＡＬＯＦＬＩＡＯＮＩＮＧＵＮＩＶＥＲＳＩＴＹＮａｔｕｒａｌＳｃｉｅｎｃｅｓＥｄｉｔｉｏｎＶｏｌ.４９㊀Ｎｏ.２㊀２０２２
基于深度学习和主题模型的短文本分类方法
王青松ꎬ聂振业ꎬ周芳晔
(辽宁大学信息学院ꎬ辽宁沈阳１１００３６)
摘㊀要:为了解决短文本的语义稀疏和特征信息难以提取问题ꎬ本文提出了一种基于深度学习的短文本分类方法.首先通过增加自注意机制的双向ＢｉＬＳＴＭ通道获取短文本特征词向量ꎬ引入外部ＣＮ－ＤＢｐｅｄｉａ知识库ＫＢｓ来深度挖掘短文本语义ꎬ解决语义稀疏问题.其次通过ＢＴＭ主题模型在短文本数据集上提取主体信息ꎬ为了得到准确的词向量拼接引入了超参数δ.最终将所得的特征词向量以及知识向量运用语义余弦相似度计算并拼接向量ꎬ将得到的拼接结果与主题信息通过Ｓｏｆｔｍａｘ分类器中进行分类.在中国微博情感分析数据集㊁产品评价数据集㊁中文新闻标题数据集㊁Ｓｏｇｏｕ新闻数据集上进行实验.与ＴｅｘｔＣＮＮ㊁ＴｅｘｔＲＮＮ㊁ＴｅｘｔＲＮＮ＿Ａｔｔ㊁ＢｉＬＳＴＭ－ＭＰ㊁ＫＰＣＮＮ算法相比ꎬ分类准确性有一定提高.
关键词:短文本分类ꎻ注意力机制ꎻ外部知识库ꎻＢＴＭ主题模型ꎻ语义余弦相似度
中图分类号:ＴＰ３９１.１㊀㊀㊀文献标志码:Ａ㊀㊀㊀文章编号:１０００－５８４６(２０２２)０２－０１１６－０９
ＡＳｈｏｒｔＴｅｘｔＣｌａｓｓｉｆｉｃａｔｉｏｎＡｐｐｒｏａｃｈＢａｓｅｄｏｎＤｅｅｐ
ＬｅａｒｎｉｎｇａｎｄＴｏｐｉｃＭｏｄｅｌ
ＷＡＮＧＱｉｎｇ￣ｓｏｎｇꎬＮＩＥＺｈｅｎ￣ｙｅꎬＺＨＯＵＦａｎｇ￣ｙｅ
(ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎꎬＬｉａｏｎｉｎｇＵｎｉｖｅｒｓｉｔｙꎬＳｈｅｎｙａｎｇ１１００３６ꎬＣｈｉｎａ)
Ａｂｓｔｒａｃｔ:㊀Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｓｅｍａｎｔｉｃｓｐａｒｓｉｔｙａｎｄｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｏｆｓｈｏｒｔｔｅｘｔꎬａｓｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｄｅｅｐｌｅａｒｎｉｎｇｉｓｐｒｏｐｏｓｅｄ.ＦｉｒｓｔｌｙꎬｔｈｅｆｅａｔｕｒｅｗｏｒｄｖｅｃｔｏｒｏｆｓｈｏｒｔｔｅｘｔｉｓｏｂｔａｉｎｅｄｂｙａｄｄｉｎｇｔｈｅＢｉｄｉｒｅｃｔｉｏｎａｌＢｉＬＳＴＭｃｈａｎｎｅｌｏｆｓｅｌｆａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍꎬａｎｄｔｈｅｅｘｔｅｒｎａｌＣＮ－ＤＢｐｅｄｉａｋｎｏｗｌｅｄｇｅｂａｓｅＫＢｓｉｓｉｎｔｒｏｄｕｃｅｄｔｏｄｅｅｐｌｙｍｉｎｅｔｈｅｓｅｍａｎｔｉｃｓｏｆｓｈｏｒｔｔｅｘｔｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｓｅｍａｎｔｉｃｓｐａｒｓｉｔｙ.ＳｅｃｏｎｄｌｙꎬｔｈｅｓｕｂｊｅｃｔｉｎｆｏｒｍａｔｉｏｎｉｓｅｘｔｒａｃｔｅｄｆｒｏｍｔｈｅｓｈｏｒｔｔｅｘｔｄａｔａｓｅｔｂｙＢＴＭｔｏｐｉｃｍｏｄｅｌ.Ｉｎｏｒｄｅｒｔｏｇｅｔｔｈｅａｃｃｕｒａｔｅｗｏｒｄｖｅｃｔｏｒｓｐｌｉｃｉｎｇꎬｔｈｅδｓｕｐｅｒｐａｒａｍｅｔｅｒｓａｒｅｉｎｔｒｏｄｕｃｅｄ.ＦｉｎａｌｌｙꎬｔｈｅｆｅａｔｕｒｅｗｏｒｄｖｅｃｔｏｒａｎｄｋｎｏｗｌｅｄｇｅｖｅｃｔｏｒａｒｅｃａｌｃｕｌａｔｅｄｂｙｕｓｉｎｇｓｅｍａｎｔｉｃｃｏｓｉｎｅｓｉｍｉｌａｒｉｔｙꎬａｎｄｔｈｅｓｐｌｉｃｉｎｇｒｅｓｕｌｔｓａｎｄｔｏｐｉｃｉｎｆｏｒｍａｔｉｏｎａｒｅｃｌａｓｓｉｆｉｅｄｂｙＳｏｆｔｍａｘｃｌａｓｓｉｆｉｅｒ.ＴｈｅｅｘｐｅｒｉｍｅｎｔｓａｒｅｃｏｎｄｕｃｔｅｄｏｎＣｈｉｎｅｓｅｍｉｃｒｏｂｌｏｇｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｄａｔａｓｅｔꎬｐｒｏｄｕｃｔｅｖａｌｕａｔｉｏｎｄａｔａｓｅｔꎬＣｈｉｎｅｓｅＮｅｗｓＨｅａｄｌｉｎｅｓｄａｔａｓｅｔ
㊀㊀
ａｎｄＳｏｇｏｕｎｅｗｓｄａｔａｓｅｔ.ＣｏｍｐａｒｅｄｔｏＴｅｘｔＣＮＮ㊁ＴｅｘｔＲＮＮ㊁ＴｅｘｔＲＮＮ＿Ａｔｔ㊁ＢｉＬＳＴＭ￣ＭＰ㊁ＫＰＣＮＮꎬｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｉｓｉｍｐｒｏｖｅｄ.
Ｋｅｙｗｏｒｄｓ:㊀ｓｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎꎻａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍꎻｅｘｔｅｒｎａｌｋｎｏｗｌｅｄｇｅｂａｓｅꎻＢＴＭｔｈｅｍｅｍｏｄｅｌꎻｓｅｍａｎｔｉｃｃｏｓｉｎｅｓｉｍｉｌａｒｉｔｙ
０㊀引言
近年来ꎬ随着社交网络的飞速发展ꎬ例如微博和电影评论等类型的短文本数量在不断攀升.与传统的长文本相比ꎬ基于社交网络的短文本长度较短更易处理.因短文本实时性强㊁格式不标准等特点使其成为研究热点.但短文本在自然语言处理领域中仍然是一个难点问题.传统的机器学习分类算法如朴素贝叶斯㊁支持向量机在解决短文本分类问题仍然存在不足.
现有的短文本分类是从词频入手的.文献[１]采用ＴＦ－ＩＤＦ(ＴｅｒｍＦｒｅｑｕｅｎｃｙ￣ＩｎｖｅｒｓｅＤｏｃｕｍｅｎｔＦｒｅｑｕｅｎｃｙ)的统计方法ꎬ通过评估某字词对于一个文件集或一个语料库中的重要程度来进行文本分类.字词的重要性随着它在文件中出现的次数成正比增加ꎬ同时会随着它在语料库中出现的频率成反比下降.文献[２]通过对朴素贝叶斯进行改进产生了隐含狄利克雷分布ＬＤＡ(ＬａｔｅｎｔＤｉｒｉｃｈｌｅｔＡｌｌｏｃａｔｉｏｎ)主题模型ꎬ它可以集中每篇文档的主题以概率分布的形式给出.文献[３]考虑到短文本的稀疏性很强ꎬＬＤＡ主题模型应用的效果不好ꎬ对此进行改进生成新的ＢＴＭ(ＢｉｔｅｒｍＴｏｐｉｃＭｏｄｅｌ)主题模型ꎬＢｉｔｅｒｍ一词将短文本生成Ｃ２ｎ个新的样本ꎬ增加文本结构比一个词建模更能体现文章的隐藏主题.然而以上获取分类方法并没有考虑到语义关系ꎬ并不能准确地进行分类.
随着技术的发展ꎬ深度学习也应用到自然语言处理中ꎬ特别是应用到文本分类.文献[４]通过使用Ｗｏｒｄ２ｖｅｃ将文本转化为词向量放入ＬＳＴＭ(长短期记忆人工神经网络)训练获取句子的语义信息和句法结构进行分类ꎬ但是没有考虑到特征词的重要性.文献[５]通过引用Ａｔｔｅｎｔｉｏｎ机制将深度学习推到高潮ꎬ选用ＳｅｌｆＡｔｔｅｎｔｉｏｎ捕获同一个句子中单词之间的一些句法特征或者语义特征ꎬ从而更容易获取句子中长距离的相互依赖.以上方法并没有考虑到短文本特征的稀疏性.
现在语义增强应用是通过知识库对句子进行扩增.文献[６]通过ＫＢｓ(知识库)中存在的ｉｓＡ㊁ｉｓＰｒｏｐｅｒｔｙＯｆ等重要语义关系ꎬ这些信息对理解短文本有很多帮助.文献[７]将深度神经网络和知识库的先验知识整合到一起ꎬ充分对短文本进行理解ꎬ提高了短文本分类的准确性.知识库带来了新的先验知识ꎬ也带来了很多无关的知识向量ꎬ为短文本分类增加了负担.
本文针对上述短文本分类的算法不足ꎬ综合考虑词频㊁语义和先验知识等特征ꎬ利用ＢＴＭ主题模型㊁深度学习和知识库多维特征进行融合ꎬ从而准确地将多方面特征联系在一起ꎬ通过词向量相似度筛选出相似的文本特征ꎬ通过全连接网络操作结合ＢＴＭ主题模型的主题概率分布ꎬ最终得到更加准确的分类结果.
１㊀各个模块的计算１.１㊀局部特征计算
局部特征计算是为了提取短文本语义的计算ꎬ在众多的分类算法中ꎬ有很多算法只是考虑词频和关键词出现的概率ꎬ并没考虑到短文本语义的影响ꎬ为了提高本模型的分类准确性ꎬ本文选用文献７
１１㊀第２期㊀㊀㊀㊀㊀㊀王青松ꎬ等:基于深度学习和主题模型的短文本分类方法
㊀㊀[８]深度学习中的双向长短记忆网络(ＢｉＬＳＴＭ).ｈｔң＝ＬＳＴＭң(ｘｔꎬｈңｔ－１)(１)ｈｔѳ＝ＬＳＴＭѳ(ｘｔꎬｈѳｔ－１)(２)
连接每个ｈңｔ和ｈѳｔ去获得一个隐藏状态ｈｔ.设每个单向ＬＳＴＭ的隐藏单元号为ｕ.为了简便起见ꎬ
将所有的ｈｔ的数量记为一个集合ＨɪＲｎˑ２ｕꎻＨ＝(ｈ１ꎬｈ２ꎬ ꎬｈｎ)(３)然后ꎬ使用一种新型的注意力机制ꎬ这种机制来源于文献[９].使用这种注意力机制的目的在于
学习特征词和短文本句子之间的依赖性并且捕获短文本的结构.给定一个ｎ个查询向量的矩阵ＱɪＲｎˑ２ｕꎬ键为ＫɪＲｎˑ２ｕꎬ值为ＶɪＲｎˑ２ｕꎬ此注意力机制的计算公式为Ａ＝Ａｔｔｅｎｔｉｏｎ(ＱꎬＫꎬＶ)＝Ｓｏｆｔｍａｘ(ＱＫＴ２ｕ)Ｖ(４)式中的Ｑ㊁Ｋ㊁Ｖ都是维数相同的矩阵等同于Ｈꎬ２ｕ是比例因子ꎬ注意力层输出的是一个矩阵ꎬ
记为ＡɪＲｎˑ２ｕ.接下来ꎬ在Ａ上使用ｍａｘ￣ｐｏｏｌｉｎｇ层来获取短文本表示ｑɪＲ２ｕꎬ其思想是在向量的每个维度上选择最高的值或重要的特征.
１.２㊀外部特征计算
外部特征计算也叫知识编码ꎬ本模块的目标是从ＣＮ－ＤＢｐｅｄｉａ知识库[１０]中检索相关知识来扩充短文本内容ꎬ从ＣＮ－ＤＢｐｅｄｉａ知识库等外部资源获取的先验知识可以提供更丰富的信息ꎬ帮助确定给定的短文本的类标签.本文以ｉｓＡ关系为例ꎬｉｓＰｒｏｐｅｒｔｙｏｆ等其他语义关系也可以以类似的方式应用.具体来说ꎬ给出一个简短的文本ｓꎬ希望找到一个与它相关的概念集Ｃ.通过２个主要步骤实现这个目标:实体链接和概念化.实体链接就是短文本中的某些字符映射到知识库中对应的实体上.概念化就是根据当前上下文动态识别出实体对应的上位概念.文献[１１]的实体链接是自然语言处理中的一项重要任务ꎬ用于识别短文中提到的实体.文献[１２]通过利用现有的实体链接解决方案ꎬ获得了一个包含短文本分词的实体集Ｅ.然后ꎬ对于每个实体ｅɪＥꎬ从已有的ＣＮ－ＤＢｐｅｄｉａ知识库中获取概念信息ꎬ举个例子:林丹和刘翔出生于中国.通过实体链接得到实体集Ｅ＝{林丹ꎬ刘翔ꎬ中国}ꎬ然后对实体刘翔进行概念化ꎬ并从ＣＮ－ＤＢｐｅｄｉａ中获得其概念ｓｅｔＣ＝{中国人ꎬ运动员ꎬ田径世锦赛冠军ꎬ１１０ｍ栏}等.
１.３㊀全局特征计算
全局特征计算称作主题特征计算ꎬ是针对文档进行的ꎬ主要是通过使用ＢＴＭ主题模型进行计算的.ＬＤＡ主题模型也可以进行全局特征计算ꎬ但是考虑到短文本分类和文本稀疏的原因ꎬＢＴＭ主题模型更适用于本文的模型计算.ＢＴＭ模型的核心思想是在整个语料库中使用ｂｉｔｅｒｍ聚合模式ꎬ在短文本上学习的模型ꎬ此模式解决了单个文档的文本稀疏问题[１３].具体地说ꎬ一篇文章句子被分开之后特征词会很少ꎬ但是使用ｂｉｔｅｒｍ(２个词)对文本建模要比一个词建模能更好地显示隐藏主题.举个例子 床前明月光ꎬ疑是地上霜ꎬ举头望明月ꎬ低头思故乡 ꎬ通过ｂｉｔｅｒｍ可以分成{床前明月光ꎬ疑是地上霜㊁床前明月光ꎬ举头望明月㊁床前明月光ꎬ低头思故乡㊁疑是地上霜ꎬ举头望明月㊁疑是地上霜ꎬ低头思故乡㊁举头望明月ꎬ低头思故乡}ꎬ一共为Ｃ２４个新的隐藏文本ꎬ所以说使用ＢＴＭ主题模型对于短文本更有效.
全局特征计算的过程如公式(５)~(７)所示:
Ｐ(ｚ｜Ｚ－ｂꎬαꎬβ)ɖ(ｎｚ＋α)(ｎｗｉ｜ｚ＋β)(ｎｗｊ｜ｚ＋β)(ðｗｎｗ｜ｚ＋Ｍβ)２(５)
８１１㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２２年㊀㊀
㊀㊀
φｗ｜ｚ＝ｎｗ｜ｚ＋βðｗｎｗ｜ｚ＋Ｍβ(６)
θｚ＝
ｎｚ＋α｜Ｂ｜＋Ｋα(７)公式(５)~(７)由吉布斯(Ｇｉｂｂｓ)抽样推理得出[１４]ꎬ其中α和β是给定的先验数ꎬｎｚ是主题ｚ的ｂｉｔｅｒｍｂ出现的次数ꎬｎｗ｜ｚ是单词ｗ分配给主题ｚ的次数ꎬ一旦一个ｂｉｔｅｒｍｂ被分配给主题ｚꎬ关键词ｗｉꎬｗｊ将同时被分配给主题.｜Ｂ｜代表的是ｂｉｔｅｒｍ模式的总数量ꎬ对公式(５)~(７)进行Ｇｉｂｂｓ抽样ꎬ
更新每个词对应的ｔｏｐｉｃꎬ重复操作ꎬ直到Ｇｉｂｂｓｓａｍｐｌｉｎｇ收敛得到完整的模型.
算法１ＢＴＭ吉布斯采样算法
输入文本向量化ꎬ偏置ｂ１㊁ｂ２㊁ｂ３ꎬ超参数ꎬ主题模型参数１ꎬ主题模型参数２ꎬ主题数量ꎬ迭代次数ꎬδꎬαꎬβꎬＫꎬＮｉｔｅｒꎻ
输出分类概率值ꎻ１㊀ＢＥＧＩＮ２㊀ＦＯＲｉｔｅｒ＝１ｔｏＮｉｔｅｒ//迭代器进行试验迭代
３㊀ＦＯＲｉ＝１ｔｏｎｄｏ:４㊀λｉ＝Ｓｏｆｔｍａｘ(ｗＴ１ｆ(Ｗ１[ｃｉʒｑ]＋ｂ１))//ＬＳＴＭ模型得到的λｉ５㊀㊀㊀㊀㊀ＵＰＤＡＴＥＷ１//更新卷积核
６㊀ηｉ＝ｗＴ２ｆ(Ｗ２ｍｉ)＋ｂ２//知识向量扩充７㊀㊀㊀㊀㊀ＵＰＤＡＴＥＷ２//更新卷积核
８㊀㊀㊀㊀㊀Ｗｉｇｈｔ(λｉꎬηｉ)//相似度计算
９㊀Ａｋ＝ｗＴ３ηｉ＋ｗＴ４λｉ＋ｂ３//计算最终向量１０㊀ｐｉ＝Ｓｏｆｔｍａｘ(Ａｋ)//得到语义模型概率
１１㊀㊀㊀㊀㊀ＵＰＤＡＴＥｎｚꎬｎｗ｜ｚ//更新主题模型参数
１２㊀φｗ｜ｚ＝ｎｗ｜ｚ＋βðｗｎｗ｜ｚ＋Ｍβꎬθｚ＝ｎｚ＋α｜Ｂ｜＋Ｋαꎬ//更新ＢＴＭ主题模型参数１３㊀ｑｉ＝Ｐ(ｚ｜Ｚｂꎬαꎬβꎬφｗ｜ｚꎬθｚ)//得到主题模型概率１４㊀Ｐｉ＝δｐｉ＋(１－δ)ｑｉ//得到最终概率分布
１５㊀ＥＮＤＦＯＲ１６㊀ＥＮＤＦＯＲ１７㊀ＥＮＤ２㊀基于语义和主题概率分布的短文本分类模型２.１㊀语义模型
如图１所示ꎬ语义模型的部分为深度学习提取短文本语义特征词ꎬ同时短文本经过文本处理ꎬ停用词去除和使用Ｊｉｅｂａ分词ꎬ将关键词输入到知识库中进行文本扩充.扩充得到的实体或者属性与ＬＳＴＭ模型训练完的语义特征向量进行相似度计算ꎬ在知识库扩充的时候产生大量的噪音词会影响模型的准确性ꎬ所以将扩充的知识向量与通过ＬＳＴＭ训练得到的特征向量进行相似度计算ꎬ留下相似度较高和特征向量进行拼接.９
１１㊀第２期㊀㊀㊀㊀㊀㊀王青松ꎬ等:基于深度学习和主题模型的短文本分类方法
㊀
㊀
图１㊀ＬＡＢＴＭ语义模型部分
㊀㊀为了减少ＫＢｓ生成的一些不良㊁不当的歧义概念ꎬ作者提出用公式(８)对知识向量与语义特征向量进行相似度计算.
λｉ＝Ｓｏｆｔｍａｘ(ｗＴ１ｆ(Ｗ１[ｃｉʒｑ]＋ｂ１))(８)式中的λｉ表示第ｉ个特征词对短文本的重视程度.得到的更大的λｉ意味着第ｉ个特征词在语义
上更接近短文本特征.ｆ( )是一个非线性激活函数如ｔａｎｈ函数ꎬＳｏｆｔｍａｘ是用来标准每个特征的注意权重.Ｗ１ɪＲｄａˑ(２ｕ＋ｄ)是一个权重矩阵ꎬｗ１ɪＲｄａ是一个权重向量ꎬｄａ是一个参数ꎬｂ１是一个偏置.ｑ为短文本经过ＬＳＴＭ训练之后得到的短文本语义向量.
通过公式(９)将ＫＢｓ得到的概念转化成概念向量:
ηｊ＝ｗＴ２(ｆ(Ｗ２ｍｊ)＋ｂ２)(９)式中ηｊ是ＫＢｓ得到的概念词向量表示形式.其中ｍｊ表示每个ＫＢｓ得到的概念词向量ꎬｗ２ɪＲｄａ是权重向量ꎬ其中ｄａ是参数ꎬＷ２ɪＲｄｂˑｄ是一个权重矩阵ꎬｂ２是偏置.
值得注意的是通过卷积层进行卷积之后ꎬ２个特征词向量在同一个维度.接下来要对２个向量进行相似度计算ꎬ如公式(１０)所示:
ｗｉｇｈｔ(ηｊꎬλｉ)＝ηｊ λｉ ηｊ λｉ (１０)式中向量ηｊ和向量λｉ得到的ｗｉｇｈｔ越高说明２个词向量的相似度越高ꎬ在本文算法中挑选相似度高的作为拼接对象ꎬ不设置特殊的阈值作为参考.如果０ɤｗｉｇｈｔɤ１ꎬ表明在正常范围内ꎬ否则说明向量ηｊ和向量λｉ没有任何相似关系.
然后ꎬ得到最高相似度的向量进行向量拼接ꎬ如公式(１１)所示:
ａｋ＝ｗＴ３ηｊ＋ｗＴ４λｊ＋ｂ３
(１１)式中的ａｋ代表最终拼接的语义向量矩阵ꎬｗＴ３和ｗＴ４是权重系数ꎬｂ３是偏置.值得注意的是ｗＴ３ηｊ和ｗＴ４λｊ是维度相同的ꎬ根据ηｊ和λｊ分别调整参数ｗＴ３和ｗＴ４权重系数.得到的向量矩阵加入到ｍａｘ￣ｐｏｏｌｉｎｇ池中进行降维操作ꎬ然后将得到的结果再输入到全连接层ꎬ最后结果在输出层和主题模型结果进行汇总.０２１㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２２年㊀㊀
㊀㊀
２.２㊀模型总架构
图２是引入ＢＴＭ主题概率模型之后的模型总架构.当语义向量进入到最终的输出层进行Ｓｏｆｔｍａｘ归一化之后会得到一个分类比例ꎬ如图３所示
.
图２㊀ＬＡＢＴＭ
模型总架构
图３㊀分类结果图
㊀㊀因为语义特征向量与知识向量进行相似度计算不能得到最终的分类结果ꎬ故还需要通过带有ＢＴＭ主题模型的分类池进行分类ꎬ最终才
能得到每个主题的概率分布.接下来进行最后一步计算ꎬ如公式(１２)
所示:
Ｐｉ＝δｐｉ＋(１－δ)ｑｉ(１２)
式中ｐｉ㊁ｑｉ分别是通过语义模型得到的分类类型概率和主题模型分类得到的类型概率.Ｐｉ为最终的分类类型概率.最后通过统计得出Ｍａｘ(Ｐｉ)为短文本的类型.δ为调节权重的系数ꎬ取值为δɪ[０ꎬ１].设置系数δ主要是因为受不同模型结果的影响会产生一系列偏差ꎬ若主题模型有损ꎬ语义模型赋予强系数.设置系数δ有很多方式ꎬ最简单是通过手动调节的方式ꎬ把δ当作超参数来获得更加准确的分类效果.
算法２ＬＡＢＴＭ模型分类算法
输入短文本向量ηｊꎬ偏置ｂ１㊁ｂ３ꎬ超参数δ
输出分类概率值ｐ１~ｎ１.ＢＥＧＩＮ２.ＦＯＲｉｔｅｒ＝１ｔｏＮｉｔｅｒ//迭代器进行实验迭代
３.λｉ＝Ｓｏｆｔｍａｘ(ｗＴ１ｆ(Ｗ１ηｉ＋ｂ１))//ＬＳＴＭ得到的λｉ
４.ＵＰＤＡＴＥＷ//更新卷积核５.ＥＮＤＦＯＲ１２１㊀第２期㊀㊀㊀㊀㊀㊀王青松ꎬ等:基于深度学习和主题模型的短文本分类方法
㊀㊀
６.ａｋ＝ＷＴ３ηｊ＋ＷＴ４λｉ＋ｂ３//计算最终向量７.ｐｉ＝Ｓｏｆｔｍａｘ(ａｋ)//得到语义模型概率ｐｉ
８.ｑｉ＝Ｐ(ｚ｜Ｚ－ｂꎬαꎬβ)//得到主题模型概率ｑｉ
９.Ｐｉ＝δｐｉ＋(１－δ)ｑｉ//得到最终概率分布１０.ＥＮＤ３㊀实验过程结果与分析３.１㊀实验环境与任务
实验使用Ｐｙｔｈｏｎ语言３.７版本ꎬ实现基于深度学习和主题模型的短文本分类模型ꎬ在Ｐｙｔｏｒｃｈ运行环境下ꎬ采用Ｊｉｅｂａ组件进行文本分词ꎬ使用ｗｏｒｄ２ｖｅｃ模型训练词向量.在中国微博情感分析数据集[１５]㊁产品评价数据集[１６]㊁中文新闻标题数据集[１７]和通过借鉴Ｓｏｇｏｕ新闻数据集建立的短文本新闻数据集上进行文本分类实验.４个数据集都包含标签ꎬ如表１所示.
表１㊀实验数据集的细节
数据集
类别训练集/验证集/测试集平均字节平均词数微博
７３５００/６００/４５０２５.５０１６.２３产品评价
２７５００/１３５０/１０００６０.１５３９.８９新闻标题
１８１５５０００/２７０００/１００００２０.５０１３.２０主题数据集２０６０００/１０００/７００１５.３２７.６５
３.２㊀实验参数设置
对于所有的模型ꎬ使用Ａｄａｍ优化算法进行学习ꎬ学习率为０.０１.批量大小设置为６４.训练正向传递和反向传递设置为２０回.ＬＡＢＴＭ模型在搜狗新闻数据集上预先训练的５０维度概念词向量ꎬ如果一个词是未知的ꎬ将随机初始化它的概念词向量.ＬＡＢＴＭ模型５０维度的概念词向量ꎬ这些概念词向量也随机初始化.使用宽度为[２ꎬ３ꎬ４]大小为５０层的１ＤＣＮＮ滤波一共１５０个.
超参数的设置可基于验证集进行估计ꎬ并用于最终测试集:ｕ＝６４ꎬｄａ＝７０ꎬｄｂ＝３５.为了不给算法增加负担和经济损失ꎬ本文没有采用自动学习ꎬ而是通过手动调节参数δꎬ在接下来实验中选取若干代表性值ꎬ这些值不影响提高模型分类准确性.
由表２可知超参数δ的值不同ꎬ短文本分类的准确率也不同ꎬ所以在下面的实验中根据表２来设置超系数δꎬ以便得到更高的文本分类准确率.
表２㊀超参数δ对于文本准确率的影响
模型
准确率微博产品评价新闻标题主题数据集ＬＡＢＴＭ(δ＝０.００)
０.４２８００.８６０００.７３９００.７３７０ＬＡＢＴＭ(δ＝０.２５)
０.４３２００.８７０００.７４３００.８００７ＬＡＢＴＭ(δ＝０.５０)
０.４２６００.８７８６０.７３８００.８００２ＬＡＢＴＭ(δ＝０.７５)
０.４２２００.８６４３０.７３８００.７９５９ＬＡＢＴＭ(δ＝１.００)０.４１６００.８５５７０.７３６００.７９６５
３.３㊀结果对比分析
将提出的ＬＡＢＴＭ模型与以下方法进行对比:
•ＴｅｘｔＣＮＮ[１８]:该模型是文本分类的经典基准.它使用基于预训练单词嵌入的卷积神经网络
(ＣＮＮ).•ＴｅｘｔＲＮＮ[１９]:该方法使用递归卷积神经网络进行文本分类.它应用循环神经网络(ＲＮＮ)捕捉上下文信息ꎬ并用ＣＮＮ去捕捉短文本关键词.２２１㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２２年㊀㊀
㊀㊀
•ＴｅｘｔＲＮＮ＿Ａｔｔ[２０]:是ＴｅｘｔＲＮＮ的强化方法ꎬ增加注意力机制来提高分类水平.
•ＢｉＬＳＴＭ－ＭＰ[２１]:该模型是为序列短文本分类而提出的.通过使用最大池来获得句子表示ꎬ然后使用多层感知器来输出分类结果.
•ＫＰＣＮＮ[２２]:该模型是短文本分类的最新方法.它利用ＣＮＮ根据短文本和概念的单词和字符
级别信息进行分类
.图４　不同数据集上比较模型的准确性
由图４可知ꎬＬＡＢＴＭ模型与５个模
型相比ꎬ各方面不一定都优于它们ꎬ比如
在中国微博情感分析数据库中就不是让
人很满意.可能的原因是微博存在一些
网络语或者表情等因素造成的准确性不
是很强ꎬ但是整体的分类准确率高于传
统没有使用知识库和主题模型的深度神
经网络ꎬ包括ＴｅｘｔＣＮＮ㊁ＴｅｘｔＲＮＮ㊁
ＴｅｘｔＲＮＮ＿Ａｔｔ㊁ＢｉＬＳＴＭ－ＭＰ和ＫＰＣＮＮ.
主要原因是ＬＡＢＴＭ模型借助于ＫＢｓ丰富了短文本信息ꎬ并通过全局主题分布ꎬ以及深度神经网络提取语义特征ꎬ这对短文本分类有很大的贡献.与传统的神经网络相比ꎬＬＡＢＴＭ模型更像是一个人ꎬ 他 有内在的能力来处理基于观察(即神经网络和主题模型)以及自身现有的知识.此外ＬＡＢＴＭ模型也比ＢｉＬＳＴＭ－ＭＰ模型表现得好ꎬ因为ＬＡＢＴＭ模型在深度学习的模型中加入了注意力机制ꎬ能够更关注特征词的重要性.最后通过在不同数据集上取得不同值得到更高效的分类准确度.综上所述ꎬＬＡＢＴＭ模型在短文本分类中得到了好的效果.
４㊀结束语
本文研究短文本分类ꎬ综合考虑了局部和全局以及外部知识的特征.分别从主题概率分布㊁语义和外部知识进行分类.利用了ＢＴＭ主题模型㊁深度学习㊁知识库知识增益等方法ꎬ提高了分类的准确性.实验结果表明ꎬ相比传统单一方法进行分类ꎬ本文的综合性分类方法准确性更高些.在实验中还发现知识库的实体概念缺乏ꎬ下一步将研究知识库的语义消歧和多方面增加注意力机制ꎬ并补充知识库的不完全性ꎬ以及对于一些网络语言和聊天工具中的微表情进行向量转化ꎬ通过分类使其模型得到更高的准确率.
参考文献:
[１]㊀ＡｍｉｎＳꎬＵｄｄｉｎＭＩꎬＨａｓｓａｎＳꎬｅｔａｌ.ＲｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓｗｉｔｈＴＦ－ＩＤＦｅｍｂｅｄｄｉｎｇｔｅｃｈｎｉｑｕｅｆｏｒｄｅｔｅｃｔｉｏｎａｎｄｃｌａｓｓｉｆｉｃａｔｉｏｎｉｎｔｗｅｅｔｓｏｆｄｅｎｇｕｅｄｉｓｅａｓｅ[Ｊ].ＩＥＥＥＡｃｃｅｓｓꎬ２０２０ꎬ８:１３１５２２－１３１５３３.
[２]㊀ＴａｎＸꎬＺｈｕａｎｇＭＮꎬＬｕＸꎬｅｔａｌ.Ａｎａｎａｌｙｓｉｓｏｆｔｈｅｅｍｏｔｉｏｎａｌｅｖｏｌｕｔｉｏｎｏｆｌａｒｇｅ－ｓｃａｌｅＩｎｔｅｒｎｅｔｐｕｂｌｉｃｏｐｉｎｉｏｎｅｖｅｎｔｓｂａｓｅｄｏｎｔｈｅＢＥＲＴ－ＬＤＡｈｙｂｒｉｄｍｏｄｅｌ[Ｊ].ＩＥＥＥＡｃｃｅｓｓꎬ２０２１ꎬ９:１５８６０－１５８７１.
[３]㊀牛硕硕ꎬ柴小丽ꎬ李德启ꎬ等.一种基于神经网络与ＬＤＡ的文本分类算法[Ｊ].计算机工程ꎬ２０１９ꎬ４５(１０):
２０８－２１４.[４]㊀ＸｉａｏＬＺꎬＷａｎｇＧＺꎬＺｕｏＹ.ＲｅｓｅａｒｃｈｏｎｐａｔｅｎｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎｂａｓｅｄｏｎＷｏｒｄ２ＶｅｃａｎｄＬＳＴＭ[Ｃ]//２０１８１１ｔｈｉｎｔｅｒｎａｔｉｏｎａｌｓｙｍｐｏｓｉｕｍｏｎｃｏｍｐｕｔａｔｉｏｎａｌｉｎｔｅｌｌｉｇｅｎｃｅａｎｄｄｅｓｉｇｎ(ＩＳＣＩＤ).Ｈａｎｇｚｈｏｕ:ＩＥＥＥꎬ２０１８:７１－７４.
[５]㊀ＣａｏＲꎬＦａｎｇＬＹꎬＬｕＴꎬｅｔａｌ.Ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄｄｅｅｐｆｅａｔｕｒｅｆｕｓｉｏｎｆｏｒｒｅｍｏｔｅｓｅｎｓｉｎｇｓｃｅｎｅｃｌａｓｓｉｆｉｃａｔｉｏｎ[Ｊ].ＩＥＥＥＧｅｏｓｃｉｅｎｃｅａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇＬｅｔｔｅｒｓꎬ２０２１ꎬ１８(１):４３－４７.３
２１㊀第２期㊀㊀㊀㊀㊀㊀王青松ꎬ等:基于深度学习和主题模型的短文本分类方法
㊀㊀[６]㊀ＷａｎｇＫ.Ｃｌａｓｓｉｆｉｅｒｄｅｓｉｇｎｔｏｉｍｐｒｏｖｅｐａｔｔｅｒｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｋｎｏｗｌｅｄｇｅｄｉｓｃｏｖｅｒｙｆｏｒｉｍｂａｌａｎｃｅｄｄａｔａｓｅｔｓ[Ｄ].ＣｈａｐｅｌＨｉｌｌ:ＴｈｅＵｎｉｖｅｒｓｉｔｙｏｆＮｏｒｔｈＣａｒｏｌｉｎａａｔＣｈａｐｅｌＨｉｌｌꎬ２００９.
[７]㊀ＺｈａｎｇＮꎬＸｕＸꎬＴａｏＬꎬｅｔａｌ.Ｄｅｅｐｋｅ:Ａｄｅｅｐｌｅａｒｎｉｎｇｂａｓｅｄｋｎｏｗｌｅｄｇｅｅｘｔｒａｃｔｉｏｎｔｏｏｌｋｉｔｆｏｒｋｎｏｗｌｅｄｇｅｂａｓｅｐｏｐｕｌａｔｉｏｎ[ＥＢ/ＯＬ].(２０２１－０１－２４)[２０２１－０５－１４].２０２２:ａｒＸｉｖ:２２０１.０３３３５.ｈｔｔｐｓ://ａｒｘｉｖ.５３ｙｕ.ｃｏｍ/ａｂｓ/
２２０１.０３３３５.[８]㊀ＬｕｏｎｇＴꎬＰｈａｍＨꎬＭａｎｎｉｎｇＣＤ.Ｅｆｆｅｃｔｉｖｅａｐｐｒｏａｃｈｅｓｔｏａｔｔｅｎｔｉｏｎ－ｂａｓｅｄｎｅｕｒａｌｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ[Ｃ]//Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１５ＣｏｎｆｅｒｅｎｃｅｏｎＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓｉｎＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ.Ｌｉｓｂｏｎ:Ａｓｓｏｃｉａｔｉｏｎｆｏｒ
ＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓꎬ２０１５:１４１２－１４２１.[９]㊀ＸｕＢꎬＸｕＹꎬＬｉａｎｇＪＱꎬｅｔａｌ.ＣＮ￣ＤＢｐｅｄｉａ:Ａｎｅｖｅｒ－ｅｎｄｉｎｇＣｈｉｎｅｓｅｋｎｏｗｌｅｄｇｅｅｘｔｒａｃｔｉｏｎｓｙｓｔｅｍ[Ｃ]//(ｅｄｓ)Ａｄｖａｎｃｅｓｉｎａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ:Ｆｒｏｍｔｈｅｏｒｙｔｏｐｒａｃｔｉｃｅ.ＩＥＡ/ＡＩＥ２０１７.ＳｐｒｉｎｇｅｒꎬＣｈａｍꎬ２０１７:４２８－４３８.
[１０]㊀ＣｈｅｎＫꎬＳｈｅｎＧＨꎬＨｕａｎｇＺＱꎬｅｔａｌ.Ｉｍｐｒｏｖｅｄｅｎｔｉｔｙｌｉｎｋｉｎｇｆｏｒｓｉｍｐｌｅｑｕｅｓｔｉｏｎａｎｓｗｅｒｉｎｇｏｖｅｒｋｎｏｗｌｅｄｇｅｇｒａｐｈ
[Ｊ].ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇａｎｄＫｎｏｗｌｅｄｇｅＥｎｇｉｎｅｅｒｉｎｇꎬ２０２１ꎬ３１(１):５５－８０.[１１]㊀ＬｕｏＳＨꎬＷａｎｇＰＬꎬＣａｏＭ.Ａｎｏｖｅｌａｐｐｒｏａｃｈｆｏｒａｎａｌｙｚｉｎｇｅｎｔｉｔｙｌｉｎｋｉｎｇｂｅｔｗｅｅｎｗｏｒｄｓａｎｄｅｎｔｉｔｉｅｓｆｏｒａ
ｋｎｏｗｌｅｄｇｅｂａｓｅｕｓｉｎｇａｎａｔｔｅｎｔｉｏｎ－ｂａｓｅｄｂｉｌｉｎｅａｒｊｏｉｎｔｌｅａｒｎｉｎｇａｎｄｗｅｉｇｈｔｅｄｓｕｍｍａｔｉｏｎｍｏｄｅｌ[Ｊ].ＩＥＥＥＡｃｃｅｓｓꎬ２０２０ꎬ８:１５５６－１５６６.
[１２]㊀袁自勇ꎬ高曙ꎬ曹姣ꎬ等.基于异构图卷积网络的小样本短文本分类方法[Ｊ].计算机工程ꎬ２０２１ꎬ４７(１２):８７－
９４.[１３]㊀ＰａｎＹＬꎬＹｉｎＪꎬＬｉｕＳＰꎬｅｔａｌ.Ａｂｉｔｅｒｍ－ｂａｓｅｄｄｉｒｉｃｈｌｅｔｐｒｏｃｅｓｓｔｏｐｉｃｍｏｄｅｌｆｏｒｓｈｏｒｔｔｅｘｔｓ[Ｃ]//Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３ｒｄｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｓｃｉｅｎｃｅａｎｄｓｅｒｖｉｃｅｓｙｓｔｅｍꎬａｄｖａｎｃｅｓｉｎｉｎｔｅｌｌｉｇｅｎｔｓｙｓｔｅｍｓｒｅｓｅａｒｃｈ.
Ｂａｎｇｋｏｋ:ＡｔｌａｎｔｉｓＰｒｅｓｓꎬ２０１４:３０１－３０４.
[１４]㊀ＰａｒｋＨꎬＰａｒｋＴꎬＬｅｅＹＳ.ＰａｒｔｉａｌｌｙｃｏｌｌａｐｓｅｄＧｉｂｂｓｓａｍｐｌｉｎｇｆｏｒｌａｔｅｎｔＤｉｒｉｃｈｌｅｔａｌｌｏｃａｔｉｏｎ[Ｊ].ＥｘｐｅｒｔＳｙｓｔｅｍｓＷｉｔｈＡｐｐｌｉｃａｔｉｏｎｓꎬ２０１９ꎬ１３１:２０８－２１８.
[１５]㊀ＺｈｏｕＨꎬＨｕａｎｇＭＬꎬＺｈａｎｇＴＹꎬｅｔａｌ.Ｅｍｏｔｉｏｎａｌｃｈａｔｔｉｎｇｍａｃｈｉｎｅ:Ｅｍｏｔｉｏｎａｌｃｏｎｖｅｒｓａｔｉｏｎｇｅｎｅｒａｔｉｏｎｗｉｔｈｉｎｔｅｒｎａｌａｎｄｅｘｔｅｒｎａｌｍｅｍｏｒｙ[ＥＢ/ＯＬ].(２０１８－０６－０１)[２０２１－０４－１４].２０１７:ａｒＸｉｖ:１７０４.０１０７４.ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/
ａｂｓ/１７０４.０１０７４
[１６]㊀ＺｈｏｕＹꎬＸｕＲＦꎬＧｕｉＬ.ＡｓｅｑｕｅｎｃｅｌｅｖｅｌｌａｔｅｎｔｔｏｐｉｃｍｏｄｅｌｉｎｇｍｅｔｈｏｄｆｏｒｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｖｉａＣＮＮｂａｓｅｄｄｉｖｅｒｓｉｆｉｅｄｒｅｓｔｒｉｃｔｂｏｌｔｚｍａｎｎｍａｃｈｉｎｅ[Ｃ]//２０１６Ｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎｍａｃｈｉｎｅｌｅａｒｎｉｎｇａｎｄｃｙｂｅｒｎｅｔｉｃｓ
(ＩＣＭＬＣ).ＪｅｊｕＩｓｌａｎｄ:ＩＥＥＥꎬ２０１６:３５６－３６１.[１７]㊀ＱｉｕＸＰꎬＧｏｎｇＪＪꎬＨｕａｎｇＸＪ.ＯｖｅｒｖｉｅｗｏｆｔｈｅＮＬＰＣＣ２０１７ｓｈａｒｅｄｔａｓｋ:Ｃｈｉｎｅｓｅｎｅｗｓｈｅａｄｌｉｎｅｃａｔｅｇｏｒｉｚａｔｉｏｎ
[Ｃ]//ＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇａｎｄＣｈｉｎｅｓｅＣｏｍｐｕｔｉｎｇ.Ｄａｌｉａｎ.Ｃｈａｍꎬ２０１８:９４８－９５３.[１８]㊀ＫｉｍＹ.Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｎｔｅｎｃｅｃｌａｓｓｉｆｉｃａｔｉｏｎ[Ｃ]//Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２０１４ｃｏｎｆｅｒｅｎｃｅｏｎ
ｅｍｐｉｒｉｃａｌｍｅｔｈｏｄｓｉｎｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ(ＥＭＮＬＰ).Ｄｏｈａ:ＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓꎬ
２０１４:１７４６－１７５１.[１９]㊀ＺｈｏｕＣＴꎬＳｕｎＣＬꎬＬｉｕＺＹꎬｅｔａｌ.ＡＣ－ＬＳＴＭｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ[ＥＢ/ＯＬ].(２０１５－１１－３０)
[２０２１－０４－１４].２０１５:ａｒＸｉｖ:１５１１.０８６３０.ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１５１１.０８６３０
[２０]㊀ＸｉｅＪꎬＣｈｅｎＢꎬＧｕＸＬꎬｅｔａｌ.Ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ－ｂａｓｅｄＢｉＬＳＴＭｍｏｄｅｌｆｏｒｓｈｏｒｔｔｅｘｔｆｉｎｅ－ｇｒａｉｎｅｄｓｅｎｔｉｍｅｎｔｃｌａｓｓｉｆｉｃａｔｉｏｎ[Ｊ].ＩＥＥＥＡｃｃｅｓｓꎬ２０１９ꎬ７:１８０５５８－１８０５７０.
[２１]㊀ＬａｉＳＷꎬＸｕＬＨꎬＬｉｕＫꎬｅｔａｌ.Ｒｅｃｕｒｒｅｎｔｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ[Ｃ]//Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅｔｗｅｎｔｙ￣ｎｉｎｔｈＡＡＡＩｃｏｎｆｅｒｅｎｃｅｏｎａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ.Ａｕｓｔｉｎ:ＡｓｓｏｃｉａｔｉｏｎｆｏｒｔｈｅＡｄｖａｎｃｅｍｅｎｔｏｆＡｒｔｉｆｉｃｉａｌ
Ｉｎｔｅｌｌｉｇｅｎｃｅꎬ２０１５:２２６７－２２７３.
[２２]㊀ＷａｎｇＪꎬＷａｎｇＺＹꎬＺｈａｎｇＤＷꎬｅｔａｌ.Ｃｏｍｂｉｎｉｎｇｋｎｏｗｌｅｄｇｅｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｓｈｏｒｔｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ[Ｃ]//Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅｔｗｅｎｔｙ￣ｓｉｘｔｈｉｎｔｅｒｎａｔｉｏｎａｌｊｏｉｎｔｃｏｎｆｅｒｅｎｃｅｏｎａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ.
Ｍｅｌｂｏｕｒｎｅ:ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｓｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅＯｒｇａｎｉｚａｔｉｏｎꎬ２０１７:２９１５－２９２１.(责任编辑㊀郑绥乾)
４２１㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２２年㊀㊀。