【CN109857865A】一种文本分类方法及系统【专利】

发明内容 [0005] 为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上 述问题的一种文本分类方法及系统。 [0006] 第一方面本发明实施例提供一种文本分类方法，包括： [0007] 将文本分别输入第一卷积神经网络CNN模型和第一长短期记忆网络LSTM模型中， 得到第一句向量和第二句向量； [0008] 将所述第一句向量和第二CNN模型进行相互注意力Attention的结果，与所述第二 句向量和第二LSTM模型进行相互Attention的结果进行拼接，得到目标句向量。 [0009] 第二方面本发明实施例提供了一种文本分类系统，包括： [0010] CNN-LSTM模块，用于将文本分别输入第一卷积神经网络CNN模型和第一长短期记 忆网络LSTM模型中，得到第一句向量和第二句向量； [0011] 相互Attention模块 ，用于将所述第一句向量和第二CNN模型进行相互注意力 Attention的 结果 ，与所述 第二 句向 量 和第二LSTM模型进行 相互 Attention的 结果进行拼 接，得到目标句向量。 [0012] 第三方面本发明实施例提供了一种电子设备，包括： [0013] 处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述 总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器 调用所述程序指令能够执行上述文本分类方法。 [0014] 第四方面本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算 机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述文本分类方法。 [0015] 本发明实施例提供的一种文本分类方法及系统，充分利用LSTM和CNN各自的特点， 克服了已 有模型捕获文本信息能 力不足的 特点 ，并且结合注意力机 制 ，更好地完成文本分 类任务。
2
CN 109857865 A
说 明 书
1/6 页
一种文本分类方法及系统
技术领域 [0001] 本发明实施例涉及自然语言处理技术领域，尤其涉及一种文本分类方法及系统。
背景技术 [0002] 深度学习已广泛应用到自然语言处理领域。对于非结构化的文本数据来说，传统 常采用One-Hot表征单词为一个1*N(N为单词个数)的高维向量，考虑到词之间的相关性与 稀疏性，目前常采用文本的分布式表示将每个词表示为D维稠密，连续的实数向量。 [0003] 文本分类任务是要对给定文本进行分类，人工的做法通常是抓住中心句或者中心 词，并将其归类。但在文本中每个句子的重要程度、一个句子中每个词汇的重要程度都是不 一样的 ，每个词的重要性与其上下文有很强的 相关性 ，故而现有的文本分类方法未能取得 较好的分类效果。 [0004] 因此，现在亟需一种新的文本分类方法来解决上述问题。
( 57 )摘要 本发明实施例提供了一种文本分类方法及
系统 ，方法包括 ：将文本分 别输入第一卷积神经 网络CNN模型和第一长短期记忆网络LSTM模型 中 ，得到第一句向量和第二句向量；将所述第一 句向量和第二CNN模型进行相互注意力 Attention的结果 ，与所述第二句向量和第二 LSTM模型进行 相互Attention的 结果进行拼接 ， 得到目标句向量。本发明实施例提供的一种文本 分类方法及系统 ，充分利 用LSTM 和CNN各自的特 点，克服了已有模型捕获文本信息能力不足的特 点 ，并且结合注意 力机 制 ，更好地完成文本分类 任务。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910014972 .9
(22)申请日 2019 .01 .08
(71)申请人 北京邮电大学 地址 100876 北京市海淀区西土城路10号 北京邮电大学
(72)发明人 双锴 姚云腾 谭逸佳
(74)专利代理机构 北京路浩知识产权代理有限 公司 11002
权利要求书1页 说明书6页 附图2页
CN 109857865 A
CN 109857865 A
权 利 要 求 书
1Байду номын сангаас1 页
1 .一种文本分类方法，其特征在于，包括： 将文本分 别输入第一卷积神经网络CNN模型 和第一长短期记忆网络LSTM模型中 ，得到 第一句向量和第二句向量； 将所述第一句向量和第二CNN模型进行相互注意力Attention的结果，与所述第二句向 量和第二LSTM模型进行相互Attention的结果进行拼接，得到目标句向量。 2 .根据权利要求1所述的方法，其特征在于，所述方法还包括： 对文本进行预处理，得到词向量； 基于所述词向量，训练得到所述第一CNN模型和所述第一LSTM模型。 3 .根据权利要求2所述的方法，其特征在于，所述基于所述词向量，训练得到所述第一 CNN模型和所述第一LSTM模型，包括： 将所述 词向 量作为输入 ，所述文本中 句子对应的 标签作为真实值进行 训练 ，得到所述 第一CNN模型和所述第一LSTM模型。 4 .根据权利要求3所述的方法，其特征在于，所述进行相互Attention具体包括： 根据共享参数和联合训练策略的选择情况，确定进行Attention的位置； 在所述位置对所述词向量的语义信息进行Attention。 5 .根据权利要求4所述的方法，其特征在于，所述得到目标句向量包括： 基于预设的归一化函数，获取所述目标句向量对应每一类别的概率分布。 6 .一种文本分类系统，其特征在于，包括： CNN-LSTM模块 ，用于将文本分 别输入第一卷积神经网络CNN模型 和第一长短期记忆网 络LSTM模型中，得到第一句向量和第二句向量； 相互 A t t e n t i o n 模 块 ，用于 将 所 述 第 一 句向 量 和 第 二 C N N 模 型 进 行 相互 注 意 力 Attention的 结果 ，与所述 第二 句向 量 和第二LSTM模型进行 相互 Attention的 结果进行拼 接，得到目标句向量。 7 .一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总 线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调 用所述程序指令能够执行如权利要求1至5任一所述的方法。 8 .一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存 储计算机指令，所述计算机指令使所述计算机执行如权利要求1至5任一项所述的方法。
代理人 王莹 吴欢燕
(51)Int .Cl . G06F 16/35(2019 .01) G06F 17/27(2006 .01) G06N 3/04(2006 .01)
(10)申请公布号 CN 109857865 A (43)申请公布日 2019.06.07
( 54 )发明 名称 一种文本分类方法及系统