基于卷积神经网络的文本分类算法

第 ３期
王美荣：基于卷积神经网络的文本分类算法
３５５
ｘｋ＋１，ｉ ＝Ｆｋ，ｌｘｋ，ｌ＋ｂｋ( ｌ，ｉ) ＋Ｂｋ，ｉｗｋ，ｉ （２）
ｚｋ＋１，ｉ ＝ Ｃ ｘ ｋ＋１ ｋ＋１，ｉ＋ｖｋ＋１，ｉ
（３）
其 中，ｘｋ，ｉ
＝
[
ｐ ，ｐ ，ｐ ，ｐ ] ｋ，ｘｋ，ｉ ｋ，ｘｋ，ｉ ｋ，ｙｋ，ｉ ｋ，ｙｋ，ｉ
０ 引 言
随着网络的飞速发展，社交网络逐渐成熟［１］。 国外出现了 Ｆａｃｅｂｏｏｋ，Ｔｗｉｔｔｅｒ等社交平台，而国内 则是新浪微博、博客等社交平台。越来越多的人喜 欢在这些平台上发表自己的言论或者是点评被人 所发表 的［２］。 这 些 评 论 通 常 都 是 比 较 简 短 的，字 数受到一定的限制而且用语也有些不规范。内容 涉及十分的广阔，比如教育、政治、经济、文化、医疗 卫生等等［３］。这些文本里面包含了许多有用的信 息，但是因为网络的更新速度太快，这些文本内容 又没文本分类由多个相互协作的文本构成［４］。传 统文本分类算法一般假设文本种类固定且不受分 类干扰，基于 ＲＦＳ的分类算法可以有效解决上述 问题并且还能够避免数据关联过程［５］。从这个角 度来讲，ＲＦＳ更适合于解决文本的分类问题。为了 得到各文本的轨迹分类本文在标签 ＲＦＳ框架下，采 用 ＣＮＮ算法。在目前已有的文本分类算法中，都没 有描述到文本的结构信息［６］。
本的个数分类。在获得文本中各成员的词向量分 类基础上，通过计算每时刻的偏差矩阵分类获得邻 接矩阵分类。
１ 卷积神经网络
开始先定义卷积神经网络，如下内容：
定义 Ｖｅ和 Ｅｄ这两个集合组成了卷积神经网 络，将这个记为 Ｇ ＝ ( Ｖｅ，Ｅｄ) 。其中 Ｅｄ 表示边的 有限集合，Ｖｅ则表示节点的非空有限集合，当这些 边有方向时则称为有向卷积神经网络，反之，称为
第 ３６卷 第 ３期 佳 木 斯 大 学 学 报 （ 自 然 科 学 版 ） ２０１８ 年 ０５月 ＪｏｕｒｎａｌｏｆＪｉａｍｕｓｉＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）
文章编号：１００８－１４０２（２０１８）０３－０３５４－０４
Ｖｏｌ．３６ Ｎｏ．３ Ｍａｙ ２０１８
别为卷积神经网络噪声和观测噪声且都服从正态
分布。
通过研究邻接矩阵就可以轻松的判断出群中
各个文本之间的关系和连接，比如父子关系。若没
有父亲节点，那么就将这个文本称呼为头节点。头
节点的分类会影响到其文本，而头节点自身分类不
受其他文本影响。因此，头节点分类模型中补偿向
量 ｂ为 ０，并且 ｘｋ，ｌ为它自身在 ｋ时刻的词向量。否 则，该文本存在着父节点并且该文本的分类受其父
Ｔ
，ｐｋ，ｘｋ，ｉ，
ｐ 和 ｋ，ｙｋ，ｉ ｐｋ，ｘｋ，ｉ，ｐｋ，ｙｋ，ｉ分别表示文本 ｉ在 ｘ和 ｙ轴上
的位置和速度；ｘｋ，ｉ∈ Ｘｋ．ｌ表示 ｉ文本的父节点．
ｂｋ( ｌ，ｉ) 为一个补偿向量，表示文本 ｉ与其父节点之
间的位置关系；Ｆ和 Ｃ分别表示词向量转移矩阵
和观测矩阵；Ｂ为词向量噪声系数矩阵；ｗ和 ｖ分
基于卷积神经网络的文本分类算法①
王美荣
（安徽新华学院信息工程学院，安徽 合肥 ２３００８８）
摘 要： 为了解决分类算法在文本分类时出现特征维度过高和数据稀疏的间题，提出了一种基 于卷积神经网络（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，ＣＮＮ）的文本分类算法，该算法结合卷积神经网络 论中的邻接矩阵对文本分类进行动态建模。对文本的词向量进行训练，并且通过分类邻接矩阵 得到群的结构和个数分类。在提取出文本抽象特征的基础上用 ＣＮＮ分类器来进行分类。仿真 分析表明：该算法在在进行文本分类效果显著。 关键词： 文本分类；卷积神经网络；动态建模；词向量 中图分类号： ＴＰ１８ 文献标识码： Ａ
采用了卷积神经网络理论对文本进行分类计 算。首先，通过借助卷积神经网络理论对文本进行 动态建 模。 在 此 基 础 上，再 针 对 文 本 进 行 分 类 分 类。因为不知道最初始的文本的协作关系，所以可 以先 假 设 文 本 之 间 没 有 关 系，是 独 立 的。 采 用 ＣＮＮ获得各文本的词向量分类和轨迹分类以及文
其 中， Ｐ( ｉ) 等 价 于 {Ｐ１( ｉ) ，Ｐ２( ｉ) ，…，Ｐｊｎ( ｉ) } ，
Ｐｊ( ｉ) 表示 ｉ文本的第 ｊ个父节点。
根据该卷积神经网络算法获得文本的邻接矩
阵，文本 １是头节点，文本 ２和文本 ３是文本 １的
子节点，因此该群的分类模型如下：
{ ｘｋ＋１，１ ＝Ｆｋ，１ｘｋ，１ ＋Ｂｋ，１ｗｋ，１ ｘｋ＋１，２ ＝Ｆｋ，２ｘｋ，１ ＋ｂｋ( １，２) ＋Ｂｋ，２ｗｋ，２ ｘｋ＋１，３ ＝Ｆｋ，３ｘｋ，１ ＋ｂｋ( １，３) ＋Ｂｋ，３ｗｋ，３
ａ( ｎ，１) ａ( ｎ，２) …
０
其中，当 第 ｉ个 文 本 是 第 ｊ个 文 本 父 节 点 时 则
ａ( ｉ，ｊ) 等于 １；其他情况下，ａ( ｉ，ｊ) 等于 ０。
若文本存在单个父节点时，该文本分类模型如
下：
① 收稿日期：２０１８－０４－０５ 基金项目：２０１６年 安 徽 省 高 等 学 校 省 级 质 量 工 程 项 目 （２０１６ｍｏｏｃ１９８）；２０１８年 安 徽 高 校 自 然 科 学 研 究 项 目 重 点 项 目 （ＫＪ２０１８Ａ０５８７）。 作者简介：王美荣（１９７８－），女，皖蚌埠人，讲师，硕士，研究方向：数据挖掘及软件测试．。
பைடு நூலகம்
无向卷积神经网络。
借助卷 积 神 经 网 络 结 构 和 群 结 构 的 相 似 性。
使用的邻接矩阵不需要知道文本之间的距离，这样
可以大大的降低难度，便于得到一个文本邻接的矩
阵，如下所示：
０ ａ( １，２) … ａ( １，ｎ)
Ａｄ
＝

ａ(
２，１)
０
…
ａ( ２，ｎ)
（１）


节点影响，所以通过这个文本分类模型，我们可以
发现补偿向量 ｂ包含该节点与其父亲节点之间的
方向和距离信息，当文本存在多个父节点时，线性
条件下 ｘｋ＋１，ｉ如下式表示：
∑ ｘｋ＋１，ｉ ＝
ｗｋ( ｌ，ｉ) [ Ｆｋ，ｌｘｋ，ｌ＋ｂｋ( ｌ，ｉ) ] ＋Ｂｋ，ｉｗｋ，ｉ
ｌ∈Ｐ( ｉ)
（４）
∑ ｘｋ，ｉ∈ Ｘｋ， ｗｋ( ｌ，ｉ) ＝１，ｗｋ( ｌ，ｉ) ∈ [ ０，１) （５） ｌ∈Ｐ( ｉ)