基于卷积神经网络的文本分类研究综述

第34卷第3期2019年5月

内蒙古民族大学学报（自然科学版）

Journal of Inner Mongolia University for Nationalities

Vol.34No.3

May2019

基于卷积神经网络的文本分类研究综述

裴志利1，阿茹娜2，姜明洋2，卢奕南3

（1.内蒙古民族大学计算机科学与技术学院，内蒙古通辽028043；2.内蒙古民族大学数学学院，内蒙古通辽028000；3.吉林大学计算机科学与技术学院，吉林长春130012）

［摘要］随着互联网及其相关技术的高速发展，网络数据呈现出井喷式的增长，其中主要以文本的形式大量

存在，数据在这种增长趋势下，文本分类已经成为越来越重要的研究课题.如今，采用深度学习技术对文本进

行表示受到研究者的极大关注.如采用卷积神经网络对文档进行表示和分类等自然语言处理.本文主要对基

于卷积神经网络的文本分类方法进行了研究，介绍了几个具有代表性的卷积神经网络模型结构.最后提出了

对基于该方法文本分类的展望.

［关键词］卷积神经网络；文本分类；深度学习

［中图分类号］TP393［文献标识码］A［文章编号］1671-0815（2019）03-0206-05

Survey of Text Classification Research Based on

Convolutional Neural Networks

PEI Zhi-li1，Aruna2，JIANG Ming-yang2，LU Yi-nan3

（1.College of Computer Science and Technology，Inner Mongolia University for Nationalities，Tongliao028043，China;

2.College of Mathematics，Inner Mongolia University for Nationalities，Tongliao028000，China;

3.College of Computer Science and Technology，Jilin University，Changchun130012，China）

Abstract：With the rapid development of the Internet and related technologies，network data has shown a spurt growth

trend，which mainly exists in the form of text.Under this growth trend，text classification has become an increasingly

important research topic.The use of deep learning technology to express the text has received great attention.For example，

natural language processing such as convolutional neural network is used to represent and classify documents.The text

classification method based on convolutional neural network is investigated.Several representative convolutional neural

network model structures are introduced.Finally，the prospect of text classification based on this method is proposed.

Key wrrds：Convolutional neural network;Text classification;Deep learning

0引言

随着网络媒体的出现，用户生成的内容以飞快的速度填充数据资源，这些数据的自动处理引起了研究者的巨大关注.文本分类是自然语言处理领域的重要任务，包括情感分析、对话分析、文献综述、机器翻译等［1］.文本分类具有多种方法，传统的机器学习分类算法有支持向量机算法（Support Vector Machine，SVM）［2］、朴素贝叶斯算法（Naive Bayesian Classifier，NBC）［3］、决策树算法（Decision Tree，DT）［4］、K-最近邻算法（K-Nearest Neighbor，KNN）［5］等，采用传统算法文本分类时需要人工进行特征提取，耗费时间和精

基金项目：国家自然科学基金项目（61672301）；内蒙古自治区“草原英才”工程产业创新人才团队（2017）；内蒙古自治区科技创新引导奖励资金项目（2016）；内蒙古民族大学特色交叉学科群建设项目（MDXK004）；2019年度内蒙古自治区高等学校“青年科技英才支持计划”（NJYT-19-B18）

作者简介：裴志利，内蒙古民族大学计算机科学与技术学院教授，博士.

DOI：10.14045/ki.15-1220.2019.03.005

第3期裴志利等：基于卷积神经网络的文本分类研究综述力，此外文本数据具有高维度、稀疏的特点.为了解决这些问题，2006年Hinton 提出深度学习（Deep learning ）的概念［6］.其中，卷积神经网络(Convolutional Neural Networks，CNN)是典型的深度学习技术，已在语音识别和图像识别等领域中成功应用且取得了很好的成果，使得很多国内外学者尝试利用CNN 对文本进行特征提取，去掉繁杂的人工特征工程［7］.该方法不仅分类效果优于传统算法且使用方便，也是十分值得关注的一套框架.在CNN 应用拓展方面，如何合理充分利用该方法增强传统学习算法的性能仍是文本分类领域的研究重点［8］.

本文主要介绍了以下内容：卷积神经网络用于句子分类方法、动态卷积神经网络文本分类方法、基于卷积神经网络句子匹配模型、基于循环和卷积神经网络的文本分类研究方法等.

1深度学习

深度学习中的“深度”是相较于浅层机器学习方法而言的，是当前机器学习领域的研究热点.它的概念起源于人工神经网络，人工神经网络也算是基于深度学习方法的统一称呼，人工神经网络起始于上世纪40年代，主要是通过尝试模拟人脑视觉机理来解决各种机器学习问题［9］.Hinton 提出的深度学习网络模型为基于非监督贪心逐层训练方法的深度置信网络，这种模型的训练方式解决了深度学习的优化问题［10］.此外，Lecun 等人于1998年提出的CNN 是第一个真正意义上的多层结构学习算法［11］.2

卷积神经网络文本分类模型2.1CNN 概述

在机器学习领域，CNN 是一种深度前馈神经网络，在分类和图像识别等领域已有显著成效，而且还成功应用于机器人和自动驾驶汽车的视觉模块，使其能够成功的识别人脸，物体和交通标志.CNN 是由多层感知机(MLP)变化而来的，基于生物学家休博尔和维瑟尔在早期对猫视觉皮层的研究，视觉皮层的细胞存在一个复杂的构造，这些细胞对视觉输入空间的子区域非常敏感，我们称之为感受野，以这种方式平铺覆盖到整个视野区域［12］.CNN 作为目前最常用的深度模型之一，最初只适合做简单图片的识别，到现今已能够处理大规模数据，表明了CNN 所具有的潜力.

2.2文本分类过程

文本分类是指对给出的文本集按照一定的分类体系或标准进行分类和标记.文本分类过程主要包括文本预处理、文本表示、特征提取和数据分类［13］.

具体文本分类流程图如下：

2.3CNN 文本分类经典结构

CNN 基本结构主要包括输入层、卷积层、池化层、全连接层和输出层［14］.

（1）输入层：文本是以字或词为单位的向量集合，采用词向量作为输入层数据.为了将文本转化为可计算的数据类型，常用的词向量方法有word2vec、one-hot 或glove 等.向量表示层的主要任务就是将文本转化为向量矩阵，为卷积层提供完整数据.

（2）卷积层：卷积层是整个CNN 的核心部分，主要的作用是提取文档矩阵的特征，通过设置卷积核的尺寸，可提取多种层次的特征，相比于全连接层，卷积层主要训练的是卷积核的各个参数.通过卷积运算可以使原信号特征增强，并且降低噪音［15］.

图1文本分类流程图

Fig.1Flow chart of text classification

207