利用递归卷积神经网络进行文本分类

方法细节—单词表示
• 利用单词和它的上下文信息共同表示一个单词： wi = [ cl(wi);e(wi);cr(wi)]
– – – – – –
cl(wi):单词wi左边的文本内容 cr(wi):单词wi右边的文本内容 e(wi-1):单词wi-1的词向量 W(l)：将隐藏层传递到下一层的矩阵 W(sl): 将当前单词的语义和下一个单词左边的文本组合 起来的矩阵 f : 非线性激活函数
– Distributed Representation表示形式：
*0.792, −0.177, −0.107, 0.109, −0.542, ...+。维度以 50 维和 100 维 比较常见。这种向量的表示不是唯一的。特点是越相似的词距 离越近。解决了One-hot Representation 表示词汇时不能表示两 个词汇关系的问题。
其中，D是待分类文本，ClassD是该文本的正确分类类别 训练过程中采用了梯度下降的方法，α为学习速率：
参数训练
• 词向量训练：Skip-gram model.
对于单词w1,w2……wT ,计算下式的值：
目标：使得上式的值最大。其中，C是训练文本的长度。 概率p的定义如下，用到了softmax函数：
已有解决方法
1. 增加词袋元素维度：比如扩展到 “stroll along the South Bank”(5-gram) 2. 更复杂的特征表示方法：比如Tree Kernels 方法 3. 存在问题： 数据稀少（data sparsity)，即有效的信息量 太少，影响分类的准确度。
单词表示—词向量
• 最大池层将不同长度的文本转换为具有相同长度的 向量。采用最大池层的好处是可以发现文本中最重 要的语义信息。
方法细节—输出结果
• 输出层：y(4) = W(4)y(3) + b(4) • 转换为概率： • 意义：表示文本属于某个类别的概率
参数训练
• 神经网络的参数Ɵ：
将所有的参数都用来进行对Ɵ 的训练 目标是使得对应Ɵ的值使得下式最大
方法细节—单词表示
• 利用循环神经网络对语句“A sunset stroll along the South Bank affords an array of stunning vantage points”进行建模表示。
方法细节—文本表示
• 得到单词wi的表示形式xi之后，利用双曲正切函数进 行转换，将结果传递到下一层：Yi(2) = tanh(w(2)xi + b(2)) • 利用卷积神经网络来表示文本，当所有的单词的表 示都计算完成后，进行池化操作，这里采用的是最 大池化： Y(3) = max yi(2) ( i = 1,2….n)
卷积神经网络可以有效解决不公平性问题。 时间复杂度O（n） 已有的研究大多使用简单的卷积内核，比如固定窗口 大小。这样窗口大小成为制约性能的关键因素：太小 可能会丢失重要信息、太大会导致参数空间过大而难 以训练。
本文解决方法
利用循环卷积神经网络（RCNN）解决文本分类问题，即 将循环神经网络和卷积神经网络结合，对文本进行表示。 方法主要贡献： 1.利用双向循环神经网络来表征单词的上下文信息 2. 利用最大池层自动判断哪个特征在文本分类中的作 用更大
其中，|V| 是没有标记的文本中的单词。e’(wi) 是wi的另一个词向量。
文本表示-神经网络
神经网络结构：
基本的神经网络结构包含三部分：输入层、隐含层、输出层 神经网络的特点：自学习、联想存储、高度并行性、容错性、鲁棒性。。。
文本表示
递归神经网络（Recursive NN）：
利用树结构对语句进行建模。
时间复杂度：至少是O（n2），其中n是句子或者文 本的长度，因此不适合长句子或者文本。 另一方面，两个句子之间的关系很难通过树结构进 行表示。
1.词向量（word embedding)：
– 传统的词向量： One-hot Representation “话筒” 表示为 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 ...] “ 麦克”表示为 [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 ...] 缺点：“词汇鸿沟”；纬度高；数据稀疏 – 改进的词向量： Distributed Representation 即一种单词的分布式表示方法，能有效降低数据稀疏问题，经过训练 的词向量可以表征句法和语义信息。
循环卷积神经网络用于文本分类
问题:文本分类
• 特征表Biblioteka Baidu:
– 词袋方法（一元、两元、N元） – 其它方法： frequecy , MI , pLSA , LDA
• 缺点：忽略了词语所在的语境和词语的顺 序，不能有效获取词语的语义 • EX：A sunset stroll along the South Bank affords an array of stunning vantage points. （Bank 在这里是河岸，而不是银行）
文本表示
循环神经网络（Recurrent NN）：
对文本进行逐词分析，将已有的文本信息存储在固定大小的隐藏 层。 时间复杂度： Ｏ(n) 缺点：不公平性，后出现的单词比前出现的单词重要性更高。因 此对于整个文本进行分类时会降低有效性。因为文本中重要的单 词会在任何地方出现。
文本表示
卷积神经网络（Convolutional NN）：