深度学习简介

p V , H 1 E V , H e Z
其中
Z V , H e
E V , H
，E V , H 是能量函数，具体表达式为
n m m n i 1 j 1 j 1 i 1
E V , H wij hi v j b j v j ci hi
实际中使用的多层模型。
训练方法：
(2)受限波尔兹曼机(RBM)
RBM 模型如下图所示：
RBM 模型
图中每个节点代表一个随机变量，下面一层是 visible 节点，也就是输入样本，其构成的随机向量 用 V 表示，上面一层是 hidden 节点，其构成的随机 向量用 H 表示。这些都是 0-1 变量。它的目的是通 过借助对样本分布的估计，达到计算权重的目的。 根 据 其 连 接 方 式 ， 可 以 证 明 其 是 一 个 Markov Random Fields，所以它的联合分布具有如下形式：
m p H 1 | V sigmoid( wi j v j ci ) i j 1 n p V 1 | H sigmoid( w h b ) j ij i j i 1 其中 为由 V
计算 H 和再有 H
计算 V 的方法。上图中的红色方框内的操作成为一 次 contrastive divergence，假设进行 k 次操作，得到 的结果记为 v 似有：
1 N
L V | ln f V | ln p vi
i 1
N
，
这就是需要优化的目标函数，通常为了求解方便， 在其前面加上常数 ，这是为了形式上的方便。有 时候，为了防止过度学习，还可以增加一项权重衰 减项，以限制参数的取值空间。因此目标函数的形 式可写为：
L V | 1 s ln p vi N i 1
（3）CNN 卷积神经网络 CNN 模型主要是卷积和池化两步骤， 它的处理对 象主要是图像。最经典的 CNN 模型讲解总是借助如 下例子。
C1 层是一个卷积层，由 6 个特征图 Feature Map 构成。 特征图中每个神经元与输入中 5*5 的邻域相连， 这些邻域之间相互有重叠的部分。特征图的大小为 28*28，在每个特征图的内部，共享权重和偏置参数。 C1 有 156 个可训练参数和 122304 个连接。 S2 层是一个子取样层，也有 6 个特征图，每个特 征图有 14*14 个神经元，它的每个神经元与 C1 层中 对应的特征图的一个 2*2 的区域相连，区域之间没有 重叠。具体过程是，将这个 2*2 的输出值进行求和， 然后乘以一个可以训练的参数，再加上一个偏置，将 结果传个一个 sigmoid 函数， 输出即为 S2 中对应单元 的值。 本层共有 12 个可训练的参数， 有 5880 个链接。 C3 层也是一个卷积层，具有 16 个特征图，其链 接方式类似 C1，但它不是全连接。具体的链接方式如 下表：
怎么计算很有疑问，后来才明白这个量
是不需要计算出来的，我们关心的是网络参数怎么 训练出来，而对于最后的稳定状态时的能量是多少 并不关心。 实际上，在 Hinton 的讲义中，他指出，对于每 一个样本，都可构造出一个梯度，而不必使用分片 中所有梯度的累加和，他称为快速学习算法，表达
如下：
实际中使用的模型：
深度学习简介
1、 为什么叫深度学习？ “深度”主要是针对以前的浅层的神经网络学习而 言。在过去，由于计算能力不够，多层神经网络 的训练在计算上不可行，并且容易收敛到局部最 优解，所以神经网络局限在少的层数。现在使用 的层数和每层神经元数目都有所扩大，所以学习 过程叫“深度”。 “学习”一词，就是让计算机知道这些样本有哪 些特征。 古典特征提取的方法， 免不了人工干预， 即使使用看起来很合理的一些优化方法，实际效 果都不是很理想。经验证明，效果很好的模型往 往是目前无法解释的模型，能解释的模型，效果 往往不很好。深度学习，就是使用神经网络从原 始数据中提取数据的特征，这些目前不可解释的 特征往往使得分类效果更好。 2、 深度学习的三大经典模型 （1）自编码器模型 对于一堆样本，自编码器模型不需要知道样 本标签 （每个样本所属的类别） ， 直接提取每个样 本的特征。
L V | j k
，则 v
k
i
, hj k
为 p V , H 的一个样本，近
vi h j
k
通常情况下，为了计算简单，可取 k 1 。 在刚开始阅读文献时，对于目标函数里面的
Z V , H e
E V , H
因为到目前为止， 实用的模型都无法解释的很好， 所以没有一套完整的理论体系来证明怎样选择模型是 最好的，比如，神经网络应该选取多少层，每层多少 个节点，以及各项权重的参数取多少等，都不能通过 理论来推导，只能通过不断地实验来选择比较好的参 数和模型。对于自然语言理解词向量的训练来说，每 串行训练一个模型，大约需要 7-10:GPU 大约可加速 30 倍， 有的也只能加速 7 倍左右。 如果可以并行尝试所有的 idea，每个 idea 使用 GPU 加速的话……这只是一种美好的设想……怀念 超算很牛逼的硬件……
经过一系列的推导，可以得到：
L V | Edata vi h j Emod el vi h j wij
遗憾的是， 我们不知道 V , H 空间的真实分布， 可能的 取值有 2
V H
这么多，因此这个梯度无法解析的求出
来。 这里就用到了 Gibbs sampling， 使用产生的样本 计算期望。具体过程如下：
p V H p V , H
1 2 N
则 V 的边缘分布为：
1 Z

H
e
E V , H
假设原有的样本数据为 v , v ,, v ，则其联合分布密度 函数为：
f V | p vi
i 1
N
其中 表示权重 w 、偏置 b, c 构成的向量。根据最大似 然估计，得到似然函数为：
这种连接方式并不是固定的。之所以不是全连接，有 两方面的原因：第一是降低复杂性，第二是破坏对称 性，能够使用组合特征，更好的模拟视觉神经系统。 S4 层也是一个子采样层，类似与 S2 层。C5 是一 个卷积层，使用全链接的方式。F6 是一个径向基函数 层，它的输出是输入与权重的欧式距离，并且权重应 当随机设置为全-1 或者+1，至少在初始是应当这样， 在网络训练的过程中可以更改。F6 层输出一个 84 维 的向量。最后 OUTPUT 层是分类器。 CNN 的主要特点是将训练和分类放在一起学习。 训练 算法与传统的 BP 算法差不多。 3、 深度学习与高性能计算的关系 深度学习完全由高性能计算支撑，没有很牛逼的 计算硬件和技术，完全没有竞争力，拼的就是计算能 力。
第一层为输入，经过全连接的方式加权和偏置，进 入第二层（隐藏层） ，通过 sigmoid 函数运算之后，将 结果输入到第三层，在经过加权和偏置以及 sigmoid 函数运算，得到网络输出。最终的目标就是使得输出 和输入尽量的相等。这样可以取中间隐藏层的值作为 原来值的特征。 它的数学过程描述：
隐藏层提取的特征可视化效果：