【管理资料】深度学习算法汇编

DBN 训练模型的过程
Deep Belief Networks
分别单独无监督地训练每一层 RBM 网络，确保特征向量映射到不 同特征空间时，都尽可能多地保留特征信息； 在 DBN 的最后一层设置 BP 网络，接收 RBM 的输出特征向量作为 它的输入特征向量，有监督地训练实体关系分类器。而且每一层 RBM 网络只能确保自身层内的 权值对该层特征向量映射达到最优， 并不是对整个 DBN 的特征向量映射达到最优，所以反向传播网络还 将错误信息自顶向下传播至每一层 RBM，微调整个 DBN 网络。RBM 网络训练模型的过程可以看作对一个深层 BP 网络权值参数的初始化 ，使DBN 克服了 BP 网络因随机初始化权值参数而容易陷入局部最优 和训练时间长的缺点。
is a learning rate for the stochastic gradient descent in Contrastive Divergence W is the RBM weight matrix, of dimension (number of hidden units, number of inputs) b is the RBM offset vector for input units c is the RBM offset vector for hidden units Notation: Q(h2·= 1|x2) is the vector with elements Q(h2i = 1|x2)
深度学习算法
e of Deep Learning）， 更是在国内引起了很多关注。在计 算能力变得日益廉价的今天，深度学习试图建立大得多也复杂得多的神 经网络。 很多深度学习的算法是无监督或半监督式学习算法，用来处理存在少 量未标识数据的大数据集。常见的深度学习算法包括： 受限波尔兹曼机（Restricted Boltzmann Machine） 深度信念网络（ Deep Belief Networks） 卷积神经网络（Convolutional Neural Networks） 堆栈式自动编码器（Stacked Auto-encoders）
深度学习的实质
深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征 输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征 的能力。多层的好处在于可以用较少的参数表示复杂的函数。
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练 数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深 度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不 同在于： 强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点； 明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在 原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与 人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的 丰富内在信息。
权重矩阵可视化结果
Results
50
50
100
100
150
150
200
200
250250ຫໍສະໝຸດ 050100
150
200
250
300
迭代1次
0
50
100
150
200
250
300
迭代10次
Results
重构平均错误率
迭代1次： Average reconstruction error is: 66.2661； Mini-batch mean squared error on training set is 0.13954； Full-batch train err = 0.068880； 迭代10次： epoch 10/10. Average reconstruction error is: 42.2354； Mini-batch mean squared error on training set is 0.026504； Full-batch train err = 0.025100。
Notes On CD Pseudo，对比散度算法伪代码注释
This is the RBM update procedure for binomial units. It can easily adapted to other types of units. X 1 is a sample from the training distribution for the RBM
Deep Belief Networks 深度信念网络
Convolutional Neural Networks 卷积神经网络
深度学习算法
Deep Belief Networks
典型的神经网络类型
深度信念网络的框架
DBNs由多个限制玻尔兹曼机（RBM）层组成。RBM被“限制”为一个可视层 和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练 去捕捉在可视层表现出来的高阶数据的相关性。
上述训练模型中第一步在深度学习的术语叫做预训练，第二步叫
做微调。最上面有监督学习的那一层，根据具体的应用领域可以换成 任何分类器模型，而不必是BP网络。
Deep Belief Networks
CD Pseudo，对比散度算法伪代码
伪代码中涉及到的后验概 率可以由能量模型和极大 似然估计求出
Deep Belief Networks
深度学习算法
深度学习的浪潮
深度学习（Deep Learning）是机器学习研究中的一个新的领域，深度学习 是当下最热门的方向之一。其动机在于建立、模拟人脑进行分析学习的神经 网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。 深度学习热潮爆发以来，诸多研究者都在不懈地努力着，希望能够把它应 用于解决计算机视觉的各种任务上，从高层次（high-level）的识别（ recognition），分类（classification）到低层次（low-level）的去噪（ denoise）。让人不禁联想起当年的稀疏表达（sparse representation）的热 潮，而深度学习如今的风靡程度看上去是有过之而无不及。深度学习也有横 扫high-level问题的趋势，high-level的很多方向都在被其不断刷新着数据。 作为强大的特征（feature）学习工具，在给定足够多的训练集的情况下， 它可以帮助用户学习到这个任务下的具有很强分辨能力的特征。