机器学习实验报告完整

基于AutoEncoder原理和L_BFGS 优化算法实现手写数字识别目录1 神经网络基本概念 (3)1.1概述 (3)1.2 神经网络模型 (4)2 AutoEncoder原理 (5)2.1 反向传播算法 (5)2.2 Softmax回归 (7)2.3 Stacked AutoEncoder (8)2.4 微调过程 (9)2.5 Sparse AutoEncoder (9)2.6 Denoise AutoEncoder (10)3 L_BFGS算法 (11)3.1基本原理 (11)3.2算法流程 (16)3.3算法收敛性分析： (19)4 基于AutoEncoder的手写数字识别 (19)4.1 MNIST数据库 (19)4.2 模型训练 (20)4.3 模型测试 (20)5 实验结果及分析： (20)5.1 AutoEncoder (21)5.2 Sparse AutoEncoder (21)5.3 Denoise AutoEncoder (22)5.4 实验结果汇总及分析 (23)6 参考资料 (25)AutoEncoder 实现手写数字识别1 神经网络基本概念1.1概述神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

神经网络由多个神经元构成，下图就是单个神经元的图1所示：图1 神经元模型这个神经元是以123,,x x x 以及截距1+为输入值的运算单元，其输出为3,()()()T W b i i i h x f W x f W x b ===+∑，其中函数()f ⋅被称作“激活函数”。

在本次试验中，我们选用sigmoid 函数作为激活函数()f ⋅图2 sigmoid 函数图像1.2 神经网络模型神经网络就是将许多个单一的神经元联结在一起，这样，一个神经元的输出就可以是另一个神经元的输入。

例如，下图就是一个简单的神经网络：图3 神经网络示意图我们用()l i a 第l 层第i 单元的激活值（输出值）。

当1l =时，()l i i a x =，也就是第i 个输入值。

对于给定的参数集合,W b ，神经网络就可以按照函数,()W b h x 来计算输出结果。

以上述模型为例，计算步骤如下: (2)(1)(1)(1)(1)11111221331(2)(1)(1)(1)(1)22112222332(2)(1)(1)(1)(1)33113223333(3)(2)(2)(2)(2)(2)(2)(2),11111221331()()()()()W b a f W x W x W x b a f W x W x W x b a f W x W x W x b h x a f W a W a W a b =+++=+++=+++==+++(2)我们用()l i z 表示第第l 层第i 单元输入加权和（包括偏置），这样我们对上式就可以得到一种更加简洁的表示法：(2)(1)(1)(2)(2)(3)(2)(2)(2)(3)(3),()()()W b z W x b a f z z W a b h x a f z =+==+== (3)上述的计算步骤叫作前向传播。

给定第l 层的激活值()l a 后，第1l +层的激活值(1)l a +就可以按照下面步骤计算得到：(1)()()()(1)(1)()l l l l l l z W a b a f z +++=+= (4)2 AutoEncoder 原理2.1 反向传播算法自编码（AutoEncoder ）神经网络是一种无监督的学习算法，它使用了反向传播算法，让目标值等于输入值，例如输入值为训练样本集合(1)(2)(3){,,}x x x ，则我们的输出值()()i i y x =。

下图是一个自编码神经网络的示例：图4 单隐层神经网络自编码神经网络的主要参数是连接权重W 和偏置b ，我们尝试利用自编码神经网络学习一个,()W b h x x =，也就是说我们尝试逼近一个恒等函数，从而使得输出ˆx 接近于输入x 。

假设我们有一个固定样本集(1)(1)()(){(,),,(,)}m m x y x y ，它包含m 个样例。

对于单个样例(,)x y ，其代价函数为：这是一个方差代价函数。

给定一个包含m 个样例的数据集，我们可以定义整体代价函数为：以上公式中的第一项(,)J W b 是一个均方差项。

第二项是一个规则化项（也叫权重衰减项），其目的是减小权重的幅度，防止过度拟合。

我们的目标是针对参数W 和b 来求其函数(,)J W b 的最小值。

为了求解神经网络，我们将每一个参数()l ij W 和()l i b 初始化为一个很小的、接近于0的随机数，之后对目标函数求最优解。

梯度下降法中每一次迭代都是按照如下公式对参数W 和b 进行更新：其中α是学习速率。

更新参数W 和b的关键步骤是计算偏导数。

而反向传播算法是计算偏导数的一种有效方法。

整体代价函数(,)J W b 的偏导数为：反向传播算法的思路是：给定一个样例(,)x y ，我们首先进行前向传导算法，得到23,,L L 的激活值，包括输出层l n L 的输出值,()W b h x 。

之后，针对第l 层的每一个节点i ，我们计算出其“残差”()l i δ，该残差表明了该节点对最终输出值得误差产证了多少影响。

残差的定义如下：对于1,2,3,,2l l l l n n n =---的各个层，第l 层的第i 个节点的残差计算方法如下：1()()(1)()1()l s l l l l i ji j i j W f z δδ++=⎛⎫'= ⎪⎝⎭∑ (10)需要我们计算的偏导数就可以写成下面的形式：总的来说，利用向量化的表示，反向传播算法可以表示成以下几个步骤：1. 进行前馈传导计算，利用前向传导公式，得到23,,L L 直至输出层l n L 的激活值。

2. 对于第l n 层（输出层），计算出残差：()()()()()l l l n n n y a f z δ'=--⋅ (12)3. 对于1,2,3,,2l l l l n n n =---的各个层 ()()()(1)()()()l l T l l W f z δδ+'=⋅(13) 4. 计算最终需要的偏导数值： ()()(1)()(1)(,;,)()(,;,)l l l l TW l b J W b x y a J W b x y δδ++∇=∇= (14)5. 根据公式（7）更新权重参数： ()()()()()()(,;,)(,;,)l l l l W l l b W W J W b x y b b J W b x y ∆=∆+∇∆=∆+∇ (15)2.2 Softmax 回归Softmax 回归模型是logistic 回归模型在多分类问题上的推广。

在logistic 回归中，训练集由m 个已标记的样本构成：{}(1)(1)()()(,),,(,)m m x y x y ，其中输入特征()1i n x +∈ℜ。

由于logistic 回归是针对二分类问题的，因此类标记{}()0,1i y ∈。

假设函数如下：我们的目的就是训练模型参数θ，使其能够最小化代价函数：而在Softmax 回归中，类标签y 可以取k 个不同的值。

因此对于训练集{}(1)(1)()()(,),,(,)m m x y x y ，我们有{}()1,2,,i y k ∈，所以假设函数()h x θ形式如下： (i)()2|;)|;)T K x i x k x θθθ⎥=⎥⎥⎥⎥⎥⎦=⎦其中112,,,n k θθθ+∈ℜ是模型参数。

Softmax 回归算法的代价函数如下：{()1i y j ⎤⎥=∑∑ 其中{}1⋅是示性函数。

为了限制Softmax 回归在描述对象时候出现过拟合现象，我们加入了权重衰减项2102k n iji j λθ==∑∑来修改代价函数，则整个代价函数变为： 经过这个权重衰减后(0)λ>，代价函数就变成了严格的凸函数，这样就可以保证得到唯一解。

此时的Hessian 矩阵变为可逆矩阵，并且因为()J θ是凸函数，L -BFGS 等算法可以保证收敛到全局最优解。

2.3 Stacked AutoEncoder栈式自编码神经网络（Stacked AutoEncoder ）是一个由多层自编码神经网络组成的神经网络，其前一层的自编码神经网络的输出作为厚一层自编码神经网络的输入。

对于一个n 层的栈式自编码神经网络，假定用(,1)(,2)(,1)(,2),,,k k k k W W b b 表示第k 个自编码神经网络的(1)(2)(1)(2),,,W W b b 参数，那么该栈式自编码神经网络的编码过程就是，按照从前向后的顺序徐行每一层自编码神经网络的编码步骤： ()()(1)(,1)()(,1)()l l l l l l a f z z W a b +==+ (22)一种比较好的获取栈式自编码神经网络参数的方法是采用逐层贪婪训练法进行训练。

即利用原始输入来训练网络的第一层，得到其参数(1,1)(1,2)(1,1)(1,2),,,W W b b ；然后网络的第一层将原始输入转化为由隐层单元激活值组成的向量A ，接着把A 作为第二层的输入，继续训练得到第二层的参数(2,1)(2,2)(2,1)(2,2),,,W W b b ，最后对后面的各层采用同样的策略训练参数。

2.4 微调过程微调（fine -tuning ）是深度学习中的常用策略，可以大幅提神一个展示自编码神经网络的性能表现。

从更高的视角来讲，微调将栈式自编码神经网络的所有层视为一个模型，网络中所有的权重只都可以被优化。

在栈式的自编码神经网络中，微调的实现主要分为以下几个步骤：1. 对于输出层（l n 层），我们使用的是Softmax 回归分类器，该层的残差为： ()()()()l l n l n n a J f z δ'=-∇⋅ (23)其中()T J I P θ∇=-，其中I 为输入数据对应的类别标签，P 为条件概率向量。

2. 对于1,2,3,,2l l l l n n n =---的各个层，利用公式（13），（14），（15），（16）计算残差，更新参数。

2.5 Sparse AutoEncoder稀疏自编码神经网络（Sparse AutoEncoder ）的稀疏性可以被解释如下。

如果当神经元的输出接近于1的时候我们认为它是被激活的，而输出接近于0的时候认为它是被抑制的，那么是的神经元大部分的时候都是被抑制的限制被称作稀疏性限制。

令(2)()1ˆ()i j j a x m ρ⎡⎤=⎣⎦表示隐层神经元j 的平均活跃度。