基于卷积神经网络的手写数字识别

8
卷积
9
子采样
• 利用图像局部相关性的原理，减 少训练维数，同时保留了有用信 息 • 降低图像分辨率 • 增强网络对大小变化的适用性
子采样
• 为什么不把S2中的每个特征图连接到每个 C3的特征图呢？原因有2点。
• 第一，不完全的连接机制将连接的数量保 持在合理的范围内。 • 第二，也是最重要的，其破坏了网络的对 称性。由于不同的特征图有不同的输入， 所以迫使他们抽取不同的特征。
LeNet5
15
LeNet5
16
优点
卷积神经网络较一般神经网络在图像处理方 面有如下优点： • a）输入图像和网络的拓扑结构能很好的吻 合； • b）特征提取和模式分类同时进行，并同时 在训练中产生； • c）权重共享可以减少网络的训练参数，使 神经网络结构变得更简单，适应性更强。
缺点
• 实践中，具有类标号的数据较少，而不具 有类标号的数据非常丰富，为每个数据人 工设置类标号是非常费时和枯燥的。然而， 为了使得监督卷积神经网络通过训练具有 较高的泛化能力，需要大量具有类标号的 训练样本，这也是制约临督卷积神经网络 在实践巾应用的主要因素。
卷积神经网络的非监督
• 深层网络含有较多的权值，当具有类标号的训 练样本较少时，仅使用监督训练的方法不能充 分训练深层网络。近年来，深层学习的研究表 明，可以先使用没有类标号的训练样本逐层非 脆督训练深层网络，而后，再使用少量具有类 标号的训练样本监督训练深层网络，进行权值 微调，这样在具有类标号的训练样本较少时， 也能训练出泛化能力较高的深层网络。 • 卷积神经网络的非监督训练算法主要有三种： 预测稀疏分解PSD，不变预测稀疏分解IPSD和 卷积预测稀疏分解CPSD。
训练过程
训练算法与传统的BP算法差不多。主要包括4步，这4步被分为 两个阶段： • 第一阶段，向前传播阶段： a）从样本集中取一个样本(X,Yp)，将X输入网络； b）计算相应的实际输出Op。 在此阶段，信息从输入层经过逐级的变换，传送到输出层。 这个过程也是网络在完成训练后正常运行时执行的过程。在此 过程中，网络执行的是计算（实际上就是输入与每层的权值矩 阵相点乘，得到最后的输出结果）： Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n）） • 第二阶段，向后传播阶段 a）算实际输出Op与相应的理想输出Yp的差； b）按极小化误差的方法反向传播调整权矩阵。
基于卷积神经网络的手写数字 识别
卷积神经网络
• 基于人工神经网络 • 使用卷积核作为特征抽取器 • 自动训练特征抽取器（即卷积核，即阈值 参数） • 卷积核一次训练多次使用，可以在线学习 （模型在训练好之后，在使用中继续训 练）。 • 局部感受野+权值共享+下采样 使模型参数 大幅减小。
卷积
-1 0
1
Convolve with
-1 0 1
Threshold
-1 0 1
• 卷积其实是一个 图像处理核 • 卷积用于增强图 像的某种特征， 降低噪音
7
来自百度文库
w11
w12
w13
w11 w12
w13 w23 w33
w21 w31
w22 w32
w23 w21 w33 w31 w32 w22
卷积
features