(完整word版)深度学习-卷积神经网络算法简介

深度学习

卷积神经网络算法简介

李宗贤

北京信息科技大学智能科学与技术系

卷积神经网络是近年来广泛应用在模式识别、图像处理领域的一种高效识别算法，具有简单结构、训练参数少和适应性强的特点。它的权值共享网络结构使之更类似与生物神经网络，降低了网络的复杂度，减少了权值的数量。以二维图像直接作为网络的输入，避免了传统是被算法中复杂的特征提取和数据重建过程。卷积神经网络是为识别二维形状特殊设计的一个多层感知器，这种网络结构对于平移、比例缩放、倾斜和其他形式的变形有着高度的不变形。

➢卷积神经网络的结构

卷积神经网络是一种多层的感知器，每层由二维平面组成，而每个平面由多个独立的神经元组成，网络中包含一些简单元和复杂元，分别记为C元和S元。C元聚合在一起构成卷积层，S元聚合在一起构成下采样层。输入图像通过和滤波器和可加偏置进行卷积，在C层产生N个特征图（N值可人为设定），然后特征映射图经过求和、加权值和偏置，再通过一个激活函数（通常选用Sigmoid函数）得到S层的特征映射图。根据人为设定C层和S层的数量，以上工作依次循环进行。最终，对最尾部的下采样和输出层进行全连接，得到最后的输出。

卷积的过程：用一个可训练的滤波器fx去卷积一个输入的图像（在C1层是输入图像，之后的卷积层输入则是前一层的卷积特征图），通过一个激活函数(一般使用的是Sigmoid函数)，然后加一个偏置bx，得到卷积层Cx。具体运算如下式，式中Mj是输入特征图的值：

X j l=f∙(∑X i l−1∗k ij l+b j l

i∈Mj)

子采样的过程包括：每邻域的m个像素（m是人为设定）求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过激活函数Sigmoid产生特征映射图。从一个平面到下一个平面的映射可以看作是作卷积运算，S层可看作是模糊滤波器，起到了二次特征提取的作用。隐层与隐层之间的空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息。对于子采样层来说，有N 个输入特征图，就有N个输出特征图，只是每个特征图的的尺寸得到了相应的改变，具体运算如下式，式中down（）表示下采样函数。

X j l=f∙(βj l down (X j l−1) +b j l)X j l)

➢卷积神经网络的训练过程

卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入和输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式。用已知的模式对卷积网络加以训练，网络就具有了输

入输出对之间的映射能力。卷积神经网络执行的是有监督的导师训练，所以样本集是由形如（输入向量，理想输出向量）的向量对构成。卷积神经网络训练算法类似于BP算法，主要分为4步，这4步分为两个阶段：

1、向前传播过程

1）从样本集中读取（X,Y）,将X输入网络

2）计算相应的实际输出Op。

在此阶段，信息从输入层经过逐层变换，传送到输出层，输入

与每层的权值矩阵点乘，得到输出结果：

Op=Fn（…( F2 ( F1 (XpW(1) ) W(2) )…)W(n)）

2、向后传播阶段

1）计算实际输出和理想输出的差值

2）按极小误差发反向传播调整权值矩阵

➢卷积神经网络的优点

卷积神经网络主要用于识别位移、缩放及其它形式扭曲不变形的二维图像。由卷积神经网络的特征检测层通过训练，由于同一特征平面上的神经元权值相同，所以网络可以并行学习，这种以局部权值共享的特殊结构在语音识别和图像处理方面具有独特的优越性，使其布局更类似于生物神经网络。卷积神经网络较一般神经网络在图像识别方面有如下优点：

1）以二维图像为网络的直接输入，减少了复杂特征提取和数据重建等计算过程。

2）输入图像和网络的拓扑结构能有很好的吻合。

3）特征提取和模式分类同时进行，并在训练中产生。

4）权值共享可以很大程度上减少网络训练参数，是网络结构的适应性更强。

目前，卷积神经网络已经被广泛应用于二维图像处理、模式识别、机器视觉等领域，并能很好地解决相关问题。