人工智能原理-基于Python语言和TensorFlow-卷积神经网络

人工智能原理：

基于Python语言和TensorFlow

张明 副教授

第六章：卷积神经网络

1.卷积神经网络

2.卷积神经网络的模型架构

3.卷积运算

4.卷积常见层

5.TensorFlow和图像

6.模型训练

7.模型评估

8.多GPU的模型训练

6.1：卷积神经网络

应用：是深度学习技术中极具代表的网络结构之一，属于人工神经网络的一种。它在许多最新的神经网络模型中都有具体的应用，并被应用于多个实际领域中，其中应用最频繁，也是应用最成功的领域就是图像处理。在国际标准的ImageNet数据集上，许多成功的模型都是基于卷积神经网络的应用。

优点：卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的一个卷积层中，通常包含了若干个特征平面，每个特征平面都是由一些矩形排列的神经元所构成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核带来的直接好处就是减少了网络中各层之间的连接，同时又降低了过拟合的风险。子采样层也叫作池化，通常有均值子采样和最大值子采样两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型的复杂度，减少了模型的参数。

6.1：卷积神经网络

卷积神经网络（Convolutional Neural Network, CNN）是深度学习技术中极具代表的网络结构之一，属于人工神经网络的一种。其应用最成功的领域就是图像处理。在国际标准的ImageNet数据集上，许多成功的模型都是基于卷积神经网络的应用。

卷积神经网络相较于传统的图像处理算法的优点在与避免了对图像处理时复杂的前期预处理过程（提取人工特征等），可以直接输入原始图像。

卷积神经网络基本结构如下图所示。

1.卷积神经网络通常由若干个卷积层、激活层、池

化层以及全连接层组成。

2.左图为全连接，右图为局部连接

在左图的全连接结构中，每一个节点的输入都是上一层的所有输出，当其中的隐含层节点数目偏多时，整个网络中的参数数量将会变得异常巨大。以图片为例，一般的jpg格式图片在计算机中是

以三维矩阵的形式进行存储，如果要对一张分辨率达到1000×1000的灰度图片进行处理，则一共

需要1000×1000×3=3000000个整数值。如果将每

一个值都看做一个特征维度，经过感知机的变换后保持输出维度不变，则需要

1000×1000×1000×1000=1012个元素的参数矩阵。在右图的局部连接结构中，卷积操作是最核心的部分，它与全连接结构最大的不同就是能够充分利用图片中相邻区域的信息，通过稀疏连接和共享权值的方式来减少参数矩阵的规模，从而减少计算量，同时，也能够提高收敛的速度。例如，在6-2右图中，假如每个神经元只和10×10个像素值相连，那么权值数据为1000000×100个参数，减少为原来的万分之一。而那10×10个像素值对应的10×10个参数，其实就相当于卷积操作。

第六章：卷积神经网络

1.卷积神经网络

2.卷积神经网络的模型架构

3.卷积运算

4.卷积常见层

5.TensorFlow和图像

6.模型训练

7.模型评估

8.多GPU的模型训练

6.2：卷积神经网络的模型架构

1 ImageNet-2010网络结构

2 DeepID网络结构

Alex的卷积神经网络结构图如下所示：

该模型的基本参数为。

输入：224×224大小的图片，3通道。

第一层卷积：11×11大小的卷积核96个，每个GPU上48个。

第一层max-pooling：2×2的卷积核。

第二层卷积：5×5大小的卷积核256个，每个GPU上128个。

第二层max-pooling：2×2的卷积核。

第三层卷积：与上一层是全连接，3×3大小的的卷积核384个。分到两个GPU上各192个。

第四层卷积：3×3大小的卷积核384个，两个GPU各192个。该层与上一层连接没有经过pooling层。

第五层卷积：3×3大小的卷积核256个，两个GPU上个128个。

第五层max-pooling：2×2的卷积核。

第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入。

第二层全连接：4096维。

softmax层：输出为1000，输出的每一维都是图片属于该类别的概率。

6.2：卷积神经网络的模型架构

1 ImageNet-2010网络结构

2 DeepID网络结构

DeepID网络结构如下所示：

特点：最后只有一层全连接层，然后就是softmax层了。

6.3：卷积运算

1 输入和卷积核

2 降维

3 填充

4 数据格式

卷积是图像处理常用的方法，给定输入图像，在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均。其中权值由一个函数定义，这个函数称为卷积核，比如说卷积公式：

其中f为输入，G为卷积核。

6.3：卷积运算

1 输入和卷积核

2 降维

3 填充

4 数据格式

降维是通过单幅图像数据的高维化，将单幅图像转化为高维空间中的数据集合，对其进行非线性降维。降维方法分为线性降维和非线性降维。

1．线性降维方法：PCA、ICA、LDA、LFA、LPP（LE 的线性表示）

2．非线性降维方法又分为以下两种。

（1）基于核函数的非线性降维方法：KPCA 、KICA、KDA。

（2）基于特征值的非线性降维方法（流型学习）：ISOMAP、LLE、LE、LPP、LTSA、MVU。