人工智能原理与实践 第6章：卷积神经网络 -
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第四层卷积：3×3大小的卷积核384个，两个GPU各192个。该层与上一层连接没有经 过pooling层。 第五层卷积：3×3大小的卷积核256个，两个GPU上个128个。 第五层max-pooling：2×2的卷积核。 第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该 层的输入。
该模型的基本参数为。
输入：224×224大小的图片，3通道。 第一层卷积：11×11大小的卷积核96个，每个GPU上48个。 第一层max-pooling：2×2的卷积核。 第二层卷积：5×5大小的卷积核256个，每个GPU上128个。 第二层max-pooling：2×2的卷积核。 第三层卷积：与上一层是全连接，3×3大小的的卷积核384个。分到两个GPU上各192 个。
6.3：卷积运算
1 输入和卷积核 2 降维 3 填充 4 数据格式
降维是通过单幅图像数据的高维化，将单幅图像转化为高维空 间中的数据集合，对其进行非线性降维。 降维方法分为线性降维和非线性降维。 1．线性降维方法：PCA、ICA、LDA、LFA、LPP（LE的线性表示 ） 2．非线性降维方法又分为以下两种。 （1）基于核函数的非线性降维方法：KPCA 、KICA、KDA。 （2）基于特征值的非线性降维方法（流型学习）：ISOMAP、 LLE、LE、LPP、LTSA、MVU。
Hale Waihona Puke Baidu
6.1：卷积神经网络
卷积神经网络（Convolutional Neural Network, CNN）是深度学习技术中 极具代表的网络结构之一，属于人工神经网络的一种。其应用最成功的领域就 是图像处理。在国际标准的ImageNet数据集上，许多成功的模型都是基于卷积神 经网络的应用。
卷积神经网络相较于传统的图像处理算法的优点在与避免了对图像处理时复 杂的前期预处理过程（提取人工特征等），可以直接输入原始图像。
第六章：卷积神经网络
1. 卷积神经网络 2. 卷积神经网络的模型架构 3. 卷积运算 4. 卷积常见层 5. TensorFlow和图像 6. 模型训练 7. 模型评估 8. 多GPU的模型训练
6.2：卷积神经网络的模型架构
1 ImageNet-2010网络结构 2 DeepID网络结构
Alex的卷积神经网络结构图如下所示：
6.3：卷积运算
1 输入和卷积核 2 降维 3 填充 4 数据格式
什么是填充值呢?
提到卷积层，就会不可避免地涉及填充这个名词以及填充值这个名词。那么，什么是填 充值呢?如图6-10所示，有一个5×5的图片，图片中的每一个格子都代表着一个像素，我 们依次滑动窗口，窗口大小我们取2×2，滑动步长我们设定为2，那么，我们会发现图中 会有一个像素没有办法滑动完毕，那么，该采用何种办法才能解决这样的问题呢？ 为了保证滑动操作能够顺利完成，我们需要在不足的部分上再补充一些像素，我们在原 先的矩阵图像上添加了一层填充值，使得图片变成了如图6-11所示的6×6的矩阵图像， 按照填充后的图像来进行步长为2的滑动，则刚好能够将所有像素遍历完成，这就是填充 值最显著的作用。
卷积神经网络基本结构如下图所示。
1. 卷积神经网络通常由若干个卷积层、激活层、池化层以及全 连接层组成。
2. 左图为全连接，右图为局部连接
在左图的全连接结构中，每一个节点的输入都是上一层的
所有输出，当其中的隐含层节点数目偏多时，整个网络中 的参数数量将会变得异常巨大。以图片为例，一般的jpg格
第二层全连接：4096维。 softmax层：输出为1000，输出的每一维都是图片属于该类别的概率。
6.2：卷积神经网络的模型架构
1 ImageNet-2010网络结构 2 DeepID网络结构
DeepID网络结构如下所示： 特点：最后只有一层全连接层，然后就是softmax层了。
6.3：卷积运算
人工智能原理： 基于Python语言和TensorFlow
第六章：卷积神经网络
1. 卷积神经网络 2. 卷积神经网络的模型架构 3. 卷积运算 4. 卷积常见层 5. TensorFlow和图像 6. 模型训练 7. 模型评估 8. 多GPU的模型训练
6.1：卷积神经网络
应用：是深度学习技术中极具代表的网络结构之一，属于人工神经网络的一种。
式图片在计算机中是以三维矩阵的形式进行存储，如果要 对一张分辨率达到1000×1000的灰度图片进行处理，则一 共需要1000×1000×3=3000000个整数值。如果将每一个
值都看做一个特征维度，经过感知机的变换后保持输出维 度不变，则需要1000×1000×1000×1000=1012个元素的 参数矩阵。
1 输入和卷积核 2 降维 3 填充 4 数据格式
卷积是图像处理常用的方法，给定输入图像，在输出图像中每 一个像素是输入图像中一个小区域中像素的加权平均。其中权 值由一个函数定义，这个函数称为卷积核，比如说卷积公式：
R(u,v) G(u i, v j) f (i, j)
其中f为输入，G为卷积核。
它在许多最新的神经网络模型中都有具体的应用，并被应用于多个实际领域中，其 中应用最频繁，也是应用最成功的领域就是图像处理。在国际标准的ImageNet数据 集上，许多成功的模型都是基于卷积神经网络的应用。
优点：卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积
神经网络的一个卷积层中，通常包含了若干个特征平面，每个特征平面都是由一些矩 形排列的神经元所构成，同一特征平面的神经元共享权值，这里共享的权值就是卷积 核。卷积核带来的直接好处就是减少了网络中各层之间的连接，同时又降低了过拟合 的风险。子采样层也叫作池化，通常有均值子采样和最大值子采样两种形式。子采样 可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型的复杂度，减少了模型 的参数。
在右图的局部连接结构中，卷积操作是最核心的部
分，它与全连接结构最大的不同就是能够充分利用
图片中相邻区域的信息，通过稀疏连接和共享权值
的方式来减少参数矩阵的规模，从而减少计算量， 同时，也能够提高收敛的速度。例如，在6-2右图 中，假如每个神经元只和10×10个像素值相连，那 么权值数据为1000000×100个参数，减少为原来的 万分之一。而那10×10个像素值对应的10×10个参 数，其实就相当于卷积操作。
该模型的基本参数为。
输入：224×224大小的图片，3通道。 第一层卷积：11×11大小的卷积核96个，每个GPU上48个。 第一层max-pooling：2×2的卷积核。 第二层卷积：5×5大小的卷积核256个，每个GPU上128个。 第二层max-pooling：2×2的卷积核。 第三层卷积：与上一层是全连接，3×3大小的的卷积核384个。分到两个GPU上各192 个。
6.3：卷积运算
1 输入和卷积核 2 降维 3 填充 4 数据格式
降维是通过单幅图像数据的高维化，将单幅图像转化为高维空 间中的数据集合，对其进行非线性降维。 降维方法分为线性降维和非线性降维。 1．线性降维方法：PCA、ICA、LDA、LFA、LPP（LE的线性表示 ） 2．非线性降维方法又分为以下两种。 （1）基于核函数的非线性降维方法：KPCA 、KICA、KDA。 （2）基于特征值的非线性降维方法（流型学习）：ISOMAP、 LLE、LE、LPP、LTSA、MVU。
Hale Waihona Puke Baidu
6.1：卷积神经网络
卷积神经网络（Convolutional Neural Network, CNN）是深度学习技术中 极具代表的网络结构之一，属于人工神经网络的一种。其应用最成功的领域就 是图像处理。在国际标准的ImageNet数据集上，许多成功的模型都是基于卷积神 经网络的应用。
卷积神经网络相较于传统的图像处理算法的优点在与避免了对图像处理时复 杂的前期预处理过程（提取人工特征等），可以直接输入原始图像。
第六章：卷积神经网络
1. 卷积神经网络 2. 卷积神经网络的模型架构 3. 卷积运算 4. 卷积常见层 5. TensorFlow和图像 6. 模型训练 7. 模型评估 8. 多GPU的模型训练
6.2：卷积神经网络的模型架构
1 ImageNet-2010网络结构 2 DeepID网络结构
Alex的卷积神经网络结构图如下所示：
6.3：卷积运算
1 输入和卷积核 2 降维 3 填充 4 数据格式
什么是填充值呢?
提到卷积层，就会不可避免地涉及填充这个名词以及填充值这个名词。那么，什么是填 充值呢?如图6-10所示，有一个5×5的图片，图片中的每一个格子都代表着一个像素，我 们依次滑动窗口，窗口大小我们取2×2，滑动步长我们设定为2，那么，我们会发现图中 会有一个像素没有办法滑动完毕，那么，该采用何种办法才能解决这样的问题呢？ 为了保证滑动操作能够顺利完成，我们需要在不足的部分上再补充一些像素，我们在原 先的矩阵图像上添加了一层填充值，使得图片变成了如图6-11所示的6×6的矩阵图像， 按照填充后的图像来进行步长为2的滑动，则刚好能够将所有像素遍历完成，这就是填充 值最显著的作用。
卷积神经网络基本结构如下图所示。
1. 卷积神经网络通常由若干个卷积层、激活层、池化层以及全 连接层组成。
2. 左图为全连接，右图为局部连接
在左图的全连接结构中，每一个节点的输入都是上一层的
所有输出，当其中的隐含层节点数目偏多时，整个网络中 的参数数量将会变得异常巨大。以图片为例，一般的jpg格
第二层全连接：4096维。 softmax层：输出为1000，输出的每一维都是图片属于该类别的概率。
6.2：卷积神经网络的模型架构
1 ImageNet-2010网络结构 2 DeepID网络结构
DeepID网络结构如下所示： 特点：最后只有一层全连接层，然后就是softmax层了。
6.3：卷积运算
人工智能原理： 基于Python语言和TensorFlow
第六章：卷积神经网络
1. 卷积神经网络 2. 卷积神经网络的模型架构 3. 卷积运算 4. 卷积常见层 5. TensorFlow和图像 6. 模型训练 7. 模型评估 8. 多GPU的模型训练
6.1：卷积神经网络
应用：是深度学习技术中极具代表的网络结构之一，属于人工神经网络的一种。
式图片在计算机中是以三维矩阵的形式进行存储，如果要 对一张分辨率达到1000×1000的灰度图片进行处理，则一 共需要1000×1000×3=3000000个整数值。如果将每一个
值都看做一个特征维度，经过感知机的变换后保持输出维 度不变，则需要1000×1000×1000×1000=1012个元素的 参数矩阵。
1 输入和卷积核 2 降维 3 填充 4 数据格式
卷积是图像处理常用的方法，给定输入图像，在输出图像中每 一个像素是输入图像中一个小区域中像素的加权平均。其中权 值由一个函数定义，这个函数称为卷积核，比如说卷积公式：
R(u,v) G(u i, v j) f (i, j)
其中f为输入，G为卷积核。
它在许多最新的神经网络模型中都有具体的应用，并被应用于多个实际领域中，其 中应用最频繁，也是应用最成功的领域就是图像处理。在国际标准的ImageNet数据 集上，许多成功的模型都是基于卷积神经网络的应用。
优点：卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积
神经网络的一个卷积层中，通常包含了若干个特征平面，每个特征平面都是由一些矩 形排列的神经元所构成，同一特征平面的神经元共享权值，这里共享的权值就是卷积 核。卷积核带来的直接好处就是减少了网络中各层之间的连接，同时又降低了过拟合 的风险。子采样层也叫作池化，通常有均值子采样和最大值子采样两种形式。子采样 可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型的复杂度，减少了模型 的参数。
在右图的局部连接结构中，卷积操作是最核心的部
分，它与全连接结构最大的不同就是能够充分利用
图片中相邻区域的信息，通过稀疏连接和共享权值
的方式来减少参数矩阵的规模，从而减少计算量， 同时，也能够提高收敛的速度。例如，在6-2右图 中，假如每个神经元只和10×10个像素值相连，那 么权值数据为1000000×100个参数，减少为原来的 万分之一。而那10×10个像素值对应的10×10个参 数，其实就相当于卷积操作。