卷积神经网络纯净版.ppt
合集下载
CNN(卷积神经网络) ppt课件
为了处理一维序列数据，便有了循环神经网络，以及基于循环神经网络 优化而来的lstm,attention机制等．
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
CNN处理图像
卷积神经网络的计算效率提升，参数量：10^12 －＞ 10^6
卷积神经网络池化有最大池化(max_pool)和平均池化(avg_pool)，顾名 思义，最大池化取区域内最大值，平均池化取区域内平均值．其它池化包 括L 2 范数以及依靠据中心像素距离的加权平均池化．
ＣＮＮ池化过程
CNN 特性－池化
为什么要池化？
１．减少参数的量，提高计算效率． ２．最大池化能显著增强局部特征，平均池化可减少噪声．
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
CNN特性－权值共享和多卷积核
卷积神经网络之所以计算效率高，对特征提取的效果好，主要是由于卷 积神经网络具有以下三个特性：权值共享，多卷积核，池化．
权值共享
请在这里输入论文答辩
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
CNN处理图像
卷积神经网络的计算效率提升，参数量：10^12 －＞ 10^6
卷积神经网络池化有最大池化(max_pool)和平均池化(avg_pool)，顾名 思义，最大池化取区域内最大值，平均池化取区域内平均值．其它池化包 括L 2 范数以及依靠据中心像素距离的加权平均池化．
ＣＮＮ池化过程
CNN 特性－池化
为什么要池化？
１．减少参数的量，提高计算效率． ２．最大池化能显著增强局部特征，平均池化可减少噪声．
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
CNN特性－权值共享和多卷积核
卷积神经网络之所以计算效率高，对特征提取的效果好，主要是由于卷 积神经网络具有以下三个特性：权值共享，多卷积核，池化．
权值共享
请在这里输入论文答辩
卷积神经网络ppt课件
6. F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层 全相连。有10164个可训练参数。如同经典神经网络，F6层计算输入向量 和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数 产生节点的输出。
16
LetNet-5
比特面编码：将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值 图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。 为此，将每个比特面分为不重叠的m×n个元素的子块。
23
池化层的误差传递
大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为 例
Layer l-1
Layer l
24
池化层的误差传递
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻 域相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍 将C5标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的 保持不变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
17
卷积层的训练
layer l-1
L-1
层
？
的
误
差
L-1
层 的
输 出
layer l
L
层 的 误 差
L
层 的 输 入
18
卷积层的误差传播
19
卷积层的误差传播
20
卷积层的误差传播
卷积操作 21
卷积层filter权重梯度的计算
22
卷积层filter权重梯度的计算
16
LetNet-5
比特面编码：将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值 图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。 为此，将每个比特面分为不重叠的m×n个元素的子块。
23
池化层的误差传递
大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为 例
Layer l-1
Layer l
24
池化层的误差传递
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻 域相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍 将C5标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的 保持不变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
17
卷积层的训练
layer l-1
L-1
层
？
的
误
差
L-1
层 的
输 出
layer l
L
层 的 误 差
L
层 的 输 入
18
卷积层的误差传播
19
卷积层的误差传播
20
卷积层的误差传播
卷积操作 21
卷积层filter权重梯度的计算
22
卷积层filter权重梯度的计算
卷积神经网络报告[优质ppt]
![卷积神经网络报告[优质ppt]](https://img.taocdn.com/s3/m/ce5f199c52d380eb62946dc6.png)
卷积神经网络介绍
AnnualReport
汇报人：龚志雄
卷积神经网络概述
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神 经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。
与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层 有两张图片。
这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有 多少个卷积核。右图中有三张图片的输入，两张 图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C3到S4的过程又是一个池化的过程，对C3层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。 S4之后就是全连接层了，S4层的十六张图片需要展开成一个向量作为全连接层的输入。
CNN网络的执行过程
CNN网络的执行过程
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
AnnualReport
汇报人：龚志雄
卷积神经网络概述
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神 经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。
与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层 有两张图片。
这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有 多少个卷积核。右图中有三张图片的输入，两张 图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C3到S4的过程又是一个池化的过程，对C3层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。 S4之后就是全连接层了，S4层的十六张图片需要展开成一个向量作为全连接层的输入。
CNN网络的执行过程
CNN网络的执行过程
右图展示了Input图片经过卷基层的过程，该卷 基层有六个神经元，每个神经元有一个卷积核。
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
CNN网络的执行过程
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
CNN(卷积神经网络) ppt课件
Notes: 式1:
神经网络的结点计算
前向计算：
反向传播：
神经网络梯度传播(链式法则）
Notes:
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
卷积神经网络和深度学习的历史
卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究大脑获得的深 刻理解成功应用于机器学习应用的关键例子，也是第一个表现良好的深度模型之 一．是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿．
目录
Contents
3. CNN实现(tensorflow)
3.1.主流CNN模型介绍 3.2.使用tensorflow实现CNN 3.3.使用tensorflow实现其它模型
使用tensorflow搭建CNN
TensorFlow™ 是一个采用数据流图，用于数值计算的开源软件库。节点 在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组， 即张量（tensor）。
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
神经网络的结点计算
前向计算：
反向传播：
神经网络梯度传播(链式法则）
Notes:
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
卷积神经网络和深度学习的历史
卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究大脑获得的深 刻理解成功应用于机器学习应用的关键例子，也是第一个表现良好的深度模型之 一．是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿．
目录
Contents
3. CNN实现(tensorflow)
3.1.主流CNN模型介绍 3.2.使用tensorflow实现CNN 3.3.使用tensorflow实现其它模型
使用tensorflow搭建CNN
TensorFlow™ 是一个采用数据流图，用于数值计算的开源软件库。节点 在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组， 即张量（tensor）。
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
卷积神经网络(纯净版)ppt课件
Convolutional Neural Networks 卷积神经网络
1
Contents
• 机器学习，神经网络，深度学习之间的关系 • 什么是神经网络 • 梯度下降算法 • 反向传播算法 • 神经网络的训练 • 什么是卷积 • 什么是池化 • LeNet-5 • 其它的工作
2
Convolutional Neural Networks
5
Convolutional Neural Networks
反向传播算法（Back Propagation）
• 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度， 简单的理解就是链式法则
根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:
可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型 中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏 导的。
• 神经元：
,
• 每个连接都有一个权值
4
图1.一个全连接的神经网络
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法 • 每次沿着梯度的反方向，即函数值下降最快的方向，去
修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别 卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量 黄色部分是卷积核
11
Convolutional Neural Networks
1
Contents
• 机器学习，神经网络，深度学习之间的关系 • 什么是神经网络 • 梯度下降算法 • 反向传播算法 • 神经网络的训练 • 什么是卷积 • 什么是池化 • LeNet-5 • 其它的工作
2
Convolutional Neural Networks
5
Convolutional Neural Networks
反向传播算法（Back Propagation）
• 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度， 简单的理解就是链式法则
根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:
可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型 中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏 导的。
• 神经元：
,
• 每个连接都有一个权值
4
图1.一个全连接的神经网络
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法 • 每次沿着梯度的反方向，即函数值下降最快的方向，去
修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别 卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量 黄色部分是卷积核
11
Convolutional Neural Networks
卷积神经网络ppt课件
Convolutional Neural Networks 卷积神经网络
ppt课件.
1
Contents
机器学习，神经网络，深度学习之间的关系 什么是神经网络 梯度下降算法 反向传播算法 神经网络的训练 什么是卷积 什么是池化 LeNet-5 其它的工作
ppt课件.
2
Convolutional Neural Networks
ppt课件.
6
Convolutional Neural Networks
梯度下降算法+反向传播算法
ppt课件.
7
Convolutional Neural Networks
ppt课件.
8
Convolutional Neural Networks
ppt课件.
9
Convolutional Neural Networks
ppt课件.
10
Convolutional Neural Networks
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别
卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量
黄色部分是卷积核
ppt课件.
11
Convolutional Neural Networks
图1.一个全连接的神经网络
ppt课件.
4
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法
• 每次沿着梯度的反方向，即函数值下降最快的方向，去 修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）
ppt课件.
1
Contents
机器学习，神经网络，深度学习之间的关系 什么是神经网络 梯度下降算法 反向传播算法 神经网络的训练 什么是卷积 什么是池化 LeNet-5 其它的工作
ppt课件.
2
Convolutional Neural Networks
ppt课件.
6
Convolutional Neural Networks
梯度下降算法+反向传播算法
ppt课件.
7
Convolutional Neural Networks
ppt课件.
8
Convolutional Neural Networks
ppt课件.
9
Convolutional Neural Networks
ppt课件.
10
Convolutional Neural Networks
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别
卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量
黄色部分是卷积核
ppt课件.
11
Convolutional Neural Networks
图1.一个全连接的神经网络
ppt课件.
4
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法
• 每次沿着梯度的反方向，即函数值下降最快的方向，去 修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）
深度学习史上最详细的卷积循环神经网络 PPT
•ReLU激励层 / ReLU layer
•池化层 / Pooling layer
•全连接层大/家好FC layer
3
卷积神经网络（CNN)介绍
数据输入层
该层要做的处理主要是对原始图像数据进行预处理，其中 包括：
•去均值：把输入数据各个维度都中心化为0
•归一化：幅度归一化到同样的范围
•PCA/白化：用PCA降维；白化是对数据各个特征轴上 的幅度归一化
8
卷积神经网络（CNN)介绍
卷积计算层
大家好
9
卷积层的计算过程
卷积运算的特点：通过卷积运算，可
以使原信号特征增强，并且降低噪音
大家好
10
卷积层的计算过程
同一个图片，经过两个（红色、绿色）不同的filters扫描过后可得到不同 特点的Feature Maps。 每增加一个filter，就意味着你想让网络多抓取一个 特征。
将卷积所得的Feature Map经过ReLU变换（elementwise）后所得到的 output就如下图所展示
大家好
13
卷积神经网络（CNN)介绍
池化层
池化层夹在连续的卷积层中间，用于压缩数据和参数的量，减小过 拟合。简而言之，如果输入是图像的话，那么池化层的作用就是压 缩图像。
池化层用的方法有Max pooling 和 average pooling，而实际用的较多 的是Max pooling
深度学习二
卷积神经网络
讲解人：
导 师：
大家好
1
内容
• 卷积神经网络（CNN）介绍 • LeNet5模型的介绍 • 分析 LeNet5模型相关代码 • LeNet5 模型的训练代码 • 实验结果
卷积神经网络原理推导
精选版课件ppt
17
•②求第I层第j个灵敏度map（公式2可得）：
说明：在下采样层map的权值W都取一个相同 值β，而且是一个常数。
•③第l层灵敏度δl：对第l层中的灵敏度map中 所有节点进行求和，由公式1可知，得到基的 梯度。
精选版课件ppt
18
(2)计算卷积核的梯度 •①对于一个给定的权值，对所有共享该权值 的连接对该点求梯度； •②然后对这些梯度进行求和。
精选版课件ppt
3
1.全连接层学习算法
• 1.1工作信号正向传播 • 1.2误差信号反向传播
精选版课件ppt
4
全连接层网络结构图
精选版课件ppt
5
2.1工作信号正向传播
(1)当前第l层的输出xl： •①先求ul：第l-1层的输出xl-1（第l层的输入） 与其对应权值Wl相乘，再加上基bl
•②再利用激活函数f(.) 得xl：sigmoid或Relu
精选版课件ppt
10
(2)权值调整
•①导数：
= X 误差E对于第l
层权值矩阵
第l层的输入 （即第l-1层
第l层的 灵敏度
Wl的导数
的输出）xl-1
向量δl
•②权值更新（公式3）：
对于每一个权值Wij都有 一个特定的学习率ηIj
精选版课件ppt
11
2.卷积层学习算法
• 2.1工作信号正向传播 • 2.2误差信号反向传播
•②总误差：每个样本（共N个）误差的和
精选版课件ppt
8
2.2误差信号反向传播
• 反向传播回来的误差可以看做是每个神经 元的基的灵敏度
• 灵敏度的意思就是基b变化多少，误差会变 化多少
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
机器学习，神经网络， 深度学习之间的关系
3
机器学习 神经网络 深度学习
CNN/RNN
Convolutional Neural Networks
什么是神经网络？
• 人工神经网络（Artificial neural network, ANN），简称 神经网络（NN）
• 神经网络其实就是按照一定规则连接起来的多个神经 元
• 池化的方法很多，最常用的是Max Pooling。Max Pooling实际上就是在n*n的样本中取最大值，作为采 样后的样本值。右图是2*2 max
12
Convolutional Neural Networks
LeNet-5
13
LeNet-5
1. 输入图像是32x32的大小，卷积核的大小是5x5的，由于不考虑对图像 的边界进行拓展，则卷积核将有28x28个不同的位置，也就是C1层的大 小是28x28。这里设定有6个不同的C1层，每一个C1层内的权值是相同的。 2. S2层是一个下采样层，即池化层。在斯坦福关于深度学习的教程中， 这个过程叫做Pool 。但在LeNet-5系统，下采样层比较复杂，由4个点下 采样的加权平均为1个点，，因为这4个加权系数也需要学习得到，这显 然增加了模型的复杂度。
17
卷积层的训练
layer l-1
L-1
层
？
的
误
差
L-1
层 的 输 出
18
layer l
L
层 的 误 差
L
层 的 输 入
卷积层的误差传播
19
卷积层的误差传播
20
卷积层的误差传播
卷积操作 21
卷积层filter权重梯度的计算
22
卷积层filter权重梯度的计算
与误差传播类似，相当于l层 的误差项（sensitivity map）与 l-1层的输出项做卷积操作，得到卷积核 （filter）的梯度
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别 卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量 黄色部分是卷积核
11
Convolutional Neural Networks
什么是池化？
• 池化层主要的作用是下采样，通过去掉Feature Map 中不重要的样本，进一步减少参数数量。
14
LeNet-5
3. 根据对前面C1层同样的理解，我们很容易得到C3层的大小为10x10. 只不过，C3层的变成了16个 10x10网络，有16个卷积核。 如果S2层只有1个平面，那么由S2层得到C3就和由输入层得到C1层是完 全一样的。但是，S2层由多层，那么，只需要按照一定的顺利组合这些层就可以了。具体的组合规 则，在 LeNet-5 系统中给出了下面的表格：
Convolutional Neural Networks 卷积神经网络
1
Contents
• 机器学习，神经网络，深度学习之间的关系 • 什么是神经网络 • 梯度下降算法 • 反向传播算法 • 神经网络的训练 • 什么是卷积 • 什么是池化 • LeNet-5 • 其它的工作
2
Convolutional Neural NetworksC3层feFra bibliotekture map
S2层feature map
简单的说，例如对于C3层第0张特征图，其每一个节点与S2层的第0张特征图，第1张特征图，第2张 特征图，总共3个5x5个节点相连接。后面依次类推，C3层每一张特征映射图的权值是相同的
15
LeNet-5
4. S4 层是在C3层基础上下采样，前面已述。
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻域 相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍将C5 标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的保持不 变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
• 神经元：
,
• 每个连接都有一个权值
4
图1.一个全连接的神经网络
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法 • 每次沿着梯度的反方向，即函数值下降最快的方向，去
修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）
23
池化层的误差传递
大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为例
Layer l-1
Layer l
24
池化层的误差传递
25
Thank you
5
Convolutional Neural Networks
反向传播算法（Back Propagation）
• 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度， 简单的理解就是链式法则
根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:
可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型 中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏 导的。
6
Convolutional Neural Networks
梯度下降算法+反向传播算法
7
Convolutional Neural Networks
8
Convolutional Neural Networks
9
Convolutional Neural Networks
10
Convolutional Neural Networks
6. F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层 全相连。有10164个可训练参数。如同经典神经网络，F6层计算输入向量 和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产 生节点的输出。
16
LetNet-5
比特面编码：将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值 图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。 为此，将每个比特面分为不重叠的m×n个元素的子块。
3
机器学习 神经网络 深度学习
CNN/RNN
Convolutional Neural Networks
什么是神经网络？
• 人工神经网络（Artificial neural network, ANN），简称 神经网络（NN）
• 神经网络其实就是按照一定规则连接起来的多个神经 元
• 池化的方法很多，最常用的是Max Pooling。Max Pooling实际上就是在n*n的样本中取最大值，作为采 样后的样本值。右图是2*2 max
12
Convolutional Neural Networks
LeNet-5
13
LeNet-5
1. 输入图像是32x32的大小，卷积核的大小是5x5的，由于不考虑对图像 的边界进行拓展，则卷积核将有28x28个不同的位置，也就是C1层的大 小是28x28。这里设定有6个不同的C1层，每一个C1层内的权值是相同的。 2. S2层是一个下采样层，即池化层。在斯坦福关于深度学习的教程中， 这个过程叫做Pool 。但在LeNet-5系统，下采样层比较复杂，由4个点下 采样的加权平均为1个点，，因为这4个加权系数也需要学习得到，这显 然增加了模型的复杂度。
17
卷积层的训练
layer l-1
L-1
层
？
的
误
差
L-1
层 的 输 出
18
layer l
L
层 的 误 差
L
层 的 输 入
卷积层的误差传播
19
卷积层的误差传播
20
卷积层的误差传播
卷积操作 21
卷积层filter权重梯度的计算
22
卷积层filter权重梯度的计算
与误差传播类似，相当于l层 的误差项（sensitivity map）与 l-1层的输出项做卷积操作，得到卷积核 （filter）的梯度
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别 卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量 黄色部分是卷积核
11
Convolutional Neural Networks
什么是池化？
• 池化层主要的作用是下采样，通过去掉Feature Map 中不重要的样本，进一步减少参数数量。
14
LeNet-5
3. 根据对前面C1层同样的理解，我们很容易得到C3层的大小为10x10. 只不过，C3层的变成了16个 10x10网络，有16个卷积核。 如果S2层只有1个平面，那么由S2层得到C3就和由输入层得到C1层是完 全一样的。但是，S2层由多层，那么，只需要按照一定的顺利组合这些层就可以了。具体的组合规 则，在 LeNet-5 系统中给出了下面的表格：
Convolutional Neural Networks 卷积神经网络
1
Contents
• 机器学习，神经网络，深度学习之间的关系 • 什么是神经网络 • 梯度下降算法 • 反向传播算法 • 神经网络的训练 • 什么是卷积 • 什么是池化 • LeNet-5 • 其它的工作
2
Convolutional Neural NetworksC3层feFra bibliotekture map
S2层feature map
简单的说，例如对于C3层第0张特征图，其每一个节点与S2层的第0张特征图，第1张特征图，第2张 特征图，总共3个5x5个节点相连接。后面依次类推，C3层每一张特征映射图的权值是相同的
15
LeNet-5
4. S4 层是在C3层基础上下采样，前面已述。
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻域 相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍将C5 标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的保持不 变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
• 神经元：
,
• 每个连接都有一个权值
4
图1.一个全连接的神经网络
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法 • 每次沿着梯度的反方向，即函数值下降最快的方向，去
修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）
23
池化层的误差传递
大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为例
Layer l-1
Layer l
24
池化层的误差传递
25
Thank you
5
Convolutional Neural Networks
反向传播算法（Back Propagation）
• 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度， 简单的理解就是链式法则
根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:
可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型 中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏 导的。
6
Convolutional Neural Networks
梯度下降算法+反向传播算法
7
Convolutional Neural Networks
8
Convolutional Neural Networks
9
Convolutional Neural Networks
10
Convolutional Neural Networks
6. F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层 全相连。有10164个可训练参数。如同经典神经网络，F6层计算输入向量 和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产 生节点的输出。
16
LetNet-5
比特面编码：将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值 图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。 为此，将每个比特面分为不重叠的m×n个元素的子块。