深度学习卷积神经网络及应用【精品PPT文档】
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
卷积神经网络研究及其应用
1
目录
一、研究现状
二、神经网络与卷积神经网络 三、卷积神经网络应用 四、总结与展望
2
一、研究现状
CNN的发展及研究现状
神经网络是神经科学与计算机科学结合的产物。
神经网络的研究几经起落，直到2006年，深度学习 提出，深度神经网研究兴起。
Hubel和wiesel通过对猫的视觉系统的实验，提出了 感受野的概念。基于视觉神经感受野的理论，有学 者提出CNN。
k 1
nk
Err(Yj ) = y j*(1-y j ) * Err(y j )
由每条连接前层神经元的输出 和后层神经元的误差得到权重 的修改量 并更新连接权重
deleta(wij ) xi * Err (Y j )
8
二、神经网络与卷积神经网络
卷积神经网络
卷积神经网络是神经网络的一种变形
23
Thank You !
24
Y2 y2
-----v22
Z 2 z2
6
二、神经网络与卷积神经网络
神经网络-训练理念（梯度下降）
x1
-----w11
12 -- w
-W 21 ---
各变量满足如下公式：
Y 1 y1
------v11
--2 -v 1
Z 1 z1
---
---
-v2 1
x2
---
-------w22
-------------w --w 31 32
1Βιβλιοθήκη Baidu
1
-----------v v31 32
---
求vjk的梯度：
lossFun y * z k *(1 z k )*(Tk zk ) j v jk
---
Y2 y2
-----v22
Z 2 z2
求wij的梯度：
2 lossFun = -x i*y *(1- y )* v jk * (Tk zk ) * zk * (1 zk ) j j w ij k 1
3
一、研究现状
CNN的发展及研究现状
深度学习在语音识别、图像识别等领域摧枯拉朽。 国际会议、期刊等涌现大量深度学习的文章，CNN 被引入很多领域。
知名高科技公司都在深度学习领域加大投入。
4
二、神经网络与卷积神经网络
神经网络起源
5
二、神经网络与卷积神经网络
神经网络-训练过程
1 y sigmoid ( Y ) z sigmoid ( Z ) Z v * y Err(z ) = T -z Y w * x deleta w ) x * Err ( Y )) deleta v( )ij y * Err ( Z kjk ( Err(Z ) = z *(1-z )*Err(z Err(y ) * Err ( Z ij ik jkv j 1 k k k) i jk Err(Y ) = y *(1-y )*Err(y jk j k e j jk k k k k) j j j j
nx
ny
nk
Y
i 00 j
k 1
x1
-----w11
12 -- w
-W 21 ---
Y 1 y1
------v11
--2 -v 1
Z 1 z1
---
---
-v2 1
x2
---
-------w22
-------------w --w 31 32
1
1
-----------v v31 32
---
---
13
二、神经网络与卷积神经网络
前向卷积过程
14
二、神经网络与卷积神经网络
15
三、卷积神经网络应用
编码实现CNN
我们采用了6w张手 写数字图片作为训 练集，用1w手写数 字图片作为测试集。
经过100次迭代， 在训练集上得到 99.51%的准确率， 在测试集上得到 98.8%的准确率。
16
CNN特征选取
卷积神经网络与神经网络的主要区别就 是CNN采用了卷积和子采样过程。
神经生物学中局部感受野的提出（1962） 催生了卷积的思想。
卷积减少了CNN网络参数，子采样减少了 网络参数，权值共享大大减少的CNN网络 参数。但是CNN具备深层结构。
9
二、神经网络与卷积神经网络
局部感受野
10
二、神经网络与卷积神经网络
本文的CNN模型的输入是语音的频谱特征
17
本文CNN网络结构描述
18
19
20
21
22
四、总结与展望
展望
由于采用使用的训练数据较少，CNN 尝试的网络结构及参数也少，我们还有很 大的模型的调优空间。 未来CNN还可以尝试使用更深层的网 络结构，使用更好的语音特征。由于深度 网络对数据描述的能力更强,我们预测增加 训练数据并经合理的训练可以达到更好的 结果。
卷积神经网络的一般结构
11
二、神经网络与卷积神经网络
卷积
卷积核kernal在inputX图中从左向右，从上至 下每次移动一个位置,对应位置相乘求和并赋值 到OutputY中的一个位置。
12
二、神经网络与卷积神经网络
子采样（pooling）
子采样通常有两种形式。均值子采样和最大值 子采样，子采样可以看做一种特殊的卷积过程。
7
二、神经网络与卷积神经网络
BP算法的规律
前向过程 兴奋在网络中从前 往后传播
Y j wij * xi ;
i 0
nx
y j = sigmoid(Yj );
Err(z k ) = Tk -z k
计算末层神经元输出与期望输出的差值 作为错误信号 错误信号在神经网络中由后往前传播
Err(y j ) = v jk * Err ( Z k )
1
目录
一、研究现状
二、神经网络与卷积神经网络 三、卷积神经网络应用 四、总结与展望
2
一、研究现状
CNN的发展及研究现状
神经网络是神经科学与计算机科学结合的产物。
神经网络的研究几经起落，直到2006年，深度学习 提出，深度神经网研究兴起。
Hubel和wiesel通过对猫的视觉系统的实验，提出了 感受野的概念。基于视觉神经感受野的理论，有学 者提出CNN。
k 1
nk
Err(Yj ) = y j*(1-y j ) * Err(y j )
由每条连接前层神经元的输出 和后层神经元的误差得到权重 的修改量 并更新连接权重
deleta(wij ) xi * Err (Y j )
8
二、神经网络与卷积神经网络
卷积神经网络
卷积神经网络是神经网络的一种变形
23
Thank You !
24
Y2 y2
-----v22
Z 2 z2
6
二、神经网络与卷积神经网络
神经网络-训练理念（梯度下降）
x1
-----w11
12 -- w
-W 21 ---
各变量满足如下公式：
Y 1 y1
------v11
--2 -v 1
Z 1 z1
---
---
-v2 1
x2
---
-------w22
-------------w --w 31 32
1Βιβλιοθήκη Baidu
1
-----------v v31 32
---
求vjk的梯度：
lossFun y * z k *(1 z k )*(Tk zk ) j v jk
---
Y2 y2
-----v22
Z 2 z2
求wij的梯度：
2 lossFun = -x i*y *(1- y )* v jk * (Tk zk ) * zk * (1 zk ) j j w ij k 1
3
一、研究现状
CNN的发展及研究现状
深度学习在语音识别、图像识别等领域摧枯拉朽。 国际会议、期刊等涌现大量深度学习的文章，CNN 被引入很多领域。
知名高科技公司都在深度学习领域加大投入。
4
二、神经网络与卷积神经网络
神经网络起源
5
二、神经网络与卷积神经网络
神经网络-训练过程
1 y sigmoid ( Y ) z sigmoid ( Z ) Z v * y Err(z ) = T -z Y w * x deleta w ) x * Err ( Y )) deleta v( )ij y * Err ( Z kjk ( Err(Z ) = z *(1-z )*Err(z Err(y ) * Err ( Z ij ik jkv j 1 k k k) i jk Err(Y ) = y *(1-y )*Err(y jk j k e j jk k k k k) j j j j
nx
ny
nk
Y
i 00 j
k 1
x1
-----w11
12 -- w
-W 21 ---
Y 1 y1
------v11
--2 -v 1
Z 1 z1
---
---
-v2 1
x2
---
-------w22
-------------w --w 31 32
1
1
-----------v v31 32
---
---
13
二、神经网络与卷积神经网络
前向卷积过程
14
二、神经网络与卷积神经网络
15
三、卷积神经网络应用
编码实现CNN
我们采用了6w张手 写数字图片作为训 练集，用1w手写数 字图片作为测试集。
经过100次迭代， 在训练集上得到 99.51%的准确率， 在测试集上得到 98.8%的准确率。
16
CNN特征选取
卷积神经网络与神经网络的主要区别就 是CNN采用了卷积和子采样过程。
神经生物学中局部感受野的提出（1962） 催生了卷积的思想。
卷积减少了CNN网络参数，子采样减少了 网络参数，权值共享大大减少的CNN网络 参数。但是CNN具备深层结构。
9
二、神经网络与卷积神经网络
局部感受野
10
二、神经网络与卷积神经网络
本文的CNN模型的输入是语音的频谱特征
17
本文CNN网络结构描述
18
19
20
21
22
四、总结与展望
展望
由于采用使用的训练数据较少，CNN 尝试的网络结构及参数也少，我们还有很 大的模型的调优空间。 未来CNN还可以尝试使用更深层的网 络结构，使用更好的语音特征。由于深度 网络对数据描述的能力更强,我们预测增加 训练数据并经合理的训练可以达到更好的 结果。
卷积神经网络的一般结构
11
二、神经网络与卷积神经网络
卷积
卷积核kernal在inputX图中从左向右，从上至 下每次移动一个位置,对应位置相乘求和并赋值 到OutputY中的一个位置。
12
二、神经网络与卷积神经网络
子采样（pooling）
子采样通常有两种形式。均值子采样和最大值 子采样，子采样可以看做一种特殊的卷积过程。
7
二、神经网络与卷积神经网络
BP算法的规律
前向过程 兴奋在网络中从前 往后传播
Y j wij * xi ;
i 0
nx
y j = sigmoid(Yj );
Err(z k ) = Tk -z k
计算末层神经元输出与期望输出的差值 作为错误信号 错误信号在神经网络中由后往前传播
Err(y j ) = v jk * Err ( Z k )