卷积神经网络及应用

Y2 y2
-----v22
Z 2 z2
6
二、神经网络与卷积神经网络
神经网络-训练理念（梯度下降）

x1
-----w11
12 -- w
-W 21 ---
各变量满足如下公式：
Y 1 y1
------v11
--2 -v 1
Z 1 z1
---
---
-v2 1
x2
---
-------w22
-------------w --w 31 32
13
二、神经网络与卷积神经网络
前向卷积过程
14
二、神经网络与卷积神经网络
15
三、卷积神经网络应用
编码实现CNN

我们采用了6w张手 写数字图片作为训 练集，用1w手写数 字图片作为测试集。

经过100次迭代， 在训练集上得到 99.51%的准确率， 在测试集上得到 98.8%的准确率。
16
CNN特征选取
k 1
nk
Err(Yj ) = y j*(1-y j ) * Err(y j )
由每条连接前层神经元的输出 和后层神经元的误差得到权重 的修改量 并更新连接权重
deleta(wij ) xi * Err (Y j )
8
二、神经网络与卷积神经网络
卷积神经网络


卷积神经网络是神来自百度文库网络的一种变形

23

Thank You !
24
1
1
-----------v v31 32
---
求vjk的梯度：
lossFun y * z k *(1 z k )*(Tk zk ) j v jk
---
Y2 y2
-----v22
Z 2 z2
求wij的梯度：
2 lossFun = -x i*y *(1- y )* v jk * (Tk zk ) * zk * (1 zk ) j j w ij k 1

本文的CNN模型的输入是语音的频谱特征
17
本文CNN网络结构描述
18
19
20
21
22
四、总结与展望
展望

由于采用使用的训练数据较少，CNN 尝试的网络结构及参数也少，我们还有很 大的模型的调优空间。 未来CNN还可以尝试使用更深层的网 络结构，使用更好的语音特征。由于深度 网络对数据描述的能力更强,我们预测增加 训练数据并经合理的训练可以达到更好的 结果。
4
二、神经网络与卷积神经网络
神经网络起源
5
二、神经网络与卷积神经网络
神经网络-训练过程
1 y sigmoid ( Y ) z sigmoid ( Z ) Z v * y Err(z ) = T -z Y w * x deleta w ) x * Err ( Y )) deleta v( )ij y * Err ( Z kjk ( Err(Z ) = z *(1-z )*Err(z Err(y ) * Err ( Z ij ik jkv j 1 k k k) i jk Err(Y ) = y *(1-y )*Err(y jk j k e j jk k k k k) j j j j
卷积神经网络研究及其应用
015034910079 王颜
1
目录
一、研究现状
二、神经网络与卷积神经网络 三、卷积神经网络应用 四、总结与展望
2
一、研究现状
CNN的发展及研究现状

神经网络是神经科学与计算机科学结合的产物。
神经网络的研究几经起落，直到2006年，深度学习 提出，深度神经网研究兴起。
7
二、神经网络与卷积神经网络
BP算法的规律
前向过程 兴奋在网络中从前 往后传播
Y j wij * xi ;
i 0
nx
y j = sigmoid(Yj );
Err(z k ) = Tk -z k
计算末层神经元输出与期望输出的差值 作为错误信号 错误信号在神经网络中由后往前传播
Err(y j ) = v jk * Err ( Z k )
卷积神经网络的一般结构
11
二、神经网络与卷积神经网络
卷积
卷积核kernal在inputX图中从左向右，从上至 下每次移动一个位置,对应位置相乘求和并赋值 到OutputY中的一个位置。
12
二、神经网络与卷积神经网络
子采样（pooling）
子采样通常有两种形式。均值子采样和最大值 子采样，子采样可以看做一种特殊的卷积过程。
卷积神经网络与神经网络的主要区别就 是CNN采用了卷积和子采样过程。


神经生物学中局部感受野的提出（1962） 催生了卷积的思想。
卷积减少了CNN网络参数，子采样减少了 网络参数，权值共享大大减少的CNN网络 参数。但是CNN具备深层结构。
9
二、神经网络与卷积神经网络
局部感受野
10
二、神经网络与卷积神经网络
nx
ny
nk
Y
i 00 j
k 1
x1
-----w11
12 -- w
-W 21 ---
Y 1 y1
------v11
--2 -v 1
Z 1 z1
---
---
-v2 1
x2
---
-------w22
-------------w --w 31 32
1
1
-----------v v31 32
---
---

Hubel和wiesel通过对猫的视觉系统的实验，提出了 感受野的概念。基于视觉神经感受野的理论，有学 者提出CNN。
3
一、研究现状
CNN的发展及研究现状

深度学习在语音识别、图像识别等领域摧枯拉朽。 国际会议、期刊等涌现大量深度学习的文章，CNN 被引入很多领域。

知名高科技公司都在深度学习领域加大投入。