神经网络详细介绍及实例分析

B P 神 经 网 络
4
BP神经网络在图像压缩中的应用
B P 神 经 网 络
4
BP神经网络在图像压缩中的应用
B P 神 经 网 络
4
BP神经网络在图像压缩中的应用
压缩结果：
B P 神 经 网 络
4
BP神经网络在图像压缩中的应用
两个待确认的认识： 1.图像压缩的目的是在为了不影响清晰度的前提下减少图像所占的存储空间，那 么通过BP神经网络的方法，我认为是不是在实际存储时存储的是隐含层输出的 数据，也即是本来对于一个图像的一个4*4的块，存的是16行1列的数据，现在 经过隐含层之后，只需要存4行1列的数据；所以实现了压缩的目的。 2.对于一个图像经过训练后得到的一个神经网络，本来以为只针对这个图像或相 似的图像有一个较好的拟合。但在对其他图像也经过这个网络去压缩时，发现也 能达到一个很好的效果。所以我认为一个样本训练得到的网络能用于处理同一类 型的样本，同理于无人驾驶汽车在前期收集路况数据进行训练之后，肯定不是只 能走训练时走的路，而是只要是路都能进行判断。
B P 神 经 网 络
3
学习算法
经过上面两个公式，可以得到每层权值的改变量，从而更新整个网络的所有权值。
w jk : w jk w jk yij : yij yij
再由输入层重新向后传播，得到实际输出，再与期望输出相比较。若已达到误差 函数要求的精度，则停止迭代；若没达到，则继续计算各层权值的改变量，更新 权值，反复进行，直到满足要求。
B P 神 经 网 络
谢谢！
2
网络模型
输入层输入向量：
1, 2 ,, i ,, n
y j f net j
T
隐含层各神经元输入： 隐含层各神经元输出：
net j v0 j x0 v1 j x1 vnj xn vij xi
n
B 隐含层输出向量： Y y1 , y2 ,, y j ,, y P 神 w jk y j 输出层各神经元输入： netk w0 k y0 w1k y1 wmk ym 经 j 0 (k= 1,2,...,l),net k 表示输出层第k个神经元的输入 网 输出层各神经元输出： ok f netk O k表示输出层第k个神经元的输出 络 T 输出层输出向量： O o1, o2 ,, ok ,, ol
m
2
1 d k f w jk f vij xi 2 k 1 i 0 j 0
l m n
2
所以，网络输出误差是各层权值的函数，通过调整各层权值可以达到减少误差的目的。 显然，误差调整的原则是使误差越来越小，可以通过梯度下降法（负梯度方向即是减少 最快的方向），即各层权值的调整量应该与误差的负梯度成正比。
实验设计： 1.输入层和输出层节点数设为16，因为实验用于压缩的图像选为128*128的图像，为 避免网络过大造成训练过于复杂，将原始图像分为4*4的小块，每一块作为输入样 本接入网络，所以输入节点应设为16个。输出图像要与原始图像一致，所以输出节 点也是16个。 2.隐含层节点数由期望达到的压缩比来设定，本实验设为8个。（压缩比为2） 3.转移函数f(x)选为sogmoid。 4.目标误差为0.001 5.迭代次数为500
E E net j E y j net j vij vij net j vij y j net j vij l d k ok f netk w jk f net j xi k 1 l d k ok ok 1 ok w jk y j 1 y j xi k 1
1 l 1 l E d k ok d k f netk 2 k 1 2 k 1
l m 2 l
2Fra Baidu bibliotek
2
1 1 d k f w jk y j w jk f net j d k f 2 k 1 2 k 1 j 0 j 0
E wij w jk
E vij vij
B P 神 经 网 络
3
学习算法
E E netk E ok netk w jk w jk netk w jk ok netk w jk d k ok f netk y j d k ok ok 1 ok y j d k ok f netk 1 f netk y j
B P 神 经 网 络
工作信号的正向传播和误差信号的反向传播的各层权值调节过程，是周而复始进行的。权 值不断调节的过程也是网络的学习训练过程。直到网络输出误差减小到可接受的范围内， 或者迭代次数达到预定的次数为止。
2
网络模型
一般将单隐层前馈网称为三层前馈网，即包括输入层、隐含层、输出层。
B P 神 经 网 络
4
BP神经网络在图像压缩中的应用
基本思想： 原始数据节点和重构数据节点构成了节点数较大的外层，而中间的具有较小节点数 的隐含层则构成压缩效果。基本思想是强迫原始数据通过隐含层，并期望在隐含层 处获得较为紧凑的数据表示，以达到压缩的目的。 神经网络用于图像编码的压缩比与输入层和隐含层的节点数有关，一般为： 压缩比=输入层节点数(n)/隐含层节点数(m)

i 0 (j = 1,2,...,m),net j 表示隐含层第j个神经元的输入 y j表示隐含层第j个神经元的输出 T m m


输出层期望输出向量：
d d1, d2 ,, dk ,, dl
T
f(x)函数一般设为sigmoid函数
3
学习算法
当网络输出与期望输出不等时，存在输出误差E，定义如下：
BP神经网络详述及应用分析
汇报人：李向南
1
基本思想
2
网络模型
3
学习算法
4
实例分析
1
基本思想
BP算法的基本思想：学习过程由信号的正向传播与误差的反向传播两个过程组成。
输入信号由输入层经过隐含层传向输出层，在输出层产生 输出信号，这是工作信号的正向传播。在信号的向前传 递过程中各层的权值是固定不变的。每一层神经元的状态 只影响到下一层神经元的状态。如果在输出层得到实际 输出不同于期望输出，则转入误差信号反向传播。 网络的实际输出与期望输出之间的差值即为误差信号。误差 信号由输出层逐层向前传播，这是误差信号的反向传播。在 反向传播过程中，网络的权值由误差反馈进行调节，通过权 值的不断修正使得网络的实际输出更加接近期望输出。