长 春 理 工 大 学 实 习 报 告

长春理工大学
学生实习报告
_________2013_________~_________2014_________学年第_________2_________学期
计算机
实习类别________________________________________
计算机科学技术
学院________________________________________
计算机科学与技术
专业________________________________________
110511207
学号________________________________________
米丹丹
姓名________________________________________
BP简介：
BP算法，误差反向传播（Error Back Propagation, BP）算法。

BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。

由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。

1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层
其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。

注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。

在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称 BP 神经网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。

BP模型：
BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。

（1）节点输出模型
隐节点输出模型：Oj=f(∑Wij×Xi-qj) (1)
输出节点输出模型：Yk=f(∑Tjk×Oj-qk) (2)
f-非线形作用函数；q -神经单元阈值。

（2）作用函数模型
作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为
(0,1)内连续取值Sigmoid 函数： f(x)=1/(1+e)
（3）误差计算模型
误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：
tpi- i 节点的期望输出值；Opi-i 节点计算输出值。

（4）自学习模型
神经网络的学习过程，即连接下层节点和上层节点之间的权重矩阵Wij 的设定和误差修正过程。

BP 网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。

自学习模型为
△Wij(n+1)= h ×Фi×Oj+a×△Wij(n) （5）
h -学习因子；Фi -输出节点i 的计算误差；Oj-输出节点j 的计算输出；a-动量因子。

BP 收敛性：
误差函数是影响收敛速度的首要因素，因为它是权重多维空间的超曲面，该曲面存在着许多大范围的“平坦区”，又存在着大量的局部极小的“沟谷”，从而影响收敛速度，甚至导致 难于收敛。

对误差的计算采用广义的δ规则。

式⑴是误差函数的定义。

()()22
1
1122c k k k J t z ==-=-∑w t z ⑴
式中dk 表示网络的期望输出，ok 表示网络实际输出。

在误差反传过程中，对隐含层和输入
层权值修改如下：
()()1J
m m η
∂+=-∂w w w
⑵ 其中，w(m+1)和w(m)分别是第m+1次和第m 次迭代的连接权值；是第m 次迭代的输出误差对权值的梯度向量；负号表示梯度的下降方向；η为学习率，一般η∈(0,1)。

在标准BP 算法中，学习率的值是不变的，一般根据经验来选取。

从公式⑵不难看出，学习率的设置对算法的收敛速度和稳定性有很大的影响：学习率过小，能稳定地收敛，但学习速度慢，往由于训练时间的限制而得不到满意解；学习率过大，学习速度加快，但又会使误差函数值不下降，网络出现摆动现象，导致算法不收敛。

因此，固定的学习率不可能很好地适合学习的全过程。

BP 优缺点： 优点：
BP 神经网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任
),T
d x ，期望输出),
,T
c t ，网络实际输出),T
c z ，
(
)
1,,H
T
n y y =，为神经元的净输出，有：
,
n；
H 1,,c；。