误差逆传播神经网络算法的改进

误差逆传播神经网络算法的改进
摘要：近两年神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。

迄今为止，在人工神经网络研究领域中，有代表性的网络模型已达数十种，
其中误差逆传播神经网络也简称BP(Back Propagation)网是我们研究的重点内容。

神经网络研究热潮的兴起是本世纪末人类科学技术发展全面飞跃的一个组成部分。

它与多种科学领域的发展密切相关，纵观当代新兴科学技术的发展历史，人类在
征服宇宙空间、基本粒子、生命起源等科学领域的进程之中历经了崎岖不平之路。

我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新
月异。

关键词：神经网络人工神经网络 BP网络
0 引言
二十世纪是科学技术大发展的世纪，是人类文明的新篇章。

经过近半个世纪的
努力探索，一门崭新的向人类自身大脑学习的新学科——人工神经网络（Artificial Neural Network， ANN），已经诞生并正在茁壮成长。

它是当今世界关注的高科
技热点，并开始显示出美好的广阔的应用前景，人们普遍认为它将使电子科学和
信息科学产生革命性的变革。

1 BP网络算法描述
设含有n个节点的任意网络，各节点之特性为Sigmoid型。

为简便起见，指定网
络只有一个输出y，任一节点i的输出为Oi，并设有N个样本(xk，yk)(k=1，2，3，…，N)，对某一输入xk，网络输出为yk节点i的输出为Oik，节点j的输入为
netjk=
并将误差函数定义为
从上述BP算法可以看出，BP模型把一组样本的I/O问题变为一个非线性优化问题，它使用的是优化中最普通的梯度下降法。

如果把神经网络的看成输入到输出
的映射，则这个映射是一个高度非线性映射。

设计一个神经网络专家系统重点在
于模型的构成和学习算法的选择。

一般来说，结构是根据所研究领域及要解决的
问题确定的。

通过对所研究问题的大量历史资料数据的分析及目前的神经网络理
论发展水平，建立合适的模型，并针对所选的模型采用相应的学习算法，在网络
学习过程中，不断地调整网络参数，直到输出结果满足要求。

2 BP神经网络算法的学习规则与计算方法
BP网络不仅有输入层结点、输出层结点，而且有一层或多层隐含结点。

输入信
息先传播到隐含层结点上，经过各单元的特性为Sigmoid型的激活函数运算后，
把隐含结点的输出信息传播到输出结点，最后给出输出结果，传播过程中，每一
层神经元的状态只影响到下一层神经元网络。

如果得不到实际输出，转入反向传
播过程，将误差信号沿原来的连接线路返回，通过修改各层神经元的权值，逐次
地向输入层传播去进行计算，再经过正向传播过程，这两个过程的反复运用，使
得误差信号最小，网络学习过程就结束。

3 BP网络的改进方案
为了克服BP神经网络的易陷入局部极小、收敛速度慢等缺点，利用非线性最小
二乘法对其进行了改进。

改进后的BP神经网络的收敛速度提高了1～2个数量级。

人工神经网络模拟人的大脑活动，具有极强的非线形逼近、大规模并行处理、自
训练学习、自组织和容错能力等优点，将神经网络理论应用于系统安全评价之中，能克服传统安全评价方法的一些缺陷，能快速、准确地得到安全评价结果。

这将
为企业安全生产管理与控制提供快捷和科学的决策信息，从而及时预测、控制事故，减少事故损失。

人工神经网络是由大量简单的基本元件-神经元相互联结，模拟人的大脑神经处
理信息的方式，进行信息并行处理和非线形转换的复杂网络系统。

人工神经网络
处理信息是通过信息样本对神经网络的训练，使其具有人的大脑的记忆、辨识能力，完成各种信息处理功能。

人工神经网络具有良好的自学习、自适应、联想记忆、并行处理和非线形转换的能力，避免了复杂数学推导，在样本缺损和参数漂
移的情况下，仍能保证稳定的输出。

人工神经网络这种模拟人脑智力的特性，受
到学术界的高度重视和广泛研究，已经成功地应用于众多领域，如模式识别、图
象处理、语音识别、智能控制、虚拟现实、优化计算、人工智能等领域。

按照网络的拓扑结构和运行方式，神经网络模型分为前馈多层式网络模型、反
馈递归式网络模型、随机型网络模型等。

目前在模式识别中应用成熟较多的模型
是前馈多层式网络中的BP反向传播模型，其模型结构如图。

BP网络模型处理信息的基本原理是：输入信号Xi通过中间节点（隐层点）作用
于输出节点，经过非线形变换，产生输出信号Yk，网络训练的每个样本包括输入
向量X和期望输出量t，网络输出值Y与期望输出值t之间的偏差，通过调整输
入节点与隐层节点的联接强度取值Wij和隐层节点与输出节点之间的联接强度Tjk 以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应
的网络参数（权值和阈值），训练即告停止。

此时经过训练的神经网络即能对类
似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。

4 小结
学习规则及过程：它以一种有教师示教的方式进行学习。

首先由教师对每一种
输入模式设定一个期望输出值。

然后对网络输入实际的学习记忆模式，并由输入
层经中间层向输出层传播(称为“模式顺传播”)。

实际输出与期望输出的差即是误差。

按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程
称为“误差逆传播”。

随着“模式顺传播”和“误差逆传播”过程的交替反复进行。

网
络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确
率也不断上升。

通过此学习过程，确定下来各层间的连接权值之后就可以工作了。

从上述BP算法可以看出，BP模型把一组样本的I/O问题变为一个非线性优化问题，它使用的是优化中最普通的梯度下降法。

如果把神经网络的看成输入到输出
的映射，则这个映射是一个高度非线性映射。

为了克服BP神经网络的易陷入局
部极小、收敛速度慢等缺点，利用非线性最小二乘法对其进行了改进。