工程应用数学

偏差权值
r
输入分量通过与它相乘的权值分量 相连，求和后与偏差权值共同构成 激活函数的输入 。
a f ( w j p j b)
j 1
6
偏差
神经元的输出为：
r
a f ( w j p j b)
j 1
r
p j w j 上，作为激活函数的一个输入分量。 偏差b被简单地加在 j 1
8
激活函数的一阶导数
在BP神经网络训练算法中，要用到激活函数的一阶导数。 Sigmoid函数的导数：
f ( x ) 1 1 ex 1 1 x 1 e
2
f ( x )1 f ( x )
e x ex e x ex 双曲正切tanh函数的导数：f ( x ) 1
BP网络是一种在输入层和输出层之间具有一层或多层隐层的
网络模型，而其典型的结构为有一隐层、包含输入层和输出 层的三层网络模型。典型BP网络的结构示意图如下：
网络的输入模式 向量为P，有r个 输入神经元，对 应输入模式向量 的每个元素。
网络的输出为a2， 有s2个神经元， 而目标输出为T。
隐层内有s1个神 经元，对应隐层 输出是a1。
智能算法 （Intelligent Algorithm）
主要内容
人工神经网络（Artificial Neural Network，
ANN）
模拟退火（Simulated Annealing，SA） 遗传算法（Genetic Algorithm，GA）
2
人工神经网络参考文献
陈念贻，钦佩，陈瑞亮，陆文聪，模式识别方法在化学化工中的应用，科
4
一、人工神经网络
什么是人工神经网络？它就是在对大脑的生理研究的基础上，
用模拟生物神经元的某些基本功能元件（即人工神经元）， 按各种不同的联结方式组织起来的一个网络。 其目的在于模拟大脑的某些机理与机制，实现某个方面的功 能，可以用在模仿视觉、模式识别、函数逼近、模式识别、 分类和数据压缩等领域，是近年来人工智能计算的一个重要 学科分支。 人工神经网络有多种形式，其中反向传播人工神经网络 (Back-Propagation Artificial Network, 简称BP网络)是一种广 泛使用的神经网络模型，它充分体现了人工神经网络的特点。 BP网络是一种对非线性可微分函数进行权值训练的多层网络， 在人工神经网络的实际应用中，80％～90％的人工神经网络 模型是采用BP网络或它的变化形式。
5
1.1 BP神经网络
神经元的结构
神经元是人工神经网络的基本处理单元，它一般为多输入/单输出的非 线性元件。神经元输出除受输入信号的影响外，还受神经元内部其它 因素的制约，因此在人工神经元的建模中，常常加一额外输入信号， 称为偏差(bais)，并取值为1。 输入分量 神经元的输出
权值分量
激活函数
偏差的重要作用，它使得激活函数的图 形可以左右移动，这样可增加网络解决 问题的能力。
7
激活函数
激活函数具有模拟生物神经元的非线性特性。 Sigmoid函数： 1 f ( x) 1 ex 双曲正切tanh函数：
e x e x f ( x) x e ex
Sigmoid函数和双曲正切tanh函数都是单调上升函数， 其极值分别为0、1和－1、＋1，且都是可微的。
学出版社，北京，2000。 从爽，面向MATLAB工具箱的神经网络理论与应用，中国科学技术出版 社，合肥，1998。 焦李成，神经网络计算，西安电子科技大学出版社，西安，1993。 王永骥，涂健，神经元网络控制，机械工业出版社，北京，1998。 Bishop, C. (1995). Neural Networks for Pattern Recognition. Oxford: University Press. Carling, A. (1992). Introducing Neural Networks. Wilmslow, UK: Sigma Press. Fausett, L. (1994). Fundamentals of Neural Networks. New York: Prentice Hall Haykin, S. (1994). Neural Networks: A Comprehensive Foundation. New York: Macmillan Publishing. Patterson, D. (1996). Artificial Neural Networks. Singapore: Prentice Hall.
三层BP神经网络不同层神经元之间实现权重连接， 而每层内各个神经元之间不连接。
10
BP网络的四个计算过程
输入模式由输入层经隐含层向输出层的
“模式正向传播”过程；（神经元的激活 值从输入层经隐含层向输出层传播，在输 出层各神经元获得网络响应。） 网络实际输出与希望输出的误差信号由输 出层经隐含层向输入层逐层修正连接权和 阂值的“误差反向传播”过程； 由“模式正向传播”过程与“误差反向传 播”过程的反复交替进行的网络学习训练 过程； 网络全局误差趋向极小的学习收敛过程。 （网络对输入模式响应的正确率也不断增 加。 ）
2 1 f ( x)
由此可以看出，由于激活函数的特点，用神经网络计算时，
需对输入和输出的值进行调整。
激活函数是采用Sigmoid函数时，输入和输出的值应
ቤተ መጻሕፍቲ ባይዱ
在{0,1}之间； 激活函数是双曲正切tanh函数时，输入和输出的值范 围则在{－1,1}之间。
9
1.2 BP网络的模型结构
3
生物神经元及神经网络
神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别 的细胞接受多个输入。由于输入分布于不同的部位，对神经元影响的比例 (权重)是不相同的。另外，各突触输入抵达神经元的先后时间也不一祥。 因此，一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的 形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和 强度。正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条 不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种 信息处理功能。多个神经元以突触联接形成了一个神经网络。