神经网络概述与BP神经网络(学生)

制作人：中国民航飞行学院 曾艳
符号说明： X i ── 输入层的第 i 个自变量，即样本中自变量向量的第 i 个值；
H j ──隐含层第 j 个神经元的输出； ˆ ──输出层第 k 个神经元的输出； Y
k
Yk ──输出层第 k 个神经元的期望输出，即样本中因变量向量的第 k 个值；
wij ──输入层与隐含层之间的连接权值； w jk ──隐含层与输出层之间的连接权值； a j ──隐含层第 j 个神经元的阈值；
ˆ ,Y ˆ 分别表示两神经元的网络输出， w 表示两神 的输出有关。如果神经元 i 是神经元 j 的上层节点，用 Y ij i j
经元之间的连接权值， 表示学习速率，则 Hebb 学习规则可以表示为
ˆ (t )Y ˆ (t ) 。 wij (t 1) wij (t ) Y i j
Hebb 学习规则是神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作 Hebb 学习规则 的变形。 （2） 学习规则（误差修正学习规则）
P M a 或 L log 2 P ，其中 a 为 0~10
f j ──隐含层第 j 个神经元的激活函数；
f k ──输出层第 k 个神经元的激活函数。
隐含层神经元激活函数 f j 多采用 S 型函数 logsig（1-2）或 tansig（1-3） ，输出层神经元激活函数 f k 多采用 tansig（1-3）或线性函数 purelin（1-1） 。 隐含层神经元的输出：
ˆ ，则常用的人工神经元 神经元是一个多输入、单输出的单元。若记输入为 ( X 1 , X 2 , , X P ) ，输出为 Y
模型可用图 1-1 模拟。
1

w1 w2 wP
X1 X2

f ( )
ˆ Y
XP
图 1-1 人工神经元示意图
图 1-1 显示，人工神经元模型可以看成是由三种基本元素组成： • 一组连接权值 ( w1 , w2 , , wP ) 与阈值 • 一个加法器 权值与阈值可取正值也可取负值。
学习规则是一种有导师学习算法。其基本思想是根据神经网络的输出误差（期望输出与神经网络的
网络输出之间的偏差）对神经元的连接权值进行修正，最终减小这种偏差。详细内容见“二、BP 神经网 络” 。 （3）随机学习规则
学习规则通常采用梯度下降法，因此存在局部最小问题，随机学习算法通过引入不稳定因子来处理
（ 3）线性函数（ purelin 函数）
f ( x) x
（ 4）非线性函数
（ 1-1）
1
制作人：中国民航飞行学院 曾艳
单极 S 型函数（logsig 函数）
f ( x)
1 1 e x
(0 f ( x ) 1)
（ 1-2）
双极 S 型函数（tansig 函数）
f ( x)
图 1-5
有反馈的前馈网络结构
3、自组织神经网络（SOM，Self-Organizing Neural Networks） 自组织神经网络是一种无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自 适应地改变网络参数与结构。
图 1-6
自组织网络
（三）学习规则 在神经网络中，学习规则就是修正权值的一种算法，其目的是为了使得网络输出更符合实际。
2
制作人：中国民航飞行学院 曾艳
·隐含层是神经网络的内部处理层，神经网络所具有的模式变换能力主要体现在隐含层的 神经元上。 ·输出层用于产生神经网络的输出模式。
图 1-4
前馈网络结构
注意：输入层中的单元不是神经元，因此图 1-4 中只有隐含层与输出层共两层神经元。 ★ 对前馈神经网络，若网络中每个神经元的激活函数都选用线性函数，则神经网络的输出将是输入 变量的线性函数。因此，若要做高次函数的逼近就应该选用适当的非线性函数作为激活函数。 2、反馈神经网络（Feedback Neural Networks） 反馈型神经网络是一种从输出到输入具有反馈连接的神经网络。典型的反馈型神经网络有：Elman 网 络、Hopfield 网络、波耳兹曼机。
()
用于求神经元输入信号的加权之和。 用于限制神经元输出振幅。
• 一个激活函数 f () 1、激活函数的几种主要形式： （ 1）阶梯函数 f ( x )
Baidu Nhomakorabea
1, x 0 0, x 0
1, x 1 （ 2）分段线性函数 f ( x ) x, 1 x 1 1, x 1
4
制作人：中国民航飞行学院 曾艳
BSB 网络 ――Brain-state-in-a-Box，盒中脑神经网络； Elman 网络（ 1990 年） ； Hopfield 网络（ 1982 年） ； SOM 神经网络――自组织特征映射网络（Self-Organizing Feature Map） ，也叫 Kohonen 网络。 RBF 网络――Radical Basis Function 网络，径向基函数网络（1985 年） ； 2、分类： ◆按神经网络的性能可分为连续型神经网络和离散型神经网络，也可分为确定型神经网络和随机型神 经网络； ◆按神经网络的结构可分为前馈型神经网络和反馈型神经网络； ◆按学习方式可分为有导师学习网络和无导师学习网络。 （五）神经网络的应用领域 （1）模式识别和图像处理。印刷体和手写字符识别、语音识别、签字识别、指纹识别、人体病理分 析、目标检测与识别、图像压缩和图像复制等。 （2）控制和优化。化工过程控制、机器人运动控制、家电控制、半导体生产中掺杂控制、石油精炼 优化控制和超大规模集成电路布线设计等。成功解决了旅行商问题，另外还有最大匹配问题，装箱问 题和作业调度问题。 （3）预报和智能信息管理。股票市场预测、地震预报、有价证券管理、借贷风险分析、IC 卡管理和 交通管理。 （4）通信。自适应均衡、回波抵消、路由选择和 ATM 网络中的呼叫接纳识别和控制。 （5）空间科学。空间交汇对接控制、导航信息智能管理、飞行器制导和飞行程序优化管理等。
bk ──输出层第 k 个神经元的阈值；
(i 1, , P;
j 1, , L;
k 1, , M )
图 2-1 中，输入层的节点数由输入变量的维度决定，输出层的神经元个数由输出变量的维度决 定。隐含层的神经元个数可参考公式： L P 1 或 L 之间的常数。 （二）激活函数
P H j f j wij X i a j i 1
输出层神经元的预测为：
（ 2-1）
L Yk f k w jk H j bk j 1
（ 2-2）
BP 网络具有很强的非线性映射能力，一个 3 层 BP 神经网络能够实现对任意非线性函数的逼近，这是 根据 Kolmogorov 定理：对于任一连续函数 : I P R M , y ( x ) （ I [0,1] ） ，都存在一个输入层有 P 个神经元，输出层有 M 个神经元的三层神经网络，该神经网络可逼近连续函数 y ( x) 。 （三）学习规则 要想利用公式（2-1）－（2-2）进行神经网络预测，就必须知道其中的权值与阈值 wij , w jk , a j , bk 。BP 神经网络采用 BP 学习算法（是一种有导师学习算法），主要特点是信号正向传递，误差反向传播，见图 2-2。在正向传递中，输入信号 ( X 1 , X 2 , , X P ) 从输入层经隐含层逐层处理，直至输出层。如果输
j
图 1-3 人工神经元
X1 X2

f ( )
ˆ Y j
XP
输入和输出的关系可表示为:
j 的示意图
P u j w ij X i j i 1 Y ˆ f (u ) j j
（二）常见神经网络结构图 神经网络是由大量的神经元互联而构成的网络。根据网络中神经元的互联方式，常见网络结构主要分 为下面 3 类： 1、前馈神经网络（Feedforward Neural Networks） 前馈网络也称前向网络。网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈。 这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。 感知机（perceptron）与 BP 神经网络就属于前馈网络。 图 1-4 是一个 3 层的前馈神经网络，第一层是输入层，第二层称为隐含层，第三层称为输出层。 ·输入层接收外部环境的输入信号，并由它传递给相连隐含层上的各个神经元。
期望输出──样本数据中本身的因变量取值 Y 。 BP 算法就是一种出色的有导师学习算法。 （2）无导师学习（无监督学习） 而在无导师学习中， 权值和阈值的调整只与网络输入有关系， 没有期望输出， 这类算法大多用聚类法， 将输入模式归类于有限的类别。 Hebb 学习规则就是一种经典的无导师学习算法。 2、常用学习规则： （1）Hebb（赫布）学习规则 由 Donald O. Hebb 提出的一种无导师学习算法。其基本思想是两个神经元间的连接权值仅与两神经元
制作人：中国民航飞行学院 曾艳
神经网络概述与 BP 神经网络
一、神经网络概述
人工神经网络（ Artificial Neural Networks，简写为 ANN），简称神经网络（ Neural Networks，简写 为 NN），是一个高度非线性动力学系统。它由若干神经元连接成网络，其中每个神经元可以接受多个 输入信号，按照一定的规则转换为输出信号。由于神经元间复杂的连接关系和各神经元传递信号的非线性 方式，输入和输出信号间可以构建出各种各样的关系，因此可以用来作为黑箱模型，表达那些用机理模型 还无法精确描述、但输入和输出之间确实有客观的、确定性的或模糊性的规律。虽然每个神经元的结构 和功能都不复杂，但是神经网络的动态行为则是十分复杂的。因此，用神经网络可以表达实际物理 世界的各种现象。 一个神经网络的特性及能力主要由神经元的特征、网络连接的拓扑结构、学习规则等决定。 （一）人工神经元（Artificial Neuron）模型 人工神经元是人工神经网络操作的基本信息处理单位，是神经网络设计的基础。
3
制作人：中国民航飞行学院 曾艳
1、学习规则分为两大类： （1）有导师学习（有监督学习） 在有导师学习中，需要为学习规则提供一系列正确的网络输入/期望输出对（即训练样本） ，将网络输 出与相应的期望输出进行比较，然后应用学习规则调整权值和阈值，使网络输出接近于期望输出。
ˆ； 注意：网络输出──输入数据（样本数据中自变量值）经神经网络加工后，得到的输出 Y
2 1 ( 1 f ( x) 1) 1 e 2 x
（ 1-3）
图 1-2 S 型函数图
2、神经元输入输出的函数关系：
ˆ 时，此时神经元 j 的示意图如图 1-3： 当第 j 个神经元有多个输入 ( X 1 , X 2 , , X P ) 和单个输出 Y j
1
j
w1 j w2 j wPj
二、 BP 神经网络
BP（Back Propagation）网络是 1986 年由 Rumelhart 和 McCelland 为首的科学家小组提出的一种神经 网络。 （一）拓扑结构 BP 神经网络是一种多层前馈型神经网络。一个典型的 3 层 BP 神经网络模型如图 2-1 所示。
图 2-1
三层 BP 神经网络拓扑结构图 5
这种情况。经典随机学习规则：模拟退化算法，遗传算法。 （4）竞争学习规则 竞争学习属于无导师算法，神经元通过互相竞争来做出不同的响应，竞争获胜的神经元按规则修正权 值。 经典竞争学习神经网络： 自组织特征映射网络(Self-Organization Map， SOM)、 自适应共振网络(Adaptive Resonace Theory，ART) 。 （四）神经网络的种类及分类 1、种类： 目前，神经网络已有近 40 种模型，常用的如下： ART 网络――Adaptive resonance theory，自适应谐振理论； BP 网络―― Back Propagation，反向传播神经网络（ 1986 年）； BM 机―― Boltzman 机，波耳兹曼机；