神经网络理论在数学建模中的应用

图 2 典型层次型结构的神经网络模型
（2）互连型拓扑结构 互连型结构的神经网络是指网络中任意两个单元之间都是可以相互连接 的，如图 3 所示。例如，Hopfield 网络、波尔茨曼机模型结构均属于此类型。
„„
图 3 互连型结构神经网络模型
4
华南农业大学数学建模专题讲座
2.3 神经网络的学习规则（算法）
3．数学建模中常用的两种神经网络
在数学建模中，常用的神经网络主要有两种：一种是基于误差反传算法的前 馈神经网络，即 BP 神经网络，主要用来实现非线性映射；另一种是自组织神经 网络，主要用来聚类和模式识别。
3.1 BP 神经网络及其 MATLAB 实现（参见文献[2]复印资料） 3.2 自组织神经网络及其 MATLAB 实现（参见文献[2]复印资料）
7
华南农业大学数学建模专题讲座
（1） 问题的分析 问题中给出了 18 组数据，每组数据给出了 6 个故障特征信息，并给出了它 们所对应元器件的故障诊断情况。所以，本问题的实质是——找出从故障特征信 息集合→元器件故障状态集合的映射关系， 用数学表达式来表示就是要找到一个 对应法则 f，使得：
f : (U1 ,U 2 ,U 3 , T1 , T2 , T3 ) ( A1 , A2 , A3 )
3
华南农业大学数学建模专题讲座
将神经网络结构分为两大类，即层次型结构和互连型结构。 （1）层次型拓扑结构 层次型结构的神经网络将神经元按功能分为若干层，一般有输入层、中间层 和输出层，各层顺序连接，如图 2 所示。输入层接受外部的输入信号，并由各输 入单元传递给直接相连的中间层各单元。中间层是网络的内部处理单元层，与外 部没有直接连接。神经网络所具有的模式变换能力，如模式分类、模式完善、特 征提取等，主要是在中间层进行的。根据处理功能的不同，中间层可以有多层也 可以没有。 由于中间层单元不直接与外部输入输出打交道，故常将神经网络的中 间层称为隐含层。 输出层是网络输出运行结果并与显示设备或执行机构相连接的 部分。
人工神经元网络， 简称神经网络，是一种旨在模仿人脑结构及其功能的信息 处理系统， 是由大量的人工神经元按照一定的拓扑结构广泛互连形成的，并按照 一定的学习规则， 通过对大量样本数据的学习和训练，把网络掌握的“知识”以 神经元之间的连接权值和阈值的形式储存下来， 利用这些“知识”可以实现某种人 脑功能的推理机。
序 号
U1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 9.00 10.51 10.40 6.65 7.40 7.41 5.05 5.45 5.44 8.50 9.55 9.56 7.70 8.65 8.70 5.32 6.30 6.32
电 U2 4.01 6.50 3.99 2.05 3.25 2.06 3.45 4.40 3.55 3.65 5.20 3.65 2.45 4.07 2.60 1.45 2.35 1.60
第二部分
神经网络在数学建模中的应用举例
1． BP 神经网络在数学建模中的应用举例（电子电路的故障诊断问题）
如下图，某一电子电路中有 3 个元器件，分别用 A1、A2、A3 表示。
A1 Ui1 U1 A3 Ui2 A2
就电子电路系统的某一特定的元器件来说，当系统正常工作时，其关键点的 电压应是稳定的； 在工作环境温度一定的情况下， 其芯片温度值也是一个稳定值。
电子电路中元器件的故障特征 诊断结果 度 T2 11.33 10.30 11.10 11.61 10.81 11.61 12.60 11.60 12.41 12.66 11.85 12.46 13.12 12.21 12.91 12.74 11.93 12.64 T3 11.25 11.21 10.54 11.45 11.45 10.70 12.55 12.45 11.80 12.55 12.55 11.74 13.12 13.12 12.32 12.65 12.66 11.94 A1 1 0 0 1 0 0 1 0 0 1 0 0 1 0 0 1 0 0 A2 A3 0 1 0 0 1 0 0 1 0 0 1 0 0 1 0 0 1 0 0 0 1 0 0 1 0 0 1 0 0 1 0 0 1 0 0 1
5
华南农业大学数学建模专题讲座
常用的学习算法或规则有： （1）Hebbian 学习规则； （2） （Delta）学习规 则； （3）Widrow-Hoff 学习规则； （4）概率式学习； （5）Winner-Take-All(胜者为 王)学习规则； （6）Outstar（外星）学习规则等等。 （详见参考文献[1]复印资料）
U3
U2
6
华南农业大学数学建模专题讲座
当电路中的元器件发生故障时，这些元器件的关键点的电压将会偏离正常范围， 温度信号也会发生变化。因此，通过对电压和温度信号的测试，可以对元器件是 否发生故障进行诊断。 为此， 我们选用探针和热像仪 2 个传感器来获取该电路中 3 个元器件的故障特征：探针用来测电路中 3 个关键点的电压信号；热像仪用来 测试 3 个元器件的工作温度信号。 假设我们通过试验已经获得多组试验数据，见下表： 温度和电压测试数据
一般认为， 生物神经网络的所有功能(包括记忆)都存储在神经元和它们之间 的联系当中。 学习可以看成是神经元之间新连接的建立或对现有连接的修正。为 此， 神经元按一定的拓扑结构连接成神经网络后，还必须通过一定的学习规则或 算法，对神经元之间的连接权值和阈值进行修正和更新。 神经网络的学习算法或规则有很多，根据一种广泛采用的分类方法，可将神 经网络的学习算法或规则分为三类： 第一类是有导师学习， 第二类是无导师学习， 第三类是死记式学习。 有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训 练过程中需要不断给网络提供一个输入模式和一个期望网络正确输出的模式， 称 为“教师信号” 。将神经网络的实际输出同期望输出进行比较，当网络的输出与 期望的输出不符时，根据差错的方向和大小按一定的规则调整连接权值和阈值， 以使下一次网络的输出更接近期望结果。对于有导师学习，网络在能执行工作任 务之前必须先学习， 当网络对于各种给定的输入均能产生所期望的输出时，即认 为网络已经在导师的训练下“学会”了训练数据中包含的知识规则，可以用来工 作。 无导师学习也称为无监督学习。在学习过程中，需要不断地给网络提供动态 输入信息。 网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可 能存在的模式和规律， 同时能根据网络的功能和输入信息调整连接权值，这个过 程称为网络的自组织， 其结果是使网络能对属于同一类的模式进行自动分类。在 这种学习模式中， 网络的权值调整不取决于外来教师信号的影响，可以认为网络 的学习评价标准隐含于网络的内部。 应该指出的是在有导师学习中，提供给神经网络学习的外部指导信息越多， 神经网络学会并掌握的知识越多，解决问题的能力也就越强。但是，有时神经网 络所解决的问题的先验信息很少，甚至没有，这种情况下无导师学习就显得更有 实际意义了。 死记式学习是指网络事先设计成能记忆特定的例子， 以后当给定有关该例子 的输入信息时， 例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不 再变动，因此学习是一次性的，而不是一个训练过程。
n yi (t 1) f xi f wij y j (t ) j 0
若令 W j (wi 0 , wi1, wi 2 ,, win )T ， X y0 (t ), y1 (t ), y2 (t ),, yn (t ) ，则上式可
T
进一步写成
f ( x)
（4）正切 Sigmoid 函数
1 ； 1 e x
f ( x) tanh( x)
1 e x ； 1 e x
（5）高斯函数
f ( x) e x
2
/ 2
。
2.2 神经网络的拓扑结构
单个的人工神经元的功能是简单的， 只有通过一定的拓扑结构将大量的人工 神经元广泛连接起来， 组成庞大的人工神经网络，才能实现对复杂信息的处理与 存储，并表现出各种优越的特性。根据神经元之间连接的拓扑结构上的不同，可
2
华南农业大学数学建模专题讲座
神经元的数学模型为：
n yi (t 1) f xi f wij y j (t ) i j 1
如果令 y0 1 ， wi 0 i ，则有 i y0 wi 0 ，上式可写为
华南农业大学数学建模专题讲座
人工神经网络在数学建模中的应用
华南农业大学理学院
曾庆茂
联系方法： （1）手机：13570532655 （2）电话：020－38294591 （3）电子邮箱：zengqingmao@scau.edu.cn
1
华南农业大学数学建模专题讲座
Βιβλιοθήκη Baidu
第一部分
1．什么是神经网络？
人工神经网络理论基础
温
在上表中，Ui（i=1,2,3）分别表示 3 个元器件关键点的电压，Ti（i=1,2,3） 分别表示 3 个元器件的工作温度。在表格中的输入部分，前三列是在 18 次取样 试验中，传感器 1（探针）对 3 个元器件关键点所测得的电压值；后三列传感器 2 （热像仪） 对 3 个元器件所测得的工作温度值。 最后一列是在 18 次取样实验中， 各元器件的故障设置情况，0 表示元器件工作正常，1 代表元器件出现故障，如 [1 0 0]表示第 1 个元器件有故障，第 2、3 个元器件工作正常。 试根据以上数据建立一个故障诊断模型， 并利用这个模型进行电子电路故障 诊断。
yi (t 1) f xi f W jT X
通过以上对人工神经元模型的分析， 我们知道神经元中的激发函数决定了神 经元的特性。常用的转移函数有： （1）阈值函数
1 x 0 ； f ( x) 0 x 0
（2）线性函数
f ( x) kx ；
（3）对数 Sigmoid 函数
2．神经网络的三个要素
一个神经网络的特性和功能取决于三个要素： 一是构成神经网络的基本单元 ——神经元； 二是神经元之间的连接方式——神经网络的拓扑结构；三是用于神 经网络学习和训练，修正神经元之间的连接权值和阈值的学习规则。
2.1 神经元
神经元是构成神经网络的基本单位。 在人工神经网络中， 神经元常被称为 “处 理单元” 。有时从网络的观点出发把它称为“节点” 。人工神经元是对生物神经元 的一种形式化描述， 它对生物神经元的信息处理过程进行抽象，并用数学语言予 以描述；对生物神经元的结构和功能进行模拟，并用模型图给以表达。
压 U3 7.81 6.35 4.32 7.52 6.72 4.03 2.75 1.90 1.80 8.50 7.40 5.50 9.05 7.75 6.54 6.91 6.52 5.22 T1 10.41 11.01 11.11 10.70 11.40 11.60 11.81 12.32 12.50 11.80 12.40 12.60 12.30 12.90 13.00 11.83 12.63 12.82
显然， 这是一个从 6 维空间到 3 维空间的映射关系，这种关系难以用数学公 式写出来。为此，我们考虑用 BP 神经网络来实现这一映射关系，即把这个故障 诊断问题的的数学模型建立成一个 BP 神经网络模型，并利用这个建立好的神经 网络模型进行故障。 （2） 模型的建立 Kolmogorov 理论指出：具有单个隐含层的 BP 神经网络可以映射所有连续 ．． 函数，而具有双隐含层的 BP 神经网络网可以映射任何 函数（包括不连续函数） 。 ．． 在此，我们不清楚所要建立的映射关系是否连续，所以先考虑有单个隐含层的 BP 神经网络，如果不能满足我们的要求，就考虑再加一个隐层。 网络的输入是个 6 维向量， 即三个关键点的电压和三个元器件的工作温度组 成的 6 维向量，因此输入层应设置 6 个神经元；输出是一个 3 维向量，即三个元 器件的故障情况组成的向量， 故输出层应设置 3 个神经元。隐层的节点个数由文 献[1]给出的经验公式算出，应为：