过程建模9-神经网络
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
wij ——节点与节点的连接权值
21
9 神经网络模型 9.2 静态神经网络模型
BP算法的基本思想是：
外界信息首先经输入节点，传输到隐节点，最后 传送到输出节点，完成网络的正向传播； 若输出不是期望输出，则将实际输出与期望输出 的误差，经原连通路径返回，修正各层间的连接权值，
即误差反传过程，使误差变小。
经上述过程反复交替，使误差逐步缩小到规定精 度的过程，实际上是一个非线性优化问题，即使系统 输出与实际输出最接近。
22
9 神经网络模型 9.2 静态神经网络模型
★ 信息的正向传递
对于输入节点（用下标i)： O pi x p (i ) i 0,1,, n 1 对于隐节点（用下标j）：
节点的输入： 节点的输出：
7
9 神经网络模型
9.1.1 神经网络基本框架
人工神经网络（ ANN ）是人类对其大脑神经网络 认识理解的基础上人工构造的能够实现某种功能的神经 网络，它是理论化的人脑神经网络的数学模型，是基于 模仿大脑神经网络结构和功能而建立的一种信息处理系 统。
三要素——
一组连接 一个求和单元
一个非线性激活函数
构来实现系统的复杂性为，所以比较适合 非线性动态
系统的辨识和控制。
16
9 神经网络模型 9.2 静态神经网络模型
17
9 神经网络模型 9.2 静态神经网络模型
感知器网络
感知器是前馈(正向传输)网络.
用于样本空 间的分类
x1 x2
xn
● ● ● ● ● ● ● ● ● ●
b1 b2 bm
●
●
权向量W
31
9 神经网络模型 9.3 动态神经网络模型
Hopfield神经网络
32
9 神经网络模型 9.3 动态神经网络模型
连续型Hopfield神经网络用于优化计算：
33
9 神经网络模型 9.4 神经网络建模应用
图 神经网络建模的一般结构
34
9 神经网络模型 9.4 神经网络建模应用
1.样本数据
★ 信息的正向传递
★ 误差的反向传播 ★ 广义 学习规则。
19
9 神经网络模型 9.2 静态神经网络模型
● 反传（BP）网络的结构图 一个输入层，一个输出层，多个隐层。 隐层 xp Op1 wj1
yp1
t p1
· · · x pn
1
j Op2 O pr 隐层 wj
n
· · · y
pm
· · ·
t pm
•数据融合的能力：神经网络可以同时处理定量信息和定性信息，因
此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处 理）。
•多变量系统：神经网络的输入和输出变量的数目是任意的，对单变
量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统 间的解耦问题。
5
9 神经网络模型 9.1 神经网络基本原理
35
9 神经网络模型 9.4 神经网络建模应用
b) 输入/输出变量的确定及其数据的预处理 一般地，神经网络的输入变量即为系统的 内生变量（影 响因子或自变量）。若输入变量较多，一般可通过主成 份分析方法压减输入变量，也可根据剔除某一变量引起 的系统误差与原系统误差的比值的大小来压减输入变量。
输出变量即为系统的 外生变量（系统性能指标或因变 量）。一般将一个具有多个输出的网络模型转化为多个 具有一个输出的网络模型效果会更好，训练也更方便。
改变训练样本
No
训练样终止？
y
迭代次数加1
No
迭代终止？
y
BP算法的基本流程 26
9 神经网络模型 9.2 静态神经网络模型 重要结论
若输入层和输出层采用线性转换函数，隐层
采用 Sigmoid 转换函数，则含一个隐层的多层前
馈网络（如BP网络）能够以任意精度逼近任何有 理函数。 ——Hornik
理论证明:多层前馈网络是一种通用逼近器。
非线性变换单元：
f u
1 -1
u0
u0
18
9 神经网络模型 9.2 静态神经网络模型
反传（BP）网络
（BP）网络与感知器的主要差别在于：（BP）网络的节 点是非线性的。
f u
1 1 e u
f( ) 被称为sigmoid 函数或称为 logistic函数。Sigmoid 函数的输出 范围为0~1，它可把非常大的输入值域映射到一个小范围的输出。
g(x)
x
9 神经网络模型
1）前馈网络
9.1.2 神经网络典型结构
2）输出反馈的前馈式网络
3）前馈式内层互联网络
4）反馈型全互联网络 5）反馈型局部互联网络
11
9 神经网络模型
1）前馈网络：
9.1.2 神经网络典型结构
2）输出反馈的前馈式网络：
12
9 神经网络模型
第二节 神经网络建模
9.1.2 神经网络典型结构
下篇
非线性系统建模
1
9 神经网络模型
9.1 神经网络基本原理
9.2 静态神经网络模型
9.3 动态神经网络模型
ห้องสมุดไป่ตู้
9.4 神经网络建模应用
2
9 神经网络模型 9.1 神经网络基本原理
目前广泛研究和应用的人工神经元网络在处理复 杂系统的建模方面表现出了非凡的优越性。其方法 实质上是一种非线性函数逼近的方法。
37
9 神经网络模型 9.4 神经网络建模应用
b) 隐层节点数
在确定隐层节点数时必须满足下列条件：
(1) 隐层节点数必须小于 N-1 （其中 N 为训练样本数），否 则，网络模型的系统误差与训练样本的特性无关而趋于 零，即建立的网络模型没有泛化能力，也没有任何实用 价值。同样，输入层的节点数（变量数）必须小于N-1 。 (2) 训练样本数必须多于网络模型的连接权数的2~10倍。
a) 收集和整理 采用神经网络方法建模的首要和前提条件是有足够多典 型性好和精度高的样本。 而且，为监控训练（学习）过程使之不发生“过拟合” 和评价建立的网络模型的性能和泛化能力，必须将收集 到的数据随机分成训练样本、检验样本（ 10% 以上）和 测试样本（10%以上）3部分。 此外，数据分组时还应尽可能考虑样本模式间的平衡。
36
9 神经网络模型 9.4 神经网络建模应用
2.神经网络拓扑结构的确定
a) 隐层数 一般认为，增加隐层数可以提高精度，但也使网络 复杂化，从而增加了网络的训练时间和出现“过拟合” 的倾向。 在设计BP网络时可参考Hornik的结论，应优先考虑3 层BP网络（即有1个隐层）。一般地，靠增加隐层节 点数来获得较低的误差，其训练效果要比增加隐层数 更容易实现。
y f x
！！！ 理论上可以证明 神经元网络可以任意
精度逼近任何非线性函数。因此将神经元网络
应用于非线性对象的动态或静态建模的方法正成
为研究热点。
3
9 神经网络模型 9.1 神经网络基本原理
一般而言 , ANN 与经典计算方法相比并非优 越 , 只有当常规方法解决不了或效果不佳时 ANN 方法才能显示出其优越性。尤其对问题 的机理不甚了解或不能用数学模型表示的系 统 ,ANN 往 往 是 最 有 利 的 工 具 。 另 一 方 面 , ANN 对处理大量原始数据而不能用规则或公 式描述的问题 , 表现出极大的灵活性和自适 应性。
8
9 神经网络模型
y1 ai1
9.1.1 神经网络基本框架
神经元网络的第i个输出可表示为：
y2
yn u1
︰
ai2
a in bi1 bi2
vi
线性系统
xi
非线性函数
yi
uk
um
︰
bim wi
1）加法器 2）线性动态系统（SISO） 3）静态非线性系统
9
1
9 神经网络模型
▲ 线性动态系统
9.1.1 神经网络基本框架
P m 1
9 神经网络模型 9.2 静态神经网络模型
★ 广义 学习规则 学习的目的是要使输出误差平方和最小：
1 P m1 E总 (t pk y p ( k ) ) 2 2 p 1 k 0
最后得到二个权值改变的重要公式：
输出层 权值 隐层 权值
w (k 1) w (k ) O
20
输出层
输入层
信息流
9 神经网络模型 9.2 静态神经网络模型
假设有N个训练样本 ( X p , Tp ) p 1,2,, N
xP1 ,, xPn ——第p组学习样本的输入向量
y P1 ,, y Pm ——第p组学习样本的训练输出向量 t P1 ,, t Pm ——第p组学习样本的输出向量，教师值
14
9 神经网络模型
9.1.2 神经网络典型结构
5）反馈型局部互联网络： 每个神经元的输出只和它周围若干层神经元发生互 连关系，形成局部反馈，从整体上看，是一种网格状结 构，如Elman网络和Jordan网络。
15
9 神经网络模型
！注意：
9.1.2 神经网络典型结构
这种引入了反馈的网络结构，又称为动态递归神经网络 （DRNN-Dynamical Recurrent Neural Network）。 动态网络由于其内部的反馈作用，可以用较小的网络结
38
9 神经网络模型 9.4 神经网络建模应用
3.网络模型的性能
神经网络系统辨识特点：
（ 1 ）由于神经网络可以任意精度逼近非线性函数，
故它为非线性系统的辨识提供一种通用的模式。
（ 2 ）神经网络系统辨识是非算式的，神经网络本
身就是辨识模型，其可调参数反映在网络内部的连 接权上。它不需要建立以实际系统数学模型为基础 的辨识格式，故可以省去在辨识前对系统建模这一 步骤。
传递函数形式 x ： i ( s) H ( s)vi ( s)
1 典型的有： H ( s) , 1 sT ▲静态非线性系统（激活函数）
g(x) 典型的有： g(x) x x
阈值函数 分段函数 阶跃函数 (sgn函数） S形函数 （Sigmoid函数， 10 双曲正切函数tanh）
1 t / T h(t ) e T
27
9 神经网络模型 9.3 动态神经网络模型
28
9 神经网络模型 9.3 动态神经网络模型
带时滞的多层感知器网络
29
9 神经网络模型 9.3 动态神经网络模型
30
9 神经网络模型 9.3 动态神经网络模型
从理论上说，上述这种网络结构能够逼近任意一个可 用方程式描述的系统：
它的学习可以直接利用静态前馈神经网络的BP算法。
3）前馈式内层互联网络：
4）反馈型全互联网络：
每个神经元的输出都和其它神经元相连，从而形成 动态反馈关系，如Hopfield网络。
这类网络结构具有能量函数的自寻优功能。
13
9 神经网络模型
9.1.2 神经网络典型结构
yj
ui
K
yi
u1 u2 u3 u4 离散Hopfield网络
y1
y2 y3 y4
（ 3 ）神经网络作为实际系统的辨识模型，实际上 也是系统的一个物理实现，可以用于在线控制。
6
9 神经网络模型
x1 w1 w2 · · ·
若非线性单元为 符号函数，则变 为感知器模型
9.1.1 神经网络基本框架 人工神经元可用如下简化模型描述：
x2
y
wn
xn
n y(t ) f wi xi (t ) i 1
netpj w ji O pi j
i 0
n 1
Opj f (netpj )
j 0,1,, r 1
对于输出节点（用下标k）：
节点的输入： 节点的输出：
netpk wkj O pj k
j 0
k 1
O pk f (netpk )
k 0,1,, m 1
o kj o kj o pk o pj h ji h ji
k pj
25
w (k 1) w (k ) x pj
初始化 9 神经网络模型 9.2 静态神经网络模型
加输入和期望输出 计算隐层和输出层的输出
调节输出层和隐层的连接权值
o o o k wkj (t 1) wkj (t ) pk O pj h o wkj (t 1) wh ji (t ) pj x pj
4
9 神经网络模型 9.1 神经网络基本原理
神经网络建模特点：
•非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。
建模过程中的许多问题正是具有高度的非线性。
•自学习和自适应能力：神经网络在训练时，能从输入、输出的数据
中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即 将这组权值应用于一般情形的能力。
输出 23 个数
9 神经网络模型 9.2 静态神经网络模型
★ 误差的反向传播
定义第p组样本误差函数：
1 m1 2 E (t pk y p ( k ) ) 2 k 0
对于P组学习样本，其总误差：
1 2 E总 (t pk y p ( k ) ) 2 p 1 k 0
24
21
9 神经网络模型 9.2 静态神经网络模型
BP算法的基本思想是：
外界信息首先经输入节点，传输到隐节点，最后 传送到输出节点，完成网络的正向传播； 若输出不是期望输出，则将实际输出与期望输出 的误差，经原连通路径返回，修正各层间的连接权值，
即误差反传过程，使误差变小。
经上述过程反复交替，使误差逐步缩小到规定精 度的过程，实际上是一个非线性优化问题，即使系统 输出与实际输出最接近。
22
9 神经网络模型 9.2 静态神经网络模型
★ 信息的正向传递
对于输入节点（用下标i)： O pi x p (i ) i 0,1,, n 1 对于隐节点（用下标j）：
节点的输入： 节点的输出：
7
9 神经网络模型
9.1.1 神经网络基本框架
人工神经网络（ ANN ）是人类对其大脑神经网络 认识理解的基础上人工构造的能够实现某种功能的神经 网络，它是理论化的人脑神经网络的数学模型，是基于 模仿大脑神经网络结构和功能而建立的一种信息处理系 统。
三要素——
一组连接 一个求和单元
一个非线性激活函数
构来实现系统的复杂性为，所以比较适合 非线性动态
系统的辨识和控制。
16
9 神经网络模型 9.2 静态神经网络模型
17
9 神经网络模型 9.2 静态神经网络模型
感知器网络
感知器是前馈(正向传输)网络.
用于样本空 间的分类
x1 x2
xn
● ● ● ● ● ● ● ● ● ●
b1 b2 bm
●
●
权向量W
31
9 神经网络模型 9.3 动态神经网络模型
Hopfield神经网络
32
9 神经网络模型 9.3 动态神经网络模型
连续型Hopfield神经网络用于优化计算：
33
9 神经网络模型 9.4 神经网络建模应用
图 神经网络建模的一般结构
34
9 神经网络模型 9.4 神经网络建模应用
1.样本数据
★ 信息的正向传递
★ 误差的反向传播 ★ 广义 学习规则。
19
9 神经网络模型 9.2 静态神经网络模型
● 反传（BP）网络的结构图 一个输入层，一个输出层，多个隐层。 隐层 xp Op1 wj1
yp1
t p1
· · · x pn
1
j Op2 O pr 隐层 wj
n
· · · y
pm
· · ·
t pm
•数据融合的能力：神经网络可以同时处理定量信息和定性信息，因
此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处 理）。
•多变量系统：神经网络的输入和输出变量的数目是任意的，对单变
量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统 间的解耦问题。
5
9 神经网络模型 9.1 神经网络基本原理
35
9 神经网络模型 9.4 神经网络建模应用
b) 输入/输出变量的确定及其数据的预处理 一般地，神经网络的输入变量即为系统的 内生变量（影 响因子或自变量）。若输入变量较多，一般可通过主成 份分析方法压减输入变量，也可根据剔除某一变量引起 的系统误差与原系统误差的比值的大小来压减输入变量。
输出变量即为系统的 外生变量（系统性能指标或因变 量）。一般将一个具有多个输出的网络模型转化为多个 具有一个输出的网络模型效果会更好，训练也更方便。
改变训练样本
No
训练样终止？
y
迭代次数加1
No
迭代终止？
y
BP算法的基本流程 26
9 神经网络模型 9.2 静态神经网络模型 重要结论
若输入层和输出层采用线性转换函数，隐层
采用 Sigmoid 转换函数，则含一个隐层的多层前
馈网络（如BP网络）能够以任意精度逼近任何有 理函数。 ——Hornik
理论证明:多层前馈网络是一种通用逼近器。
非线性变换单元：
f u
1 -1
u0
u0
18
9 神经网络模型 9.2 静态神经网络模型
反传（BP）网络
（BP）网络与感知器的主要差别在于：（BP）网络的节 点是非线性的。
f u
1 1 e u
f( ) 被称为sigmoid 函数或称为 logistic函数。Sigmoid 函数的输出 范围为0~1，它可把非常大的输入值域映射到一个小范围的输出。
g(x)
x
9 神经网络模型
1）前馈网络
9.1.2 神经网络典型结构
2）输出反馈的前馈式网络
3）前馈式内层互联网络
4）反馈型全互联网络 5）反馈型局部互联网络
11
9 神经网络模型
1）前馈网络：
9.1.2 神经网络典型结构
2）输出反馈的前馈式网络：
12
9 神经网络模型
第二节 神经网络建模
9.1.2 神经网络典型结构
下篇
非线性系统建模
1
9 神经网络模型
9.1 神经网络基本原理
9.2 静态神经网络模型
9.3 动态神经网络模型
ห้องสมุดไป่ตู้
9.4 神经网络建模应用
2
9 神经网络模型 9.1 神经网络基本原理
目前广泛研究和应用的人工神经元网络在处理复 杂系统的建模方面表现出了非凡的优越性。其方法 实质上是一种非线性函数逼近的方法。
37
9 神经网络模型 9.4 神经网络建模应用
b) 隐层节点数
在确定隐层节点数时必须满足下列条件：
(1) 隐层节点数必须小于 N-1 （其中 N 为训练样本数），否 则，网络模型的系统误差与训练样本的特性无关而趋于 零，即建立的网络模型没有泛化能力，也没有任何实用 价值。同样，输入层的节点数（变量数）必须小于N-1 。 (2) 训练样本数必须多于网络模型的连接权数的2~10倍。
a) 收集和整理 采用神经网络方法建模的首要和前提条件是有足够多典 型性好和精度高的样本。 而且，为监控训练（学习）过程使之不发生“过拟合” 和评价建立的网络模型的性能和泛化能力，必须将收集 到的数据随机分成训练样本、检验样本（ 10% 以上）和 测试样本（10%以上）3部分。 此外，数据分组时还应尽可能考虑样本模式间的平衡。
36
9 神经网络模型 9.4 神经网络建模应用
2.神经网络拓扑结构的确定
a) 隐层数 一般认为，增加隐层数可以提高精度，但也使网络 复杂化，从而增加了网络的训练时间和出现“过拟合” 的倾向。 在设计BP网络时可参考Hornik的结论，应优先考虑3 层BP网络（即有1个隐层）。一般地，靠增加隐层节 点数来获得较低的误差，其训练效果要比增加隐层数 更容易实现。
y f x
！！！ 理论上可以证明 神经元网络可以任意
精度逼近任何非线性函数。因此将神经元网络
应用于非线性对象的动态或静态建模的方法正成
为研究热点。
3
9 神经网络模型 9.1 神经网络基本原理
一般而言 , ANN 与经典计算方法相比并非优 越 , 只有当常规方法解决不了或效果不佳时 ANN 方法才能显示出其优越性。尤其对问题 的机理不甚了解或不能用数学模型表示的系 统 ,ANN 往 往 是 最 有 利 的 工 具 。 另 一 方 面 , ANN 对处理大量原始数据而不能用规则或公 式描述的问题 , 表现出极大的灵活性和自适 应性。
8
9 神经网络模型
y1 ai1
9.1.1 神经网络基本框架
神经元网络的第i个输出可表示为：
y2
yn u1
︰
ai2
a in bi1 bi2
vi
线性系统
xi
非线性函数
yi
uk
um
︰
bim wi
1）加法器 2）线性动态系统（SISO） 3）静态非线性系统
9
1
9 神经网络模型
▲ 线性动态系统
9.1.1 神经网络基本框架
P m 1
9 神经网络模型 9.2 静态神经网络模型
★ 广义 学习规则 学习的目的是要使输出误差平方和最小：
1 P m1 E总 (t pk y p ( k ) ) 2 2 p 1 k 0
最后得到二个权值改变的重要公式：
输出层 权值 隐层 权值
w (k 1) w (k ) O
20
输出层
输入层
信息流
9 神经网络模型 9.2 静态神经网络模型
假设有N个训练样本 ( X p , Tp ) p 1,2,, N
xP1 ,, xPn ——第p组学习样本的输入向量
y P1 ,, y Pm ——第p组学习样本的训练输出向量 t P1 ,, t Pm ——第p组学习样本的输出向量，教师值
14
9 神经网络模型
9.1.2 神经网络典型结构
5）反馈型局部互联网络： 每个神经元的输出只和它周围若干层神经元发生互 连关系，形成局部反馈，从整体上看，是一种网格状结 构，如Elman网络和Jordan网络。
15
9 神经网络模型
！注意：
9.1.2 神经网络典型结构
这种引入了反馈的网络结构，又称为动态递归神经网络 （DRNN-Dynamical Recurrent Neural Network）。 动态网络由于其内部的反馈作用，可以用较小的网络结
38
9 神经网络模型 9.4 神经网络建模应用
3.网络模型的性能
神经网络系统辨识特点：
（ 1 ）由于神经网络可以任意精度逼近非线性函数，
故它为非线性系统的辨识提供一种通用的模式。
（ 2 ）神经网络系统辨识是非算式的，神经网络本
身就是辨识模型，其可调参数反映在网络内部的连 接权上。它不需要建立以实际系统数学模型为基础 的辨识格式，故可以省去在辨识前对系统建模这一 步骤。
传递函数形式 x ： i ( s) H ( s)vi ( s)
1 典型的有： H ( s) , 1 sT ▲静态非线性系统（激活函数）
g(x) 典型的有： g(x) x x
阈值函数 分段函数 阶跃函数 (sgn函数） S形函数 （Sigmoid函数， 10 双曲正切函数tanh）
1 t / T h(t ) e T
27
9 神经网络模型 9.3 动态神经网络模型
28
9 神经网络模型 9.3 动态神经网络模型
带时滞的多层感知器网络
29
9 神经网络模型 9.3 动态神经网络模型
30
9 神经网络模型 9.3 动态神经网络模型
从理论上说，上述这种网络结构能够逼近任意一个可 用方程式描述的系统：
它的学习可以直接利用静态前馈神经网络的BP算法。
3）前馈式内层互联网络：
4）反馈型全互联网络：
每个神经元的输出都和其它神经元相连，从而形成 动态反馈关系，如Hopfield网络。
这类网络结构具有能量函数的自寻优功能。
13
9 神经网络模型
9.1.2 神经网络典型结构
yj
ui
K
yi
u1 u2 u3 u4 离散Hopfield网络
y1
y2 y3 y4
（ 3 ）神经网络作为实际系统的辨识模型，实际上 也是系统的一个物理实现，可以用于在线控制。
6
9 神经网络模型
x1 w1 w2 · · ·
若非线性单元为 符号函数，则变 为感知器模型
9.1.1 神经网络基本框架 人工神经元可用如下简化模型描述：
x2
y
wn
xn
n y(t ) f wi xi (t ) i 1
netpj w ji O pi j
i 0
n 1
Opj f (netpj )
j 0,1,, r 1
对于输出节点（用下标k）：
节点的输入： 节点的输出：
netpk wkj O pj k
j 0
k 1
O pk f (netpk )
k 0,1,, m 1
o kj o kj o pk o pj h ji h ji
k pj
25
w (k 1) w (k ) x pj
初始化 9 神经网络模型 9.2 静态神经网络模型
加输入和期望输出 计算隐层和输出层的输出
调节输出层和隐层的连接权值
o o o k wkj (t 1) wkj (t ) pk O pj h o wkj (t 1) wh ji (t ) pj x pj
4
9 神经网络模型 9.1 神经网络基本原理
神经网络建模特点：
•非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。
建模过程中的许多问题正是具有高度的非线性。
•自学习和自适应能力：神经网络在训练时，能从输入、输出的数据
中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即 将这组权值应用于一般情形的能力。
输出 23 个数
9 神经网络模型 9.2 静态神经网络模型
★ 误差的反向传播
定义第p组样本误差函数：
1 m1 2 E (t pk y p ( k ) ) 2 k 0
对于P组学习样本，其总误差：
1 2 E总 (t pk y p ( k ) ) 2 p 1 k 0
24