人工神经网络第三章.ppt
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
神经网络辨识
引言 NNI的一般结构 基于BP网络的辨识 基于Hopfield网络的辨识 逆动力学系统的建模
神经网络原理
第三章第一章
1
引言
定义 几个基本问题 NNI的原理 NNI的理论依据 NNI的优点
神经网络原理
第三章第一章
2
定义
1. 辨识就是在输入输出数据的基础上，从一组 给定的模型中确定一个与所测系统等价的模 型 L.A.Zadeh
i0
c q -1 w k
m-1
2. y p k f y p k y p k - n 1 iu k - i
i0
c q -1 w k 3. y p k f y p k y p k - n 1 y u k u k - m 1
c q -1 w k 4. y p k f y p k y p k - n 1, u k u k - m 1
第三章第一章
8
广义误差
u(k) S
W(k)
Z(k)
神经网络原理
M p?1
M p?2-1
e(k)
e(k ) P?2-1zk - P?1u(k )
第三章第一章
9
例:s的差分方程
Z k 1 f0Z k, ,Z k-n 1 -guk, ,uk-m 1 w k 1 fZ k 1 , ,Z k-n 1 f0•-Z n 1 ekfZ k 1 , ,Z k-n 1 -guk, ,uk-m 1
? ... ? ??x(t - n)??
第三章第一章
13
NNI的理论依据
定理：具有任意数目隐单元的三层前向网络可 一致逼近平方可积分函数
神经网络原理
第三章第一章
14
NNI的优点
1. 无需建立实际系统的辨识格式，可省去 系统结构建模这一步，可调参数为NN的 权值;
2. 可对本质非线性系统进行辨识，在网络 外部含系统I/O特征，非算法式的;
c q -1 w k
神经网络原理
第三章第一章
20
辨Fra Baidu bibliotek结构
1.yˆkAq-1ykNukuk-m1 2.yˆkNypkypk-m1Bq-1uk
3.yˆkN1yyN2uu 4.yˆkNyu
神经网络原理
第三章第一章
21
并联模型
u(k)
神经网络原理
对象 Z-1
NN模型
y(k+1)
+ e(k+1)
-
ym(k+1)
对动态系统而言，输入信号要充分激励， （基本要求）进一步，最优输入信号设计
NNI：噪声或伪随机信号
误差准则的确定
神经网络原理
第三章第一章
5
误差准则的确定
J L fe w ,e 0 ,l,f• e 2k K 1
误差的三种形式 1. 输出误差 2. 逆模型辨识误差 3. 广义误差 4. 例
神经网络原理
第三章第一章
6
输出误差
u(k)
[
W(k)
S
+ Z(k) e(k)
-
z?(k )
Mp?
ek z?k - zk P?uk - z(k )
神经网络原理
第三章第一章
7
逆模型辨识误差
u(k) e(k)
W(k)
S
Z(k)
神经网络原理
u?(k )
IM p?
ek u?k - uk P?-1zk - u(k )
由网络输出ym(k-1)，计算e(k-1)
修正网络权值
e(k-1)<ε
N
Y
输出网络模型参数 结束
图2.9 BP网络模型辨识框图
第三章第一章
25
考虑SISO问题 设 y t f y t - 1 y t - n 1 , u t - 1 u ( t - m 1 )
问题：希望构造新网络，保持2者优点，可映 射任意NL动态网络
解决：将Hopfield网络形式由单层变多层
神经网络原理
第三章第一章
17
对象NL model描述
状态方程 NL model的四种形式 得出的四种辨识结构
神经网络原理
第三章第一章
18
状态方程
x k 1 x k , u k , y k x k
准则
L L为学习序列长度， 为数值
J e2k
NNI：
k1
N N1实 NI：实P 现 1质,N 为2最实 优化P 现 问2 题
神经网络原理
第三章第一章
10
NNI原理
线性模型（ARMA模型)
zk1-a1zkanzk-n1b1uk
bmuk-m1
hkzkzk-n1,ukuk-m1 a1an,b1bn
原对非线性系统无统一数学模型描述
现用NN逼近，给出基于输出误差的NNI NNI原理：在学习系统的I/O数据，建立系统
的辨识格式，使误差准则最小，
从中得出隐含的I/O关系
神经网络原理
第三章第一章
11
神经网络辨识系统结构示意图
神经网络原理
第三章第一章
12
TDL
X(t)
TDL
y(t)
神经网络原理
? x(t - 1) ? y(t) ??x(t - 2)??
3. 辨识算法不依赖于辨识系统的维数，仅 与NN本身和学习算法有关;
4. NN为实际系统的物理实现，可用于在在 线控制。
神经网络原理
第三章第一章
15
NNI的一般结构
引言 对象的NL model描述
神经网络原理
第三章第一章
16
引言
NN：多层前馈网络（BP等）可实现任意NL静 态映射；反馈网络（Hopfield）有动态环节， 不可去映射NN
系统为具有未知参数的线性对象时，系统可 控且可观，有串－并联、并联两种形式
n-1
m-1
串并yˆp： kaˆikypk-iˆjkuk-j
i0
i0
n-1
m-1
并联yˆp： kaˆikyˆpk-iˆjkuk-j
i0
i0
神经网络原理
第三章第一章
19
四种形式
n -1
1. y p k a v y p k - i g u k u k - m 1
2. 辨识的三要素：I/O数据、系统结构模型、等 价准则
3. 原理框图
神经网络原理
第三章第一章
3
系统辨识的原理图
u(k) 系统
辨识模型
W(k) Z(k)
-e(k) +
zˆ(k)
神经网络原理
第三章第一章
4
基本问题
模型的选择
原则：兼顾复杂性和精确性
NNI：网络隐节点个数选择由仿真确定
输入信号选择
(a)
第三章第一章
22
串并联模型
u(k) 对象
Z-1
NN模型
y(k+1)
+ e(k+1)
-
(b)
神经网络原理
第三章第一章
23
基于BP网络的辨识(p177)
考虑SISO问题 NN的学习算法 例
神经网络原理
第三章第一章
24
流程图
开始
样本{u(k-1),y(k-1)}进行数据预处理
神经网络原理
网络权值初始化
引言 NNI的一般结构 基于BP网络的辨识 基于Hopfield网络的辨识 逆动力学系统的建模
神经网络原理
第三章第一章
1
引言
定义 几个基本问题 NNI的原理 NNI的理论依据 NNI的优点
神经网络原理
第三章第一章
2
定义
1. 辨识就是在输入输出数据的基础上，从一组 给定的模型中确定一个与所测系统等价的模 型 L.A.Zadeh
i0
c q -1 w k
m-1
2. y p k f y p k y p k - n 1 iu k - i
i0
c q -1 w k 3. y p k f y p k y p k - n 1 y u k u k - m 1
c q -1 w k 4. y p k f y p k y p k - n 1, u k u k - m 1
第三章第一章
8
广义误差
u(k) S
W(k)
Z(k)
神经网络原理
M p?1
M p?2-1
e(k)
e(k ) P?2-1zk - P?1u(k )
第三章第一章
9
例:s的差分方程
Z k 1 f0Z k, ,Z k-n 1 -guk, ,uk-m 1 w k 1 fZ k 1 , ,Z k-n 1 f0•-Z n 1 ekfZ k 1 , ,Z k-n 1 -guk, ,uk-m 1
? ... ? ??x(t - n)??
第三章第一章
13
NNI的理论依据
定理：具有任意数目隐单元的三层前向网络可 一致逼近平方可积分函数
神经网络原理
第三章第一章
14
NNI的优点
1. 无需建立实际系统的辨识格式，可省去 系统结构建模这一步，可调参数为NN的 权值;
2. 可对本质非线性系统进行辨识，在网络 外部含系统I/O特征，非算法式的;
c q -1 w k
神经网络原理
第三章第一章
20
辨Fra Baidu bibliotek结构
1.yˆkAq-1ykNukuk-m1 2.yˆkNypkypk-m1Bq-1uk
3.yˆkN1yyN2uu 4.yˆkNyu
神经网络原理
第三章第一章
21
并联模型
u(k)
神经网络原理
对象 Z-1
NN模型
y(k+1)
+ e(k+1)
-
ym(k+1)
对动态系统而言，输入信号要充分激励， （基本要求）进一步，最优输入信号设计
NNI：噪声或伪随机信号
误差准则的确定
神经网络原理
第三章第一章
5
误差准则的确定
J L fe w ,e 0 ,l,f• e 2k K 1
误差的三种形式 1. 输出误差 2. 逆模型辨识误差 3. 广义误差 4. 例
神经网络原理
第三章第一章
6
输出误差
u(k)
[
W(k)
S
+ Z(k) e(k)
-
z?(k )
Mp?
ek z?k - zk P?uk - z(k )
神经网络原理
第三章第一章
7
逆模型辨识误差
u(k) e(k)
W(k)
S
Z(k)
神经网络原理
u?(k )
IM p?
ek u?k - uk P?-1zk - u(k )
由网络输出ym(k-1)，计算e(k-1)
修正网络权值
e(k-1)<ε
N
Y
输出网络模型参数 结束
图2.9 BP网络模型辨识框图
第三章第一章
25
考虑SISO问题 设 y t f y t - 1 y t - n 1 , u t - 1 u ( t - m 1 )
问题：希望构造新网络，保持2者优点，可映 射任意NL动态网络
解决：将Hopfield网络形式由单层变多层
神经网络原理
第三章第一章
17
对象NL model描述
状态方程 NL model的四种形式 得出的四种辨识结构
神经网络原理
第三章第一章
18
状态方程
x k 1 x k , u k , y k x k
准则
L L为学习序列长度， 为数值
J e2k
NNI：
k1
N N1实 NI：实P 现 1质,N 为2最实 优化P 现 问2 题
神经网络原理
第三章第一章
10
NNI原理
线性模型（ARMA模型)
zk1-a1zkanzk-n1b1uk
bmuk-m1
hkzkzk-n1,ukuk-m1 a1an,b1bn
原对非线性系统无统一数学模型描述
现用NN逼近，给出基于输出误差的NNI NNI原理：在学习系统的I/O数据，建立系统
的辨识格式，使误差准则最小，
从中得出隐含的I/O关系
神经网络原理
第三章第一章
11
神经网络辨识系统结构示意图
神经网络原理
第三章第一章
12
TDL
X(t)
TDL
y(t)
神经网络原理
? x(t - 1) ? y(t) ??x(t - 2)??
3. 辨识算法不依赖于辨识系统的维数，仅 与NN本身和学习算法有关;
4. NN为实际系统的物理实现，可用于在在 线控制。
神经网络原理
第三章第一章
15
NNI的一般结构
引言 对象的NL model描述
神经网络原理
第三章第一章
16
引言
NN：多层前馈网络（BP等）可实现任意NL静 态映射；反馈网络（Hopfield）有动态环节， 不可去映射NN
系统为具有未知参数的线性对象时，系统可 控且可观，有串－并联、并联两种形式
n-1
m-1
串并yˆp： kaˆikypk-iˆjkuk-j
i0
i0
n-1
m-1
并联yˆp： kaˆikyˆpk-iˆjkuk-j
i0
i0
神经网络原理
第三章第一章
19
四种形式
n -1
1. y p k a v y p k - i g u k u k - m 1
2. 辨识的三要素：I/O数据、系统结构模型、等 价准则
3. 原理框图
神经网络原理
第三章第一章
3
系统辨识的原理图
u(k) 系统
辨识模型
W(k) Z(k)
-e(k) +
zˆ(k)
神经网络原理
第三章第一章
4
基本问题
模型的选择
原则：兼顾复杂性和精确性
NNI：网络隐节点个数选择由仿真确定
输入信号选择
(a)
第三章第一章
22
串并联模型
u(k) 对象
Z-1
NN模型
y(k+1)
+ e(k+1)
-
(b)
神经网络原理
第三章第一章
23
基于BP网络的辨识(p177)
考虑SISO问题 NN的学习算法 例
神经网络原理
第三章第一章
24
流程图
开始
样本{u(k-1),y(k-1)}进行数据预处理
神经网络原理
网络权值初始化