神经网络辨识
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
NNI：N1实现P1, N2实现P2
NNI：实质为最优化问题
神经网络原理
第三章
10
NNI原理
线性模型（ARMA模型)
zk 1 - a1 zk an zk - n 1 b1uk
bmuk - m 1
hk zk zk - n 1, uk uk - m 1
a1 an , b1 bn
ek yk wz vk
j j
j
用静态反馈法计算，经过 wz
ek
动态环节作用到 j
j
vk
神经网络原理
第三章
26
b
N1 用静态反馈法
N 2：y yi vk
vk
j k vk j
可用model a中方法计算，利用
j
BP得到
yi
j
神经网络原理
第三章
27
c y N v wz y N v
问题：希望构造新网络，保持2者优点， 可映射任意NL动态网络
解决：将Hopfield网络形式由单层变多层
神经网络原理
第三章
17
Narendra的一般化网络
结构 学习算法 讨论： 1. 目前系统仅用model a、b、c即可表示 2. 辨识时w(z)已知，不符合实际情况 3. 动态BP比静态BP复杂的多，实际使用
神经网络辨识
引言 NNI的一般结构 基于BP网络的辨识 基于Hopfield网络的辨识 逆动力学系统的建模
神经网络原理
第三章
1
引言
定义 几个基本问题 NNI的原理 NNI的理论依据 NNI的优点
神经网络原理
第三章
2
定义
1. 辨识就是在输入输出数据的基础上，从 一组给定的模型中确定一个与所测系统 等价的模型 L.A.Zadeh
j v
j j
N v Jacobian阵,
v
N v Jacobian向量，每一时刻求出
j
y
求 （出动后态代系入统上求式解得 问题） j 之线性化方程
神经网络原理
第三章
28
d
N1 用model c方法求解
N 2：y
j
N ' v
v
N 2
v
j
wz
y
j
神经网络原理
第三章
29
对象NL model描述
P?uk - z(k )
神经网络原理
第三章
7
逆模型辨识误差
u(k) e(k)
W(k)
S
Z(k)
u?(k )
IM p?
神经网络原理
ek u?k - uk P?-1zk - u(k )
第三章
8
u(k)
广义误差
W(k) Z(k)
S
M p?1
M p?2-1
e(k)
e(k ) P?2-1zk - P?1u(k )
时可能用静态BP
神经网络原理
第三章
18
结构 A
U
V
NN
Y
W(z)
神经网络原理
第三章
19
结构B
U NN2
V
Y
W(z)
NN1
神经网络原理
第三章
20
U+ V
-
结构C
NN
神经网络原理
W(z)
第三章
Y
21
结构d
U
+V
Y
NN2
NN1
+
W(z)
神经网络原理
第三章
22
学习算法
问题：多层前馈网络BP算法 动态时：How do? 静：仅与误差分布有关 动：寻找出反映动态过程的关系式 一般思路 具体输入层
神经网络原理
Biblioteka Baidu
第三章
23
一般思路
PI：J
y - yd
2orJ
1T
ei
T ik -T
2
方法：梯度法 j - J j jnom
e
Keynote：计算 j
神经网络原理
第三章
24
具体输入层
Model a Model b Model c Model d
神经网络原理
第三章
25
a
误差准则的确定
神经网络原理
第三章
5
误差准则的确定
L
J f ew, e 0, l, f • e2 k K 1
误差的三种形式 1. 输出误差 2. 逆模型辨识误差 3. 广义误差 4. 例
神经网络原理
第三章
6
输出误差
u(k)
[
W(k)
S
+ Z(k) e(k)
-
z?(k )
Mp?
ek z?k - zk
神经网络原理
第三章
9
例:s的差分方程
Zk 1 f0Zk,, Zk - n 1- guk,,uk - m 1 wk 1 f Zk 1,, Zk - n 1 f0•- Zn 1 ek f Zk 1,,Zk - n 1- guk,,uk - m 1
L
准则 J e2k L为学习序列长度， 为数值 k 1
3. 辨识算法不依赖于辨识系统的维数， 仅与NN本身和学习算法有关
4. NN为实际系统的物理实现，可用于在 在线控制
神经网络原理
第三章
15
NNI的一般结构
引言 Narendra的一般化网络 对象的NL model描述
神经网络原理
第三章
16
引言
NN：多层前馈网络（BP等）可实现任意 NL静态映射；反馈网络（Hopfield）有 动态环节，不可去映射NN
状态方程 NL model的四种形式 得出的四种辨识结构
神经网络原理
第三章
30
状态方程
xk 1 xk ,uk , yk xk
系统为具有未知参数的线性对象时，系 统可控且可观，有串－并联、并联两种 形式
n-1
m-1
串并：yˆ p k aˆi k y p k - i ˆ j k uk - j
原对非线性系统无统一数学模型描述
现用NN逼近，给出基于输出误差的NNI
NNI原理：在学习系统的I/O数据，建立系 统的辨识格式，使误差准则最小，
从中得出隐含的I/O关系
神经网络原理
第三章
11
神经网络辨识系统结构示意图
神经网络原理
第三章
12
TDL
X(t)
y(t)
TDL
神经网络原理
? x(t - 1) ?
y(t) ??x(t - 2)?? ? ... ?
??x(t - n)??
第三章
13
NNI的理论依据
定理：具有任意数目隐单元的三层前续 网络可一致逼近平方可积分函数
神经网络原理
第三章
14
NNI的优点
1. 无需建立实际系统的辨识格式，可省 去系统结构建模这一步，可调参数为 NN的权值
2. 可对本质非线性系统进行辨识，在网 络外部含系统I/O特征，非算法式的
2. 辨识的三要素：I/O数据、系统结构模 型、等价准则
3. 原理框图
神经网络原理
第三章
3
系统辨识的原理图
W(k)
u(k) 系统
Z(k)
-e(k)
+
辨识模型
zˆ(k)
神经网络原理
第三章
4
基本问题
模型的选择 原则：兼顾复杂性和精确性 NNI：网络隐节点个数选择由仿真确定
输入信号选择 对动态系统而言，输入信号要充分激励， （基本要求）进一步，最优输入信号设 计 NNI：噪声或伪随机信号
NNI：实质为最优化问题
神经网络原理
第三章
10
NNI原理
线性模型（ARMA模型)
zk 1 - a1 zk an zk - n 1 b1uk
bmuk - m 1
hk zk zk - n 1, uk uk - m 1
a1 an , b1 bn
ek yk wz vk
j j
j
用静态反馈法计算，经过 wz
ek
动态环节作用到 j
j
vk
神经网络原理
第三章
26
b
N1 用静态反馈法
N 2：y yi vk
vk
j k vk j
可用model a中方法计算，利用
j
BP得到
yi
j
神经网络原理
第三章
27
c y N v wz y N v
问题：希望构造新网络，保持2者优点， 可映射任意NL动态网络
解决：将Hopfield网络形式由单层变多层
神经网络原理
第三章
17
Narendra的一般化网络
结构 学习算法 讨论： 1. 目前系统仅用model a、b、c即可表示 2. 辨识时w(z)已知，不符合实际情况 3. 动态BP比静态BP复杂的多，实际使用
神经网络辨识
引言 NNI的一般结构 基于BP网络的辨识 基于Hopfield网络的辨识 逆动力学系统的建模
神经网络原理
第三章
1
引言
定义 几个基本问题 NNI的原理 NNI的理论依据 NNI的优点
神经网络原理
第三章
2
定义
1. 辨识就是在输入输出数据的基础上，从 一组给定的模型中确定一个与所测系统 等价的模型 L.A.Zadeh
j v
j j
N v Jacobian阵,
v
N v Jacobian向量，每一时刻求出
j
y
求 （出动后态代系入统上求式解得 问题） j 之线性化方程
神经网络原理
第三章
28
d
N1 用model c方法求解
N 2：y
j
N ' v
v
N 2
v
j
wz
y
j
神经网络原理
第三章
29
对象NL model描述
P?uk - z(k )
神经网络原理
第三章
7
逆模型辨识误差
u(k) e(k)
W(k)
S
Z(k)
u?(k )
IM p?
神经网络原理
ek u?k - uk P?-1zk - u(k )
第三章
8
u(k)
广义误差
W(k) Z(k)
S
M p?1
M p?2-1
e(k)
e(k ) P?2-1zk - P?1u(k )
时可能用静态BP
神经网络原理
第三章
18
结构 A
U
V
NN
Y
W(z)
神经网络原理
第三章
19
结构B
U NN2
V
Y
W(z)
NN1
神经网络原理
第三章
20
U+ V
-
结构C
NN
神经网络原理
W(z)
第三章
Y
21
结构d
U
+V
Y
NN2
NN1
+
W(z)
神经网络原理
第三章
22
学习算法
问题：多层前馈网络BP算法 动态时：How do? 静：仅与误差分布有关 动：寻找出反映动态过程的关系式 一般思路 具体输入层
神经网络原理
Biblioteka Baidu
第三章
23
一般思路
PI：J
y - yd
2orJ
1T
ei
T ik -T
2
方法：梯度法 j - J j jnom
e
Keynote：计算 j
神经网络原理
第三章
24
具体输入层
Model a Model b Model c Model d
神经网络原理
第三章
25
a
误差准则的确定
神经网络原理
第三章
5
误差准则的确定
L
J f ew, e 0, l, f • e2 k K 1
误差的三种形式 1. 输出误差 2. 逆模型辨识误差 3. 广义误差 4. 例
神经网络原理
第三章
6
输出误差
u(k)
[
W(k)
S
+ Z(k) e(k)
-
z?(k )
Mp?
ek z?k - zk
神经网络原理
第三章
9
例:s的差分方程
Zk 1 f0Zk,, Zk - n 1- guk,,uk - m 1 wk 1 f Zk 1,, Zk - n 1 f0•- Zn 1 ek f Zk 1,,Zk - n 1- guk,,uk - m 1
L
准则 J e2k L为学习序列长度， 为数值 k 1
3. 辨识算法不依赖于辨识系统的维数， 仅与NN本身和学习算法有关
4. NN为实际系统的物理实现，可用于在 在线控制
神经网络原理
第三章
15
NNI的一般结构
引言 Narendra的一般化网络 对象的NL model描述
神经网络原理
第三章
16
引言
NN：多层前馈网络（BP等）可实现任意 NL静态映射；反馈网络（Hopfield）有 动态环节，不可去映射NN
状态方程 NL model的四种形式 得出的四种辨识结构
神经网络原理
第三章
30
状态方程
xk 1 xk ,uk , yk xk
系统为具有未知参数的线性对象时，系 统可控且可观，有串－并联、并联两种 形式
n-1
m-1
串并：yˆ p k aˆi k y p k - i ˆ j k uk - j
原对非线性系统无统一数学模型描述
现用NN逼近，给出基于输出误差的NNI
NNI原理：在学习系统的I/O数据，建立系 统的辨识格式，使误差准则最小，
从中得出隐含的I/O关系
神经网络原理
第三章
11
神经网络辨识系统结构示意图
神经网络原理
第三章
12
TDL
X(t)
y(t)
TDL
神经网络原理
? x(t - 1) ?
y(t) ??x(t - 2)?? ? ... ?
??x(t - n)??
第三章
13
NNI的理论依据
定理：具有任意数目隐单元的三层前续 网络可一致逼近平方可积分函数
神经网络原理
第三章
14
NNI的优点
1. 无需建立实际系统的辨识格式，可省 去系统结构建模这一步，可调参数为 NN的权值
2. 可对本质非线性系统进行辨识，在网 络外部含系统I/O特征，非算法式的
2. 辨识的三要素：I/O数据、系统结构模 型、等价准则
3. 原理框图
神经网络原理
第三章
3
系统辨识的原理图
W(k)
u(k) 系统
Z(k)
-e(k)
+
辨识模型
zˆ(k)
神经网络原理
第三章
4
基本问题
模型的选择 原则：兼顾复杂性和精确性 NNI：网络隐节点个数选择由仿真确定
输入信号选择 对动态系统而言，输入信号要充分激励， （基本要求）进一步，最优输入信号设 计 NNI：噪声或伪随机信号