第4章最小二乘类辨识算法 2 优质课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
f (t)
4.0 引言
m次独立试验的数据
(t1, y1) (t2 , y2 )
t (tm , ym )
f (t) a a h (t) a h (t) a h (t)
0
11
22
nn
• 1801年初，天文学家皮亚齐发现了谷神星。 •1801年末，天文爱好者奥博斯，在高斯预
言的时间里，再次发现谷神星。 •1802年又成功地预测了智神星的轨道。
因 L 0
所以 J ( ) WLS min , ˆWLS 是唯一的 30
通过极小化（4.3.2）式
计算 ˆWLS 称为加权最小二乘法
取 L I
（4.3.9）
则（4.3.7）式变化成
ˆLS
(
H
T L
H
L
)1
H
T L
ห้องสมุดไป่ตู้ZL
L k 1
h(k
)hT
(k
)
（4.3.1）
(k) - 加权因子，对 k, (k) 0
如 (k) Lk 0 1
K=1 时 (1) L1 1 ，K=L时 (L) 1
体现对不同时刻的数据给予不同程度的信任
27
准则函数 J ( ) 可写成二次型形式
J ( ) (z L H L )T L (z L H L )
确定多项式 A(z 1 ) 和 B(z 1 ) 的系数
20
在最小二乘问题中，一般对模型作以下假设
首先，模型的阶次 na ， nb 已定
且一般 na nb
其次，将（4.1.4）模型写成最小二乘格式
z(k) hT (k) n(k)
式中
（4.2.2）
h(k) [z(k 1), , z(k na ),u(k 1),
L - 加权矩，一般为正定的对角矩阵
(1) 0
L 0 (2)
0
0
0
0
(L)
（4.3.2） （4.3.3）
28
设 ˆWLS
使
J ( ) ˆWLS min
（4.3.4）
则有
J ( ) ˆWLS
则得
(zL
H L )T L (zL
如果 L na nb ，则只有当
才有唯一确定解。
nL
0
时，
当 nL 0 时，只有取 L na nb ，才有可
能确定一个最优的模型参数 ，而且为了
保证辨识的精度，L必须充分大。
４.3 最小二乘问题的解
取准则函数
L
J ( ) (k)[z(k) hT (k) ]2 k 1
[a1, a2 , , ana , b1, b2 , , bnb ]T
, u(k nb )]T
（4.2.3）
21
对 k 1,2,, L
(4.1.5)式构成一个线性方程组 可以写成
zL H L nL
（4.2.4）
22
zL [z(1), z(2),z(L)]T
（4.3.12）
34
上述条件称为开环可辨识性条件。即辨识 所用的输入信号不能随意选择，否则可能造成 不可辨识。目前常用的信号有： １）随机序列（白噪声） ２）伪随机序列（如Ｍ序列） ３）离散序列，通常指对含有ｎ种频率（各频率 不能满足整数倍关系）的正弦信号进行采样处 理获得的离散序列。
35
例 考虑仿真对象
最小二乘辨识算法
自适应辨识算法
偏差补偿最小二乘法
增广最小二乘算法
广义最小二乘法
辅助变量法
相关二步法
6
如果
仅仅关心所要辨识的过程输入输出特 性
可以将所过程视为“黑箱” 而不考虑过程的内部机理
7
过程的“黑箱”结构
u(k) 和 z(k) 分别是过程的输入和输出 G(z 1 ) - 描述输入输出关系的模型，称为过程模型
8
G(z 1 ) 通常可以表示成
G(z 1 ) B(z 1 ) A(z 1 )
其中
（4.0.1）
A( B(
z z
1 ) 1 )
1 b1z
a1z1 1 b2 z
a2
2
z2 ana bnb znb
z
na
（4.0.2）
9
{n(k)}为噪声
15
② 递推算法：在上次模型参数估计值 ˆ(k 1)的
基础上，根据当前获得的数据提出修正，进而 获得本次模型参数估计值 ˆ(，k )广泛采用的递
推算法形式为
(k ) (k 1) K (k )h(k d )~z (k )
（4.1.1）
其中 表示k 时刻的模型参数估计值，K(k)为算法
ˆ
L
J ( ) ε 2 (k ) ˆ min
k 1
（4.0.10）
其中 (k )代表模型输出与系统输出的偏差。
典型的方法有最小二乘法、增广最小二乘法、 辅助变量法、广义最小二乘法等。
② 梯度校正参数辨识方法，其基本思想是沿着准 则函数负梯度方向逐步修正模型参数，使准则函 数达到最小，如随机逼近法。
}
2 n
I
2 n
-
n(k)的方差
E{n(k)u(k l)} 0 k,l
最后，假设数据长度 L (na nb )
（4.2.7）
（4.2.8）
25
(4.2.4)式有L个方程，包括 na nb 个未知数。
如果 L na nb ，方程的个数少于未知数的
个数，模型参数 不是唯一确定。
17
利用数据序列{z(k)}和{h(k)}
极小化下列准则函数
L
J ( ) [z(k) hT (k) ]2 k 1
（4.1.3）
使 J 最小的 的估计值 ˆ ，称为的最小二乘
估计值。
18
● 最小二乘原理表明，未知参数估计问题，
就是求参数估计值 ˆ ，使序列的估计值
尽可能地接近实际序列，两者的接近程度 用实际序列与序列估计值之差的平方和来 度量。
的增益，h(k-d) 是由观测数据组成的输入数据向 量，d 为整数， ~z (k ) 表示新息。
假设
过程的输入输出关系可以描述成以下最小二乘格式
z(k) hT (k) n(k)
（4.1.2）
z(k) ― 过程的输出
― 参数
h(k) ― 观测的数据向量 n(k) ― 均值为零的随机噪声
（4.0.3） （4.0.4）
（4.0.5）
10
各种方法所用的辨识模型结构略有不同
最小二乘法（受控自回归 CAR模型）
A(z 1 )z(k) B(z 1 )u(k) v(k)
（4.0.7）
增广最小二乘法(受控自回归滑动平均 CARMA模型)
A(z 1 )z(k) B(z 1 )u(k) D(z 1 )v(k)
u(1)
u(2 nb)
u(L 1) u(L nb)
23
另外
设模型的噪声 n(k) 特征为
E{n(1)}
E{nL }
E{n(2)}
0
E{n(L)}
（4.2.6）
E{n2 (1)} E{n(1)n(2)} E{n(1)n(L)}
c
第４章 最小二乘类参数辨识方法（一）
1
4.0 引言 4.1 最小二乘法的基本概念 4.2 最小二乘问题的提法 4.3 最小二乘问题的解 4.4 最小二乘估计的可辨识性 4.5 最小二乘估计的几何解析 4.6 最小二乘参数估计值的统计性质 4.7 噪声方差估计 4.8 最小二乘参数估计的递推算法
2
z
● 最小二乘估计值应在观测值与估计值之累 次误差的平方和达到最小值处，所得到的 模型输出能最好地逼近实际系统的输出。
４.2 最小二乘问题的提法
设时不变 SISO 动态过程的数学模型为
A(z 1)z(k) B(z 1)u(k) n(k) （4.2.1）
所要解决的最小二乘问题
如何利用过程的输入、输出数据
H L ) ˆWLS
0
（4.3.5）
(
H
T L
L
H
L
)ˆWLS
H
T L
LZL
（4.3.6）
29
当
H
T L
L
H
L
可逆时（称为正则）时
ˆWLS
(
H
T L
L
H
L
)1
H
T L
LZL
（4.3.7）
充分条件
2 J ( ) 2
ˆWLs
2H
T L
L
H
L
0
（4.3.8）
• 高斯自己独创了一套行星轨道计算 理论。
• 高斯仅用1小时就算出了谷神星的 轨道形状，并进行了预测
•1794年，高斯提出了最小二乘的思想。
1794年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实际观测值和计算
值之间差的平方乘以其精确度的数值以后的和为最 小。
最小二乘类辨识算法的主要内容
1
L k 1
h(k
)
z(k
)（4.3.10）
ˆLS - 最小二乘估计值
31
上述最小二乘法的计算步骤为：首先获取一批
足够数量的过程输入输出数据 zL 和 H L ，
并确定加权矩阵 ΛL
，计算的逆矩阵
H
T L
ΛL H L
（要求必须是正则矩阵），按照式(4.3.7)即
可计算出过程参数 θ 的估计值 θˆWLS 。这种
方法称为“一次完成算法”，它为理论分析提
供了便利，但在计算时需要对矩阵求逆，如果
矩阵维数过大，矩阵求逆的计算量将急剧增加，
对计算机造成一定的负担。较为实用的方法是
“递推算法”，即把式(4.3.7)化成递推计算
的形式，这样便于实现在线辨识。
32
一次性完成算法要求
H
T L
ΛL
H
L
必须是正则
矩阵，其充分必要条件是过程的输入信号
③ 概率密度逼近参数辨识方法，其基本思想是使
输出z 的条件概率密度 p(z | ) 最大限度地逼近
条件 0 下的概率密度 p( z | 0 ) ，即
p(
z
|
ˆ
)
max
p(
z
|
0
)
（4.0.11）
典型的方法是极大似然法。
4.1 最小二乘法的基本概念
最小二乘法
1795年高斯在其著名的星体运动轨迹预报研究 工作中提出的,后来成了估计理论的奠基石。 最小二乘的基本结果有两种算法： ①一次完成算法或批处理算法：利用一批观测数据， 一次计算或经反复迭代，以获得模型参数的估计值。
必须是２ｎ阶持续激励信号。即要求
U LTU L 0
（4.3.11）
33
其中
U
L
uL
[FuL , F 2uL ,, F 2nuL [u(1),u(2),,u(L)]T
]
F
0 1 0
0
1
0 LL
n max(na , nb )
nL [n(1),n(2),n(L)]T
hT (1) z(0) z(1 na)
HL
hT
(2)
z(1)
z(1 na)
hT
(L)
z(L 1)
z(L na)
（4.2.5）
u(0) u(1 nb)
广义最小二乘法(动态调节 DA模型)
（4.0.8）
A(z 1 )z(k) B(z 1 )u(k) 1 v(k) （4.0.9） C(z 1 )
11
经比较可以看出
各种方法所用过程模型一样 只是噪声模型有所不同
12
根据不同的辨识原理，参数模型辨识方法可归 纳成三类：
① 最小二乘类参数辨识方法，其基本思想是通 过极小化如下准则函数来估计模型参数：
可以表示成均值为零的平稳随机系列
n(k) N (z 1 )v(k)
N (z 1 ) D(z 1 ) C(z 1 )
式中
C(z 1) 1 c1z 1 c2 z 2 D(z 1) 1 d1z 1 d2 z 2
cnc z nc d nd z nd
ov{nL
}
E{nLnLT
}
E{n(2)n(1)}
E{n2 (2)}
E{n(2)n(
L)}
n
E{n(L)n(1)}
E{n(L)n(2)}
E{n2 (L)}
24
在最小二乘法中
假定 {n(k)} 是白噪声序列
c
E{nL} 0
ov{nL
z(k) 1.5z(k 1) 0.7z(k 2) u(k 1) 0.5u(k 2) v(k)
式中，v(k)是服从正态分布的白噪声N(0,1)。输入 信号采用4阶M序列，其幅值为1.
选择如下的辨识模型进行一般的最小二乘参数辨识。
z(k) a1z(k 1) a2z(k 2) b1u(k 1) b2u(k 2) v(k)
4.0 引言
m次独立试验的数据
(t1, y1) (t2 , y2 )
t (tm , ym )
f (t) a a h (t) a h (t) a h (t)
0
11
22
nn
• 1801年初，天文学家皮亚齐发现了谷神星。 •1801年末，天文爱好者奥博斯，在高斯预
言的时间里，再次发现谷神星。 •1802年又成功地预测了智神星的轨道。
因 L 0
所以 J ( ) WLS min , ˆWLS 是唯一的 30
通过极小化（4.3.2）式
计算 ˆWLS 称为加权最小二乘法
取 L I
（4.3.9）
则（4.3.7）式变化成
ˆLS
(
H
T L
H
L
)1
H
T L
ห้องสมุดไป่ตู้ZL
L k 1
h(k
)hT
(k
)
（4.3.1）
(k) - 加权因子，对 k, (k) 0
如 (k) Lk 0 1
K=1 时 (1) L1 1 ，K=L时 (L) 1
体现对不同时刻的数据给予不同程度的信任
27
准则函数 J ( ) 可写成二次型形式
J ( ) (z L H L )T L (z L H L )
确定多项式 A(z 1 ) 和 B(z 1 ) 的系数
20
在最小二乘问题中，一般对模型作以下假设
首先，模型的阶次 na ， nb 已定
且一般 na nb
其次，将（4.1.4）模型写成最小二乘格式
z(k) hT (k) n(k)
式中
（4.2.2）
h(k) [z(k 1), , z(k na ),u(k 1),
L - 加权矩，一般为正定的对角矩阵
(1) 0
L 0 (2)
0
0
0
0
(L)
（4.3.2） （4.3.3）
28
设 ˆWLS
使
J ( ) ˆWLS min
（4.3.4）
则有
J ( ) ˆWLS
则得
(zL
H L )T L (zL
如果 L na nb ，则只有当
才有唯一确定解。
nL
0
时，
当 nL 0 时，只有取 L na nb ，才有可
能确定一个最优的模型参数 ，而且为了
保证辨识的精度，L必须充分大。
４.3 最小二乘问题的解
取准则函数
L
J ( ) (k)[z(k) hT (k) ]2 k 1
[a1, a2 , , ana , b1, b2 , , bnb ]T
, u(k nb )]T
（4.2.3）
21
对 k 1,2,, L
(4.1.5)式构成一个线性方程组 可以写成
zL H L nL
（4.2.4）
22
zL [z(1), z(2),z(L)]T
（4.3.12）
34
上述条件称为开环可辨识性条件。即辨识 所用的输入信号不能随意选择，否则可能造成 不可辨识。目前常用的信号有： １）随机序列（白噪声） ２）伪随机序列（如Ｍ序列） ３）离散序列，通常指对含有ｎ种频率（各频率 不能满足整数倍关系）的正弦信号进行采样处 理获得的离散序列。
35
例 考虑仿真对象
最小二乘辨识算法
自适应辨识算法
偏差补偿最小二乘法
增广最小二乘算法
广义最小二乘法
辅助变量法
相关二步法
6
如果
仅仅关心所要辨识的过程输入输出特 性
可以将所过程视为“黑箱” 而不考虑过程的内部机理
7
过程的“黑箱”结构
u(k) 和 z(k) 分别是过程的输入和输出 G(z 1 ) - 描述输入输出关系的模型，称为过程模型
8
G(z 1 ) 通常可以表示成
G(z 1 ) B(z 1 ) A(z 1 )
其中
（4.0.1）
A( B(
z z
1 ) 1 )
1 b1z
a1z1 1 b2 z
a2
2
z2 ana bnb znb
z
na
（4.0.2）
9
{n(k)}为噪声
15
② 递推算法：在上次模型参数估计值 ˆ(k 1)的
基础上，根据当前获得的数据提出修正，进而 获得本次模型参数估计值 ˆ(，k )广泛采用的递
推算法形式为
(k ) (k 1) K (k )h(k d )~z (k )
（4.1.1）
其中 表示k 时刻的模型参数估计值，K(k)为算法
ˆ
L
J ( ) ε 2 (k ) ˆ min
k 1
（4.0.10）
其中 (k )代表模型输出与系统输出的偏差。
典型的方法有最小二乘法、增广最小二乘法、 辅助变量法、广义最小二乘法等。
② 梯度校正参数辨识方法，其基本思想是沿着准 则函数负梯度方向逐步修正模型参数，使准则函 数达到最小，如随机逼近法。
}
2 n
I
2 n
-
n(k)的方差
E{n(k)u(k l)} 0 k,l
最后，假设数据长度 L (na nb )
（4.2.7）
（4.2.8）
25
(4.2.4)式有L个方程，包括 na nb 个未知数。
如果 L na nb ，方程的个数少于未知数的
个数，模型参数 不是唯一确定。
17
利用数据序列{z(k)}和{h(k)}
极小化下列准则函数
L
J ( ) [z(k) hT (k) ]2 k 1
（4.1.3）
使 J 最小的 的估计值 ˆ ，称为的最小二乘
估计值。
18
● 最小二乘原理表明，未知参数估计问题，
就是求参数估计值 ˆ ，使序列的估计值
尽可能地接近实际序列，两者的接近程度 用实际序列与序列估计值之差的平方和来 度量。
的增益，h(k-d) 是由观测数据组成的输入数据向 量，d 为整数， ~z (k ) 表示新息。
假设
过程的输入输出关系可以描述成以下最小二乘格式
z(k) hT (k) n(k)
（4.1.2）
z(k) ― 过程的输出
― 参数
h(k) ― 观测的数据向量 n(k) ― 均值为零的随机噪声
（4.0.3） （4.0.4）
（4.0.5）
10
各种方法所用的辨识模型结构略有不同
最小二乘法（受控自回归 CAR模型）
A(z 1 )z(k) B(z 1 )u(k) v(k)
（4.0.7）
增广最小二乘法(受控自回归滑动平均 CARMA模型)
A(z 1 )z(k) B(z 1 )u(k) D(z 1 )v(k)
u(1)
u(2 nb)
u(L 1) u(L nb)
23
另外
设模型的噪声 n(k) 特征为
E{n(1)}
E{nL }
E{n(2)}
0
E{n(L)}
（4.2.6）
E{n2 (1)} E{n(1)n(2)} E{n(1)n(L)}
c
第４章 最小二乘类参数辨识方法（一）
1
4.0 引言 4.1 最小二乘法的基本概念 4.2 最小二乘问题的提法 4.3 最小二乘问题的解 4.4 最小二乘估计的可辨识性 4.5 最小二乘估计的几何解析 4.6 最小二乘参数估计值的统计性质 4.7 噪声方差估计 4.8 最小二乘参数估计的递推算法
2
z
● 最小二乘估计值应在观测值与估计值之累 次误差的平方和达到最小值处，所得到的 模型输出能最好地逼近实际系统的输出。
４.2 最小二乘问题的提法
设时不变 SISO 动态过程的数学模型为
A(z 1)z(k) B(z 1)u(k) n(k) （4.2.1）
所要解决的最小二乘问题
如何利用过程的输入、输出数据
H L ) ˆWLS
0
（4.3.5）
(
H
T L
L
H
L
)ˆWLS
H
T L
LZL
（4.3.6）
29
当
H
T L
L
H
L
可逆时（称为正则）时
ˆWLS
(
H
T L
L
H
L
)1
H
T L
LZL
（4.3.7）
充分条件
2 J ( ) 2
ˆWLs
2H
T L
L
H
L
0
（4.3.8）
• 高斯自己独创了一套行星轨道计算 理论。
• 高斯仅用1小时就算出了谷神星的 轨道形状，并进行了预测
•1794年，高斯提出了最小二乘的思想。
1794年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实际观测值和计算
值之间差的平方乘以其精确度的数值以后的和为最 小。
最小二乘类辨识算法的主要内容
1
L k 1
h(k
)
z(k
)（4.3.10）
ˆLS - 最小二乘估计值
31
上述最小二乘法的计算步骤为：首先获取一批
足够数量的过程输入输出数据 zL 和 H L ，
并确定加权矩阵 ΛL
，计算的逆矩阵
H
T L
ΛL H L
（要求必须是正则矩阵），按照式(4.3.7)即
可计算出过程参数 θ 的估计值 θˆWLS 。这种
方法称为“一次完成算法”，它为理论分析提
供了便利，但在计算时需要对矩阵求逆，如果
矩阵维数过大，矩阵求逆的计算量将急剧增加，
对计算机造成一定的负担。较为实用的方法是
“递推算法”，即把式(4.3.7)化成递推计算
的形式，这样便于实现在线辨识。
32
一次性完成算法要求
H
T L
ΛL
H
L
必须是正则
矩阵，其充分必要条件是过程的输入信号
③ 概率密度逼近参数辨识方法，其基本思想是使
输出z 的条件概率密度 p(z | ) 最大限度地逼近
条件 0 下的概率密度 p( z | 0 ) ，即
p(
z
|
ˆ
)
max
p(
z
|
0
)
（4.0.11）
典型的方法是极大似然法。
4.1 最小二乘法的基本概念
最小二乘法
1795年高斯在其著名的星体运动轨迹预报研究 工作中提出的,后来成了估计理论的奠基石。 最小二乘的基本结果有两种算法： ①一次完成算法或批处理算法：利用一批观测数据， 一次计算或经反复迭代，以获得模型参数的估计值。
必须是２ｎ阶持续激励信号。即要求
U LTU L 0
（4.3.11）
33
其中
U
L
uL
[FuL , F 2uL ,, F 2nuL [u(1),u(2),,u(L)]T
]
F
0 1 0
0
1
0 LL
n max(na , nb )
nL [n(1),n(2),n(L)]T
hT (1) z(0) z(1 na)
HL
hT
(2)
z(1)
z(1 na)
hT
(L)
z(L 1)
z(L na)
（4.2.5）
u(0) u(1 nb)
广义最小二乘法(动态调节 DA模型)
（4.0.8）
A(z 1 )z(k) B(z 1 )u(k) 1 v(k) （4.0.9） C(z 1 )
11
经比较可以看出
各种方法所用过程模型一样 只是噪声模型有所不同
12
根据不同的辨识原理，参数模型辨识方法可归 纳成三类：
① 最小二乘类参数辨识方法，其基本思想是通 过极小化如下准则函数来估计模型参数：
可以表示成均值为零的平稳随机系列
n(k) N (z 1 )v(k)
N (z 1 ) D(z 1 ) C(z 1 )
式中
C(z 1) 1 c1z 1 c2 z 2 D(z 1) 1 d1z 1 d2 z 2
cnc z nc d nd z nd
ov{nL
}
E{nLnLT
}
E{n(2)n(1)}
E{n2 (2)}
E{n(2)n(
L)}
n
E{n(L)n(1)}
E{n(L)n(2)}
E{n2 (L)}
24
在最小二乘法中
假定 {n(k)} 是白噪声序列
c
E{nL} 0
ov{nL
z(k) 1.5z(k 1) 0.7z(k 2) u(k 1) 0.5u(k 2) v(k)
式中，v(k)是服从正态分布的白噪声N(0,1)。输入 信号采用4阶M序列，其幅值为1.
选择如下的辨识模型进行一般的最小二乘参数辨识。
z(k) a1z(k 1) a2z(k 2) b1u(k 1) b2u(k 2) v(k)