递推最小二乘辨识-

首先,假定在第k-1次递推中,我们已计算好参数估计值 θˆ(k -1)
➢ 在第k次递推时,我们已获得新的观测数据向量(k-1)和
y(k),则记
Φk-1=[(0), (1), ..., (k-2)]T
Φk=[(0),
(1),
...,
(k-1)]T=[
Φ
k 1
φ(k-1)]T
Yk-1=[y(1), y(2), ..., y(k-1)]T
P ( k )P [ 1 ( k -1 ) θ ˆ( k -1 )( k -1 )y ( k )]
P ( k )P { 1 ( k ) - [ ( k - 1 ) ( k - 1 ) θ ˆ ( k ] - 1 ) ( k - 1 ) y ( k )}
新的参数估计值=旧的参数估计值+修正项
(1)
– 递推算法具有良好的在线学习、自适应能力，在
• 系统辨识
• 自适应控制
• 在线学习系统
• 数据挖掘
等方面有广泛的应用。
受控XAR模型：A(z-1)y(k)=B(z-1)u(k)+w(k)
na
A (z1)1 aizi
nb
B (z1) bizi
θLS (Φ LΦ L)1Φ LYL
P ( k ) (Φ k [ - 1( k - 1 )Φ ] k - 1 [( k - 1 ) ) - ] 1
[Φ k-1 Φ k-1(k-1 ) (k-1 )-1 ]
[ P - 1 ( k - 1 ) ( k - 1 ) ( k - 1 ) - 1 ]
( 3 )
• 为便于逆矩阵递推算式的推导,下面引入如 下矩阵反演公式(设A和C为可逆方阵) (A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1 (4)
Yk=[y(1),
y(2),
...,
y(k)]T=[Y
k
1
y(k)]T
• 仔细考察上述LS法,可以知道,该算法进行递 推化的关键是算法中的矩阵求逆的递推计 算问题.
Βιβλιοθήκη Baidu
– 因此,下面先讨论该逆矩阵的递推计算.
1 递推算法(4/12)
•令
P ( k ) ( Φ k Φ k ) - 1
( 2 )
将Φk展开,故有
– RLS法即为上一节的成批型LS算法的递推化， 即将成批型LS算法化成依时间顺序递推计算 即可。
• 该工作是1950年由Plackett完成的。
– 下面讨论无加权因素时的一般LS法的递推算 法的推导.
• 即将成批型算法化
θLS (Φ LΦ L)1Φ LYL 等效变换成如下所示的随时间演变的递推算法.
递推最小二乘法(RLS)
•
上一节中已经给出了LS法的一次成批型算法,即
在获得所有系统输入输出检测数据之后,利用LS估计
式一次性计算出估计值.
– 成批型LS法在具体使用时不仅计算量大,占用内 存多,而且不能很好适用于在线辨识.
– 随着控制科学和系统科学的发展,迫切需要发展 一种递推参数估计算法,以能实现实时在线地进 行辨识系统模型参数以供进行实时控制和预报, 如
i1
i1
YL=L+WL YL=[y(1), y(2), ..., y(L)]T
L=[(0), (1), ..., (L-1)]T, L×(na+nb)
(k-1 ) [y(k-1 ) ,,y(k-n a) u (k-1 ) ,,u (k-n b) ]
θ [-a 1 , , -a n a b 1 , ,b n b]
P ( k ) [ P - 1 ( k - 1 ) ( k - 1 ) ( k - 1 ) - 1 ]
( 3 )
• 由式(3)和矩阵反演公式(4),可得P(k)的如下递推计算式
P (k ) P (k-1-P )(k-1(k )-1 )1 [ (k-1 )P (k-1(k )-1 ) 1 ]
• 在线估计
• 自适应控制和预报
• 时变参数辨识 • 故障监测与诊断 • 仿真等.
• 递推辨识算法的思想可以概括成 新的参数估计值=旧的参数估计值+修正项
即新的递推参数估计值是在旧的递推估计值 的基础上修正而成,这就是递推的概念.
– 递推算法不仅可减少计算量和存储量,而且能实现 在线实时辨识.
• 递推算法的特性
• 本 讲 主 要 讲 授 递 推 最 小 二 乘 (Recursive Least-square, RLS)法的思想及推导过程, 主要内容为:
– 递推算法
– 加权RLS法和渐消记忆RLS法
1 递推算法
• 递推算法就是依时间顺序,每获得一次新的 观测数据就修正一次参数估计值,随着时间 的推移,便能获得满意的辨识结果.
(k-1 )P (k-1)
I-1 P (k (-k 1 - 1 ) () P k( -k 1 )- 1 (k () k -1 -)1 ) P (k-1)
(5
下面讨论参数估计值θˆ ( k ) 的递推计算.
➢ 由上一讲的一般LS估计式
该乘积为标量
θ ˆ(k ) (Φ k Φ k)-1 Φ k Y k P (k )Φ k Y k
• 该公式可以证明如下:由于
(A+BCD)[A-1-A-1B(C-1+DA-1B)-1DA-1]
=I-B(C-1+DA-1B)-1DA-1+BCDA-1 -BCDA-1B(C-1+DA-1B)-1DA-1
=I-B[I-C(C-1+DA-1B)+CDA-1B](C-1+DA-1B)-1DA-1 =I 因此,矩阵反演公式(4)成立.
• 设在k-1时刻和k时刻,系统的参数估计结果为
θ ˆ(k-1 ) (Φ k 1 Φ k 1 ) 1 Φ k 1 Y k 1
θ ˆ(k)(Φ kΦ k)1Φ kYk
其中θˆ ( k )和 θˆ(k -1) 分别为根据前k次和前k-1次观测/采样数据得到 的LS参数估计值.
θ ˆ(k-1 ) (Φ k 1 Φ k 1 ) 1 Φ k 1 Y k 1 θ ˆ(k)(Φ kΦ k)1Φ kYk
有
P-1(k)θ ˆ(k)Φ kY(k)
(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1
–即
利用公式 P-1(k)θ ˆ(k)Φ kY(k)
θ ˆ ( k ) P ( k )Φ k [ 1( k - 1 )Y ] ( k [ - 1 )y ( k ) ]
P (k )Φ [ k 1 Y (k-1 )(k-1 )y (k )]