各类最小二乘算法

二、关于数据饱和现象的分析 所谓“数据饱和”现象就是随着时间的推移， 所谓“数据饱和”现象就是随着时间的推移，采集到的数据 越来越多，新数据所提供的信息被淹没在老数据的海洋之中。 越来越多 ， 新数据所提供的信息被淹没在老数据的海洋之中。 如果辨识算法对新、老数据给予相同的信任度， 如果辨识算法对新 、老数据给予相同的信任度， 那么随着从 新数据中获得的信息量的下降，算法慢慢就会失去修正能力。 新数据中获得的信息量的下降， 算法慢慢就会失去修正能力。 由递推LS算法： 由递推 算法： ˆ 算法
大，算法的修正能力越强。 算法的修正能力越强。 趋近于零，算法就会失去修正能力。 如果 K (k ) 趋近于零，算法就会失去修正能力。
的定义， 充分大后， 是正定的， 根据 P (k ) 的定义，显然 k 充分大后，( k ) 是正定的，那么必有 P
h T ( k ) P ( k − 1) h ( k ) + α − 1 ( k ) > 0 T [ P ( k − 1) h ( k ) ][ P ( k − 1) h ( k ) ] ≥ 0
T −1
则：
P ( k ) = α P ( k − 1) + h ( k )h ( k ) 1 P ( k − 1)h ( k )h T ( k ) = I − T α h ( k ) P ( k − 1)h ( k ) + α
K ( k ) ≜ P ( k )h ( k )
P ( k − 1)
k −i
−1
k ∑ β i =1
k −i
2(k −i)
h (i ) z (i ) ∀k
= ∑ α i =1
k
h (i )h (i )
T
−1
k ∑ α i =1
h (i ) z (i )
称为遗忘因子， 其中α = β 2 称为遗忘因子，显然 0 ≤ α ≤ 1 现定义： 现定义：
渐消记忆法（遗忘因子法） §2 渐消记忆法（遗忘因子法）
一、基本思想 对越老的数据加上越强（数值越小）的遗忘因子， 对越老的数据加上越强（数值越小）的遗忘因子，从而减 少老数据提供的信息量，强调新数据的信息。 少老数据提供的信息量，强调新数据的信息。 二、基本算法（一次完成） 基本算法（一次完成） 设系统有最小二乘格式 z (k ) = hT (k )θ + e(k ) 则 其中
于是有： 于是有：
α P ( k ) P − 1 ( k − 1) = I − P ( k ) h ( k ) h T ( k )
则：
ˆ θ ( k ) = P ( k ) H * T Z * = P ( k ) α H * −1T Z * −1 + h ( k ) z ( k ) k k k k
算法： 由LS算法： 算法
ˆ θ ( N ) = ( H * T H * ) −1 H * T Z * = ( H T W N H N ) −1 H T W N Z N N N N N N N
其中
Z* N
β N −1 = 0
⋱
0 ZN 1
0 տ ˆ ← θ( N ) = (H* T H* ) −1 H* T Z* = (HT WN H N ) −1 HT WN Z N H N N N N N N N ⋱ ւ 1
所以
P −1 ( k ) = H * T H * = ( β H * −1T k k k β H * −1 h(k ) ) T k h (k )
= β 2 ( H * −1T H * −1 ) + h ( k )h T ( k ) = α P −1 ( k − 1) + h ( k )h T ( k ) k k
ZN = H Nθ + EN
h T (1) z (1) e (1) H N = ⋮ , ZN = ⋮ , EN = ⋮ z( N ) e( N ) hT ( N )
数据长度为 N 。
又：
Z * −1 k
β k − 2 z (1) β k − 1 z (1) * ⋮ ⋮ , Z* = = β Z k −1 = k β z (k − 2) β z ( k − 1) z ( k ) z ( k − 1) z (k )
P
−1
(k ) =
∑α
i =1 k −1 i =1
k
k −i
h (i )h T (i )
(= H
*T k
H* k
)
则
P ( k − 1) =
−1
∑α
k −1 − i
h (i )h T (i )
(= H
* T k −1
H * −1 ) k
H * −1 k
β k − 2 h T (1) β k −1h T (1) β H * −1 ⋮ ⋮ k , H* = = = T k β h T ( k − 2) β h T ( k − 1) h ( k ) T h T ( k − 1) h (k )
时刻，进行模型变形（加衰减因子β 对 K 时刻，进行模型变形（加衰减因子 ，0≤β≤1） ）
β N − k z ( k ) = β N − k h T ( k )θ + β N − k e ( k )
↔ z(k ) = hT (k )θ + e(k )
则
Z* = H N
* N
θ + E* N
β N −1 z (1) β N −1h T (1) β N −1e (1) Z* = ⋮ , H* = ⋮ , E* = ⋮ N N N β N −N z( N ) β N − N hT ( N ) β N − N e( N )
ˆ ɶ θ(k ) = θ(k − 1) + K ( k ) z (k )
ˆ k 时刻的参数估计值 θ(k ) 是在 θ( k − 1)的基础上依靠新息 ˆ ∧ T ɶ z(k ) = z(k ) − h (k ) θ(k −1) 与增益矩阵 K (k )的乘积来修正的。 K (k ) 值越 的乘积来修正的。
即 由于
[ P ( k − 1) h ( k ) ][ P ( k − 1) h ( k ) ]
h ( k ) P ( k − 1) h ( k ) + α
T −1
T
(k )
≥0
P ( k − 1) h ( k ) K (k ) = α − 1 ( k ) + h T ( k ) P ( k − 1) h ( k ) P ( k ) = ( I − K ( k ) h T ( k ) ) P ( k − 1)

(*)* ) (*
同前面一样， 同前面一样，记 K ( k ) = P (ห้องสมุดไป่ตู้k ) h ( k ) 又
P ( k ) = α P ( k − 1) + h ( k )h ( k )
−1 T −1
由矩阵反演公式
−1
(C−1 + C−1BT A −1BC−1 )−1 = C − BT ( A + BC−1BT )−1 B
四、两点讨论
1、残差与新息的关系
ˆ ε ( k ) = z ( k ) − h T ( k )θ ( k ) T ˆ ɶ z ( k ) = z ( k ) − h ( k ) θ ( k − 1)
类似普通的RLS法： 类似普通的 法
ε (k ) =
ɶ α z (k ) h T ( k ) P ( k − 1) h ( k ) + α
β N −1 H* = N 0
β N −2
β 2( N −1) WN = 0
β 2( N −2)
0 ⋱ 1
三、递推算法 ∵
k θ(k ) = ∑ β i =1
∧
2(k −i) h (i )h T (i )
Ⅴ 各种最小二乘类参数辨识算法 §1 概 述
最小二乘类参数辨识算法（一次完成算法、递推算法） 最小二乘类参数辨识算法 （一次完成算法 、 递推算法 ） 是一种 最基本和常用的参数估计方法。但研究和应用表明， 最基本和常用的参数估计方法。 但研究和应用表明， 这一算 法仍存在明显的不足。 法仍存在明显的不足。 一、LS 算法的主要不足之处 1、当模型噪声为有色噪声时，LS 估计不再是无偏估计、一致 、当模型噪声为有色噪声时， 估计不再是无偏估计、 估计。 估计。 2、随着采样次数的增多，数据量不断增加，LS估计有可能出 、随着采样次数的增多，数据量不断增加， 估计有可能出 现所谓的“数据饱和”现象， 现所谓的“数据饱和”现象，导致递推算法不能接近参数真 值。
并注意到
ˆ θ( k − 1) = ( H * −1T H * −1 ) −1 H * −1T Z* −1 = P ( k − 1) H * −1T Z* −1 k k k k k k (*)
和
I = P ( k ) P − 1 ( k ) = P ( k ) α P − 1 ( k − 1) + h ( k ) h T ( k ) (**)
递推算法如下： 总结全套的 θ 递推算法如下：
ˆ ˆ θ( k ) = θ( k − 1) + K ( k ) z ( k ) − hT ( k )θ( k − 1) ˆ P ( k − 1)h ( k ) 0 ≤α ≤1 K ( k ) = T h ( k ) P ( k − 1)h ( k ) + α 1 P ( k ) = I − K ( k )h T ( k ) P ( k − 1) α