最小二乘参数辨识方法

《系统辨识基础》第17讲要点
第5章 最小二乘参数辨识方法
5.9 最小二乘递推算法的逆问题
辨识是在状态可测的情况下讨论模型的参数估计问题，滤波是在模型参数已知的情况下讨论状态估计问题，两者互为逆问题。

5.10 最小二乘递推算法的几种变形
最小二乘递推算法有多种不同的变形，常用的有七种情况：
① 基于数据所含的信息内容不同，对数据进行有选择性的加权； ② 在认为新近的数据更有价值的假设下，逐步丢弃过去的数据； ③ 只用有限长度的数据；
④ 加权方式既考虑平均特性又考虑跟综能力； ⑤ 在不同的时刻，重调协方差阵P (k )； ⑥ 设法防止协方差阵P (k )趋于零； 5.10.1 选择性加权最小二乘法 把加权最小二乘递推算法改写成
[]
⎪⎪⎩
⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()()1()()()]1(ˆ)()()[()1(ˆ)(ˆ1
k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K ττ
τ
θθθI ΛΛ
算法中引进加权因子，其目的是便于考虑观测数据的可信度．选择不同的加权方式对算法的
性质会有影响，下面是几种特殊的选择：
① 一种有趣的情况是Λ()k 取得很大，在极限情况下，算法就退化成正交投影算法。

也就是说，当选择
⎩⎨⎧=-≠-∞=0
)()1()(,00
)()1()(,)(k k k k k k k h P h h P h τ
τΛ 构成了正交投影算法
⎪⎪
⎩
⎪⎪⎨⎧--=--=--+-=)1()]()([)()()1()()()1()()]
1(ˆ)()()[()1(ˆ)(ˆk k k k k k k k k k k k k z k k k P h K P h P h h P K h K τ
τ
τ
θθθI 算法初始值取P ()0=I 及 ()θ
ε0=(任定值)，且当0)()1()(=-k k k h P h τ时，令K ()k =0。

② 第①种加权因子的选择显然是一种极端情况，算法的鲁棒性比较差。

为了使算法具有较好的鲁棒性，可把第①种加权因子的选择修改为
⎩⎨⎧<-≥-=ε
ε
τ
τ)()1()(,)()1()(,)(21k k k k k k k h P h h P h ΛΛΛ 其中ΛΛ120≥>,ε是指定的阀值。

这时算法对数据作了不同的加权，但不排斥任何数据． ③ 按下式选择加权因子，意味着它是过去数据信息量的一种度量
⎪⎩
⎪⎨⎧=≠-=0)()(,00)()(,)
()()()1()()(k k k k k k k k k k h h h h h h h P h ττ
τ
τΛ ④ 如果由噪声、建模不准确等因素引起的误差上界已知，则可按下式选择加权因子
⎪⎪⎩⎪⎪⎨
⎧><-+-->≥-+--=0)
()1()(1)]1(ˆ
)()([,00)
()1()(1)]1(ˆ)()([,1)(22
22
∆∆Λk k k k k k z k k k k k k z k h P h h h P h h τ
τττθθ 5.10.2 遗忘因子法
遗忘因子算法通过对数据加遗忘因子的办法来降低老数据的信息量，为补充新数据的信息创造条件。

取准则函数为
2
]
)()([)(θμ
θτ∑=--=
L
1
k k
L k k z J h
其中μ称遗忘因子，取值为01<<μ．极小化这个准则函数，可得到参数辨识算法：
*
*1
**FF )
(ˆ
L L
L
L
z H
H H
ττθ-=
式中
⎪⎪⎪
⎩⎪⎪⎪⎨⎧=⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=
=----μ
βββββττττ2
21*21*)()2()1()](,),2(),1([L L z z z L L L L L L h h h H z
这种参数辨识方法称作遗忘因子法，记作FF(Forgetting Factor algorithm)。

如果遗忘因子μ=1，算法退化成普通最小二乘法。

与推导加权最小二乘递推算法一样，同样可以推导出遗忘因子算法的递推计算形式
[]
⎪
⎪⎩
⎪⎪
⎨
⎧--=+--=--+-=-)1()]()([1)()()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τ
τ
τ
θθθI μμ
式中遗忘因子μ可按下面的原则取值： ① 若要求T c 步后数据衰减至36%,则μ=-
11T c
；
② μ取作时变因子μμμμ()()()k k =-+-0011，其中μμ00990095==.,().。

遗忘因子μ的取值大小对算法的性能会产生直接的影响。

μ值增加时，算法的跟踪能力下降，但算法的鲁棒性增强；μ值减少时，算法的跟踪能力增强，但算法的鲁棒性下降，对噪声更显得敏感。

遗忘因子法和加权最小二乘算法主要的差别：
① 加权方式不同．加权最小二乘法各时刻权重是不相关的，也不随时间变化；遗忘因子
法各时刻权重是有关联的，满足ΛΛ()()k k =
-1
1μ
关系，各时刻权重的大小随时间变化，当
前时刻的权重总为1。

② 加权的效果不一样．加权最小二乘法获得的是系统的平均特性；遗忘因子法能实时跟踪系统明显的变化，具有跟踪能力。

③ 算法的协方差矩阵P (k )的内容不一样，两者的关系为P P FF WLS ()()()k k k =Λ。

和加权最小二乘递推算法一样，遗忘因子算法下的残差ε()k 与新息~()z k 关系：
)
()1()()
(~)(k k k k z k h P h -+=
τ
μμε
或
)(~)]()()(1[)(k z k k k k h P h τ
ε-=
由此可推出准则函数J (k )的递推计算式：
⎥⎦⎤⎢⎣
⎡+-+-=μμτ
)()1()()
(~)1()(2k k k k z k J k J h P h
式中)1(ˆ
)()()(~--=k k k z k z θτ
h ， 是k 时刻的新息，它与k -1 时刻的参数估计值有关。

5.10.3 限定记忆法
限定记忆法依赖于有限长度的数据，每增加一个新的数据信息，就要去掉一个老数据的信息，数据长度始终保持不变。

这种方法的参数估计递推算法如下：
[]
[]
⎪⎪
⎪⎪⎩
⎪⎪⎪⎪⎨⎧-+++=++-++++-+=+-++-+++-+=++++=+++-+=+++-++-+=++--.)1,()](),([),()()1,()(1)()1,(),()]1,(ˆ)()()[,()1,(ˆ),(ˆ),()](),1([),1()(),()(1)(),(),1()]
,(ˆ)()()[,1(),(ˆ),1(ˆ11
L k k L k L k k L k k L k L k k L k L k L k k L k k L k k L k L k z L k k L k k L k k L k k k L k k L k k k L k k k k L k k L k k L k k k k z L k k L k k L k k P h K P h P h h P K h K P h K P h P h h P K h K τττ
τ
ττ
θθθθθθ-I +I 算法前三个式子用于去掉老数据的信息，后三个式子用来增加新数据的信息，初始值取
P (,)
(,),
00002==⎧⎨⎩a I ,
θε 其中a 为充分大实数，ε 为充分小实向量．相应的准则函数递推计算式为：]
,
)
()1,()(1)
(~)
(),()(1)
(~)1,(),1(2221L k L k k L k L k z k L k k k k z L k k J L k k J +-+++++
+--
-+=++h P h h P h τ
τ
其中
⎪⎩⎪⎨⎧-++-+=++-=)
1,(ˆ)()()(~
)
,(ˆ)()()(~21L k k L k L k z L k z L k k k k z k z θθτ
τ
h h 5.10.4 折息法
折息法把加权最小二乘法和遗忘因子法融合起来，形成如下算法：
⎪⎪⎪
⎩
⎪
⎪
⎪⎨⎧--=⎥
⎦⎤⎢⎣⎡+--=--+-=-)1()]()([)(1)()()()()1()()()1()()]
1(ˆ
)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τ
ττθθθI μμΛ
折息因子与加权因子和遗忘因子之间的关系为ΓΛ(,)()()k i i j j i k
==+∏μ1
，当遗忘因子取常数
时，折息因子又可表示成ΓΛ(,)()k i i k i =-μ。

折息法同时具备加权最小二乘法和遗忘因子法的
作用，既可获得系统的平均特性，又具有时变跟踪能力。

5.10.5 协方差重调最小二乘法 在辨识递推计算过程中，协方差矩阵P (k )衰减很快，此时算法的增益矩阵K (k )也急剧衰减。

这种现象的出现，促使人们去考虑一种修正的方案，即在指定的时刻重新调整协方差矩阵P (k )，使算法始终保持较快的收敛速度。

这种协方差重调的最小二乘算法描述如下：
[]
⎪⎪⎩
⎪⎪
⎨
⎧--=+--=--+-=-)1()]()([)(1)()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆ1T
k k k k k k k k k k k k k z k k k P h K P h P h h P K h K ττ
θθθI 当k k k k l ∉{,,,}12 时，P (k )按上式算法计算；当k k k k k i l =∈{,,,}12 时，把P (k )重调
为P ()k a i i =I , 0<a m i n ≤≤<∞a a i max 。

5.10.6 协方差修正最小二乘法 对时变系统辨识来说，为了防止矩阵P (k )趋于零，当参数估计值超过某阀值时，矩阵P (k )自动加上附加项Q , 具体算法如下：
[]
⎪
⎪⎩⎪⎪⎨
⎧≥+=--=+--=--+-=-0
I Q Q P P P h K P h P h h P K h K ,)()()1()]()([)(1)()1()()()1()()]
1(ˆ)()()[()1(ˆ)(ˆ1
k k k k k k k k k k k k k k k z k k k τ
ττ
θθθ。