最小二乘参数辨识方法

《系统辨识基础》第17讲要点

第5章 最小二乘参数辨识方法

5.9 最小二乘递推算法的逆问题

辨识是在状态可测的情况下讨论模型的参数估计问题，滤波是在模型参数已知的情况下讨论状态估计问题，两者互为逆问题。

5.10 最小二乘递推算法的几种变形

最小二乘递推算法有多种不同的变形，常用的有七种情况：

① 基于数据所含的信息内容不同，对数据进行有选择性的加权；

② 在认为新近的数据更有价值的假设下，逐步丢弃过去的数据；

③ 只用有限长度的数据；

④ 加权方式既考虑平均特性又考虑跟综能力；

⑤ 在不同的时刻，重调协方差阵P (k )；

⑥ 设法防止协方差阵P (k )趋于零；

5.10.1 选择性加权最小二乘法

把加权最小二乘递推算法改写成

[]

⎪⎪⎩⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()()1()()()]

1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI ΛΛ 算法中引进加权因子，其目的是便于考虑观测数据的可信度．选择不同的加权方式对算法的性质会有影响，下面是几种特殊的选择：

① 一种有趣的情况是Λ()k 取得很大，在极限情况下，算法就退化成正交投影算法。也就是说，当选择

⎩⎨⎧=-≠-∞=0

)()1()(,00)()1()(,)(k k k k k k k h P h h P h ττΛ 构成了正交投影算法

⎪⎪⎩

⎪⎪⎨⎧--=--=--+-=)1()]()([)()()1()()()1()()]

1(ˆ)()()[()1(ˆ)(ˆk k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI 算法初始值取P ()0=I 及∃()θ

ε0=(任定值)，且当0)()1()(=-k k k h P h τ时，令K ()k =0。 ② 第①种加权因子的选择显然是一种极端情况，算法的鲁棒性比较差。为了使算法具有较好的鲁棒性，可把第①种加权因子的选择修改为

⎩⎨⎧<-≥-=ε

εττ)()1()(,)()1()(,)(21k k k k k k k h P h h P h ΛΛΛ 其中ΛΛ120≥>,ε是指定的阀值。这时算法对数据作了不同的加权，但不排斥任何数据． ③ 按下式选择加权因子，意味着它是过去数据信息量的一种度量

⎪⎩

⎪⎨⎧=≠-=0)()(,00)()(,)()()()1()()(k k k k k k k k k k h h h h h h h P h ττττΛ ④ 如果由噪声、建模不准确等因素引起的误差上界已知，则可按下式选择加权因子

⎪⎪⎩⎪⎪⎨⎧><-+-->≥-+--=0)

()1()(1)]1(ˆ)()([,00)()1()(1)]1(ˆ)()([,1)(22

22∆∆Λk k k k k k z k k k k k k z k h P h h h P h h ττττθθ 5.10.2 遗忘因子法

遗忘因子算法通过对数据加遗忘因子的办法来降低老数据的信息量，为补充新数据的信息创造条件。取准则函数为

2])()([)(θμθτ∑=--=L

1k k L k k z J h

其中μ称遗忘因子，取值为01<<μ．极小化这个准则函数，可得到参数辨识算法：

**1**FF )(ˆL L L L z H H H τ

τθ-= 式中

⎪⎪⎪⎩⎪⎪⎪⎨⎧=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==----μ

βββββττττ

221*21*)()2()1()](,),2(),1([L L z z z L L L L L L h h h H z M Λ 这种参数辨识方法称作遗忘因子法，记作FF(Forgetting Factor algorithm)。如果遗忘因子μ=1，算法退化成普通最小二乘法。与推导加权最小二乘递推算法一样，同样可以推导出遗忘因子算法的递推计算形式

[]

⎪⎪⎩

⎪⎪⎨⎧--=+--=--+-=-)1()]()([1)()()1()()()1()()]

1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI μμ 式中遗忘因子μ可按下面的原则取值：

① 若要求T c 步后数据衰减至36%,则μ=-11T c ； ② μ取作时变因子μμμμ()()()k k =-+-0011，其中μμ0099

0095==.,().。 遗忘因子μ的取值大小对算法的性能会产生直接的影响。μ值增加时，算法的跟踪能力下降，但算法的鲁棒性增强；μ值减少时，算法的跟踪能力增强，但算法的鲁棒性下降，对噪声更显得敏感。

遗忘因子法和加权最小二乘算法主要的差别：

① 加权方式不同．加权最小二乘法各时刻权重是不相关的，也不随时间变化；遗忘因子

法各时刻权重是有关联的，满足ΛΛ()()k k =-1

1μ关系，各时刻权重的大小随时间变化，当

前时刻的权重总为1。

② 加权的效果不一样．加权最小二乘法获得的是系统的平均特性；遗忘因子法能实时跟踪系统明显的变化，具有跟踪能力。

③ 算法的协方差矩阵P (k )的内容不一样，两者的关系为P P FF WLS ()()()k k k =Λ。 和加权最小二乘递推算法一样，遗忘因子算法下的残差ε()k 与新息~()z k 关系：

)

()1()()(~)(k k k k z k h P h -+=τμμε 或

)(~)]()()(1[)(k z k k k k h P h τε-=

由此可推出准则函数J (k )的递推计算式：

⎥⎦⎤⎢⎣⎡+-+-=μμτ)()1()()(~)1()(2k k k k z k J k J h P h 式中)1(ˆ)()()(~--=k k k z k z θτh ， 是k 时刻的新息，它与k -1 时刻的参数估计值有关。

5.10.3 限定记忆法

限定记忆法依赖于有限长度的数据，每增加一个新的数据信息，就要去掉一个老数据的信息，数据长度始终保持不变。这种方法的参数估计递推算法如下：

[][]

⎪⎪

⎪⎪⎩⎪⎪⎪⎪⎨⎧-+++=++-++++-+=+-++-+++-+=++++=+++-+=+++-++-+=++--.)1,()](),([),()()1,()(1)()1,(),()]1,(ˆ)()()[,()1,(ˆ),(ˆ),()](),1([),1()(),()(1)(),(),1()]

,(ˆ)()()[,1(),(ˆ),1(ˆ11

L k k L k L k k L k k L k L k k L k L k L k k L k k L k k L k L k z L k k L k k L k k L k k k L k k L k k k L k k k k L k k L k k L k k k k z L k k L k k L k k P h K P h P h h P K h K P h K P h P h h P K h K ττττττθθθθθθ-I +I 算法前三个式子用于去掉老数据的信息，后三个式子用来增加新数据的信息，初始值取

P (,)∃(,),

00002==⎧⎨⎩a I ,θε 其中a 为充分大实数，ε 为充分小实向量．相应的准则函数递推计算式为：]

,)

()1,()(1)(~)(),()(1)(~)1,(),1(2221L k L k k L k L k z k L k k k k z L k k J L k k J +-++++++---+=++h P h h P h ττ 其中

⎪⎩⎪⎨⎧-++-+=++-=)1,(ˆ)()()(~),(ˆ)()()(~2

1L k k L k L k z L k z L k k k k z k z θθττh h 5.10.4 折息法