最小二乘参数辨识方法

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

《系统辨识基础》第17讲要点
第5章 最小二乘参数辨识方法
5.9 最小二乘递推算法的逆问题
辨识是在状态可测的情况下讨论模型的参数估计问题,滤波是在模型参数已知的情况下讨论状态估计问题,两者互为逆问题。

5.10 最小二乘递推算法的几种变形
最小二乘递推算法有多种不同的变形,常用的有七种情况:
① 基于数据所含的信息内容不同,对数据进行有选择性的加权; ② 在认为新近的数据更有价值的假设下,逐步丢弃过去的数据; ③ 只用有限长度的数据;
④ 加权方式既考虑平均特性又考虑跟综能力; ⑤ 在不同的时刻,重调协方差阵P (k ); ⑥ 设法防止协方差阵P (k )趋于零; 5.10.1 选择性加权最小二乘法 把加权最小二乘递推算法改写成
[]
⎪⎪⎩
⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()()1()()()]1(ˆ)()()[()1(ˆ)(ˆ1
k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K ττ
τ
θθθI ΛΛ
算法中引进加权因子,其目的是便于考虑观测数据的可信度.选择不同的加权方式对算法的
性质会有影响,下面是几种特殊的选择:
① 一种有趣的情况是Λ()k 取得很大,在极限情况下,算法就退化成正交投影算法。

也就是说,当选择
⎩⎨⎧=-≠-∞=0
)()1()(,00
)()1()(,)(k k k k k k k h P h h P h τ
τΛ 构成了正交投影算法
⎪⎪

⎪⎪⎨⎧--=--=--+-=)1()]()([)()()1()()()1()()]
1(ˆ)()()[()1(ˆ)(ˆk k k k k k k k k k k k k z k k k P h K P h P h h P K h K τ
τ
τ
θθθI 算法初始值取P ()0=I 及 ()θ
ε0=(任定值),且当0)()1()(=-k k k h P h τ时,令K ()k =0。

② 第①种加权因子的选择显然是一种极端情况,算法的鲁棒性比较差。

为了使算法具有较好的鲁棒性,可把第①种加权因子的选择修改为
⎩⎨⎧<-≥-=ε
ε
τ
τ)()1()(,)()1()(,)(21k k k k k k k h P h h P h ΛΛΛ 其中ΛΛ120≥>,ε是指定的阀值。

这时算法对数据作了不同的加权,但不排斥任何数据. ③ 按下式选择加权因子,意味着它是过去数据信息量的一种度量
⎪⎩
⎪⎨⎧=≠-=0)()(,00)()(,)
()()()1()()(k k k k k k k k k k h h h h h h h P h ττ
τ
τΛ ④ 如果由噪声、建模不准确等因素引起的误差上界已知,则可按下式选择加权因子
⎪⎪⎩⎪⎪⎨
⎧><-+-->≥-+--=0)
()1()(1)]1(ˆ
)()([,00)
()1()(1)]1(ˆ)()([,1)(22
22
∆∆Λk k k k k k z k k k k k k z k h P h h h P h h τ
τττθθ 5.10.2 遗忘因子法
遗忘因子算法通过对数据加遗忘因子的办法来降低老数据的信息量,为补充新数据的信息创造条件。

取准则函数为
2
]
)()([)(θμ
θτ∑=--=
L
1
k k
L k k z J h
其中μ称遗忘因子,取值为01<<μ.极小化这个准则函数,可得到参数辨识算法:
*
*1
**FF )

L L
L
L
z H
H H
ττθ-=
式中
⎪⎪⎪
⎩⎪⎪⎪⎨⎧=⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡=
=----μ
βββββττττ2
21*21*)()2()1()](,),2(),1([L L z z z L L L L L L h h h H z
这种参数辨识方法称作遗忘因子法,记作FF(Forgetting Factor algorithm)。

如果遗忘因子μ=1,算法退化成普通最小二乘法。

与推导加权最小二乘递推算法一样,同样可以推导出遗忘因子算法的递推计算形式
[]

⎪⎩
⎪⎪

⎧--=+--=--+-=-)1()]()([1)()()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τ
τ
τ
θθθI μμ
式中遗忘因子μ可按下面的原则取值: ① 若要求T c 步后数据衰减至36%,则μ=-
11T c

② μ取作时变因子μμμμ()()()k k =-+-0011,其中μμ00990095==.,().。

遗忘因子μ的取值大小对算法的性能会产生直接的影响。

μ值增加时,算法的跟踪能力下降,但算法的鲁棒性增强;μ值减少时,算法的跟踪能力增强,但算法的鲁棒性下降,对噪声更显得敏感。

遗忘因子法和加权最小二乘算法主要的差别:
① 加权方式不同.加权最小二乘法各时刻权重是不相关的,也不随时间变化;遗忘因子
法各时刻权重是有关联的,满足ΛΛ()()k k =
-1

关系,各时刻权重的大小随时间变化,当
前时刻的权重总为1。

② 加权的效果不一样.加权最小二乘法获得的是系统的平均特性;遗忘因子法能实时跟踪系统明显的变化,具有跟踪能力。

③ 算法的协方差矩阵P (k )的内容不一样,两者的关系为P P FF WLS ()()()k k k =Λ。

和加权最小二乘递推算法一样,遗忘因子算法下的残差ε()k 与新息~()z k 关系:
)
()1()()
(~)(k k k k z k h P h -+=
τ
μμε

)(~)]()()(1[)(k z k k k k h P h τ
ε-=
由此可推出准则函数J (k )的递推计算式:
⎥⎦⎤⎢⎣
⎡+-+-=μμτ
)()1()()
(~)1()(2k k k k z k J k J h P h
式中)1(ˆ
)()()(~--=k k k z k z θτ
h , 是k 时刻的新息,它与k -1 时刻的参数估计值有关。

5.10.3 限定记忆法
限定记忆法依赖于有限长度的数据,每增加一个新的数据信息,就要去掉一个老数据的信息,数据长度始终保持不变。

这种方法的参数估计递推算法如下:
[]
[]
⎪⎪
⎪⎪⎩
⎪⎪⎪⎪⎨⎧-+++=++-++++-+=+-++-+++-+=++++=+++-+=+++-++-+=++--.)1,()](),([),()()1,()(1)()1,(),()]1,(ˆ)()()[,()1,(ˆ),(ˆ),()](),1([),1()(),()(1)(),(),1()]
,(ˆ)()()[,1(),(ˆ),1(ˆ11
L k k L k L k k L k k L k L k k L k L k L k k L k k L k k L k L k z L k k L k k L k k L k k k L k k L k k k L k k k k L k k L k k L k k k k z L k k L k k L k k P h K P h P h h P K h K P h K P h P h h P K h K τττ
τ
ττ
θθθθθθ-I +I 算法前三个式子用于去掉老数据的信息,后三个式子用来增加新数据的信息,初始值取
P (,)
(,),
00002==⎧⎨⎩a I ,
θε 其中a 为充分大实数,ε 为充分小实向量.相应的准则函数递推计算式为:]
,
)
()1,()(1)
(~)
(),()(1)
(~)1,(),1(2221L k L k k L k L k z k L k k k k z L k k J L k k J +-+++++
+--
-+=++h P h h P h τ
τ
其中
⎪⎩⎪⎨⎧-++-+=++-=)
1,(ˆ)()()(~
)
,(ˆ)()()(~21L k k L k L k z L k z L k k k k z k z θθτ
τ
h h 5.10.4 折息法
折息法把加权最小二乘法和遗忘因子法融合起来,形成如下算法:
⎪⎪⎪



⎪⎨⎧--=⎥
⎦⎤⎢⎣⎡+--=--+-=-)1()]()([)(1)()()()()1()()()1()()]
1(ˆ
)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τ
ττθθθI μμΛ
折息因子与加权因子和遗忘因子之间的关系为ΓΛ(,)()()k i i j j i k
==+∏μ1
,当遗忘因子取常数
时,折息因子又可表示成ΓΛ(,)()k i i k i =-μ。

折息法同时具备加权最小二乘法和遗忘因子法的
作用,既可获得系统的平均特性,又具有时变跟踪能力。

5.10.5 协方差重调最小二乘法 在辨识递推计算过程中,协方差矩阵P (k )衰减很快,此时算法的增益矩阵K (k )也急剧衰减。

这种现象的出现,促使人们去考虑一种修正的方案,即在指定的时刻重新调整协方差矩阵P (k ),使算法始终保持较快的收敛速度。

这种协方差重调的最小二乘算法描述如下:
[]
⎪⎪⎩
⎪⎪

⎧--=+--=--+-=-)1()]()([)(1)()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆ1T
k k k k k k k k k k k k k z k k k P h K P h P h h P K h K ττ
θθθI 当k k k k l ∉{,,,}12 时,P (k )按上式算法计算;当k k k k k i l =∈{,,,}12 时,把P (k )重调
为P ()k a i i =I , 0<a m i n ≤≤<∞a a i max 。

5.10.6 协方差修正最小二乘法 对时变系统辨识来说,为了防止矩阵P (k )趋于零,当参数估计值超过某阀值时,矩阵P (k )自动加上附加项Q , 具体算法如下:
[]

⎪⎩⎪⎪⎨
⎧≥+=--=+--=--+-=-0
I Q Q P P P h K P h P h h P K h K ,)()()1()]()([)(1)()1()()()1()()]
1(ˆ)()()[()1(ˆ)(ˆ1
k k k k k k k k k k k k k k k z k k k τ
ττ
θθθ。

相关文档
最新文档