极大似然参数辨识方法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
极大似然参数辨识方法-CAL-FENGHAI.-(YICAI)-Company One1
2 极大似然参数辨识方法
极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。 极大似然原理
设有离散随机过程}{k V 与未知参数θ有关，假定已知概率分布密度
)(θk V f 。如果我们得到n 个独立的观测值,21,V V …n V ,，则可得分布密度
)(1θV f ，)(2θV f ，…,)(θn V f 。要求根据这些观测值来估计未知参数θ，估计的准则是观测值{}{k V }的出现概率为最大。为此，定义一个似然函数
)
()()(),,,(2121θθθθn n V f V f V f V V V L = （2.1.1）
上式的右边是n 个概率密度函数的连乘，似然函数L 是θ的函数。如果L 达到极大值，}{k V 的出现概率为最大。因此，极大似然法的实质就是求出使L 达到极大值的θ的估值∧θ。为了便于求∧
θ，对式（2.1.1）等号两边取对数，则把连乘变成连加，即
∑==n
i i V f L 1)(ln ln θ （2.1.2）
由于对数函数是单调递增函数，当L 取极大值时，lnL 也同时取极大值。求式（2.1.2）对θ的偏导数，令偏导数为0，可得
0ln =∂∂θL
（2.1.3）
解上式可得θ的极大似然估计ML ∧
θ。 系统参数的极大似然估计
设系统的差分方程为
)()()()()(11k k u z b k y z a ξ+=-- （2.2.1）
式中
111()1...n
n a z a z a z ---=+++
1101()...n
n b z b b z b z ---=+++
因为)(k ξ是相关随机向量，故（2.2.1）可写成
)()()()()()(111k z c k u z b k y z a ε---+= （2.2.2）
式中
)()()(1k k z c ξε=- （2.2.3） n n z c z c z c ---+++= 1111)( （2.2.4）
)(k ε是均值为0的高斯分布白噪声序列。多项式)(1-z a ，)(1-z b 和)(1-z c 中的系数n n c c b b a a ,,,,,10,1和序列)}({k ε的均方差σ都是未知参数。
设待估参数
n a a 1[=θ n b b 0 ]T
n c c 1 （2.2.5）
并设)(k y 的预测值为
+-+++-----=∧
∧
∧
∧
∧
)()()()1()(01n k u b k u b n k y a k y a k y n n
)()1(1n k e c k e c n -++-∧
∧ （2.2.6）
式中)(i k e -为预测误差；i a ∧
，i b ∧
，i c ∧
为i a ，i b ，i c 的估值。预测误差可表示为
+-+-⎢⎣⎡--=-=∑∑=∧
=∧
∧
)()()()()()(01
i k u b i k y a k y k y k y k e n i i n i i
-+++-+++=⎥⎦⎤--∧-∧∧-∧-∧=∧∑)()()()1()(1
10111k u z b z b b k y z a z a i k e c n n n n n
i i )()(2
21
1k e z c z c z c n n -∧
-∧
-∧
+++ （2.2.7）
或者
)()1(1
1k e z c z c n
n -∧
-∧
+++ =-+++-∧
-∧
)()1(1
1k y z a z a n n
)()(1
10k u z b z b b n n -∧
-∧
∧+++ （2.2.8）
因此预测误差{})(k e 满足关系式
)()()()()()(11
1
k u z b k y z a k e z c -∧
-∧
-∧
-= （2.2.9）
式中
n n z a z a z a -∧
-∧
-∧
+++= 1
11
1)( n n z b z b b z b -∧
-∧
∧
-∧
+++= 1
101
)( n n z c z c z c -∧
-∧
-∧
+++= 1
11
1)(
假定预测误差)(k e 服从均值为0的高斯分布，并设序列{})(k e 具有相同的方差2
σ。因为{})(k e 与)(1
-∧
z c ，)(1
-∧
z a 和)(1-∧
z b 有关，所以2σ是被估参数θ的函
数。为了书写方便，把式（2.2.9）写成
)()()()()()(111k u z b k y z a k e z c ----= （2.2.10）
-------++-+= )1()1()()1()()(101k u b k u b n k y a k y a k y k e n
,2,1),()1()(1++=------n n k n k c k e c n k u b n n （2.2.11）