第7章 极大似然法和预报误差方法教材

• 的极大似然估计就是使 p(zL | ) | max 的
参数估计值
ML
8
即有
或
p(
zL
|
)
ML
0
log
p(zL
|
)
ML
0
9
显然对一组确定的数据 zL
p(zL | ) 只是参数 的函数，已不再是概率密 度函数
这时的 p(zL | ) 称作 的似然函数
以示区别有时记作 L(zL | ) 概率密度函数和似然函数有着不同的物理意义,
噪声模型已知的情形（已知）
将模型（C）写成最小二乘格式：
z L
H
θ
L
e
L
其中：
z L
[z(1), z(2),, z(L)]
e L
[e(1), e(2),, e( L)]
θ [a1, a2,, an ,b1,b2,,bn ]
z(0) z(1 n) u(0) u(1 n)
HL
z(1)
预报误差法——需要事先确定一个预报误差准则函 数，并利用预报误差的信息来确定模型的参数。
4
• 意味着
– 模型输出的概率分布将最大可能地逼近实际过程输 出的概率分布
– 通常要求具有能够写出输出量的条件概率密度函数 的先验知识
– 独立观测的条件下，必须知道输出量的概率分布
– 在序贯观测的条件下，需要确定基于 k 时刻以前
• 极大似然法
– 基本思想与最小二乘法和梯度校正法完全不同
3
极大似然法—— 需要构造一个以数据和未知参数 为自变量的似然函数，通过极大化似然函数获得模 型的参数估计值。模型输出的概率分布将最大可能 地逼近实际过程输出的概率分布。为此极大似然法 通常要求具有能够写出输出量的条件概率密度函数 的先验知识。在独立观测条件下，必须知道输出量 的概率分布；在序贯观测的条件下，则需要确定基 于k时刻以前的数据在k+1时刻输出量的条件概率分 布。
我们称
I (θ0,θ)
ˆ
E{log
p(zθ0 )}
E{log
p(zθ)}
Elog
p(zθ0 ) p(zθ)
为Kullback－Leibler信息测度。可以证明：
I (θ0,θ) 0
7.2.2 动态过程模型参数的极大似然估计
• 考虑以下模型：
A(z1)z(k) B(z1)u(k) e(k)
E{e
e
L
L
}
，则由v(k)的
正态性，可知：
z L
~
N
(
H
θ
L
,
e )
因此，有：
p(z Lθ)
ຫໍສະໝຸດ Baidu
(2
L
)2
1
(dete ) 2
exp
1 2
(z L
H Lθ)
e1(z L
H Lθ)
对应的对数似然函数为：
l(z Lθ) log p(z Lθ)
L 2
log(2
)
1 2
log(dete )
1 2
(z L
H Lθ)
e1(z L
H Lθ)
由极大似然原理可得：
θˆ ML
(HL e1HL )1 HL e1zL
并且
2l(z Lθ) θ2
ˆML
0
因是此参（数θD）的式M给a出rk了ov参估数计的。极大似然估计值。此时的θˆM
恰好
L
如果 e
2 e
I
，则 θˆ ML
(
H
L
H
L
)1
H
z
L
L
此时，参数θ 的极大似然估计和最小二乘估计是等价的。
e(k )
D( z 1 )v(k )
•
其中：v(k ) 是均值为零，方差为
2 v
的服从正态分布的白噪
声。令：
A( z 1 ) B( z 1 )
1 a1z1 a2 z2 an zn b1z1 b2 z2 bn zn
D( z 1 )
1
d1z 1
d2z2
dnzn
• 且假定过程是渐近稳定的，即 A(z1) 、B(z1) 和 D(z1) 没 有公共因子，且 A(z1) 和 D(z1) 的零点都位于z平面的 单位圆内。
z(2 n)
u(1)
u(2 n)
z(L 1) z(L n) u(L 1) u(L n)
因为：e(k) v(k) d1v(k 1) dnv(k n)
则有 E{e(k)e(k
j)}
n i0
dl
d
l
j
2 v
d0 ˆ 1; dl 0 (l 0 or l n)
记噪声e(k)的协方差阵为 e
但数学表达式是一致的
L(zL | ) p(zL | )
10
极大似然原理的数学表示
或
L( z L
|
)
ML
0
log L(zL
| )
ML
0
– log L(zL |-) 对数似然函数
–
ML
- 极大似然参数估计值
– 使得似然函数或对数似然函数达到最大值
11
物理意义（极大似然原理的数学表现）
– 对一组确定的随机序列 zL
– 设法找到参数估计值
ML
–
使得随机变量
z在
大可能地逼近随机变量
条件下的概率密度函数最
ML z在 （真0 值）条件下的
概率密度函数
max
p(z | ML) p(z |0)
– 上式反映极大似然原理的本质，但数学上不好实1现2
Kullback－Leibler信息测度：
第7章 极大似然法和预报误差方法
1
7.1 引言
• 极大似然法
– 一种非常有用的传统估计方法 – 由 Fisher 发展起来的 – 基本思想可追溯到高斯（1809 年） – 用于动态过程辩识可以获得良好的估计性质
2
• 最小二乘法和梯度校正法
– 计算简单 – 参数估计具有优良的统计性质 – 噪声的先验知识要求也不高
的数据在 (k 1)时刻输出量的条件概率分布
5
• 预报误差方法
– 需要事先确定一个预报误差准则函数 – 利用预报误差的信息来确定模型的参数 – 某种意义上
• 与极大似然法等价的 • 或极大似然法的一种推广
6
• 极大似然法和预报误差方法
– 优点：参数估计量具有良好的渐近性质 – 缺点：计算量比较大
7
7.2 极大似然参数估计辨识方法
7.2.1 极大似然原理
• 设 z 是一个随机变量 – 在参数 条件下 z 的概率密度函数为 p(z | )
– z 的 L 个观测值构成一个随机序列 {z(k)}
• L 个观测值记作 zL z(1), z(2), , z(L)
z • 则 L 的联合概率密度为 p(zL | )
对噪声方差的极大似然估计：
ˆe2
1 L
(z
L
H
θˆ
L ML
)
(z
L
H
θˆ
L ML
)
对噪声方差的最小二乘估计：
ˆ
2 e
L
1
dimθ
(z
L
H
θˆ
L LS
) (z L
H
θˆ
L LS
)
噪声模型未知的情形（未知）
此时，令
e(k) v(k) d1v(k 1) dnv(k n)
θ [a1, a2 ,, an ,b1,b2 ,,bn , d1, d2 ,, dn ]