第八章—极大似然法辨识

i =1 i =1
, z (k − 1), u (0),
, u ( k − 1), θ )
p ( z (1), z (2),
L
, z ( L) | z (0),
, z (k − 1), u (0), u (1), u ( L − 1), θ )
L 1 − 2 1 − 2 2 v ⎛ 1 2 ⎞ ⎜ − 2 v (k )⎟ ⎜ 2σ ⎟ v ⎝ ⎠
x( L)] 表示随机变量
T
x 的L个观
则x在θ 条件下的似然函数为
L ⎡ ⎤ 2L L( xL | θ ) = ∏ p( x(k ) | θ ) = θ ∏ x(k ) exp ⎢ −θ ∑ x(k ) ⎥ ⎣ k =1 ⎦ k =1 k =1 L L
ln L( xL | θ ) = 2 L ln θ + ∑ ln x(k ) − θ ∑ x(k )
n n n 1 L 2 1 L ⎡ ⎤ L (θ ) = ∑ v (k ) + ∑ λ (k ) ⎢v(k ) + ∑ di v(k − i ) + ∑ bi u (k − i ) − z (k ) − ∑ ai z ( k − i ) ⎥ L k =1 L k =1 i =1 i =1 i =1 ⎣ ⎦
= ∏ p (v(k )) + const = const + ∏ (2π ) (σ ) e
k =1 k =1
= const + (2π ) (σ ) e
L − 2
L − 2 2 v
⎛ 1 ⎜− ⎜ 2σ 2 v ⎝
∑
⎞ v2 ( k ) ⎟ ⎟ k =1 ⎠
L
记：z L = [ z (1), z (2), uL −1 = [u (1), u (2),
,L ,L+n
λ ( j) 0
ˆ ˆ i.e. 2v( j ) + λ ( j ) + ∑ di λ ( j + i ) = 0
i =1 n
j = n + 1, n + 2, j = L + 1, L + 2,
,L
λ ( j) = 0
,L+n
L (θ )对λ (k )求导
ˆ ˆ ˆ ˆ v( k ) = z ( k ) + ∑ ai z ( k − i ) − ∑ bi u ( k − i ) − ∑ di v(k − i )
ML
ML
1 L 2 = ∑ v (k ) |θˆ = min ML L k =1
∆
问题等价为
（1）Lagrangian(拉格朗日)乘子法 考虑目标函数
1 L 2 V (θ ) = ∑ v ( k ) L k =1
n n n
在约束条件 v(k ) + ∑ di v(k − i) + ∑ biu (k − i) − z (k ) − ∑ ai z (k − i) = 0 i =1 i =1 i =1 的极小化问题。 k n+ 引进Lagrangian(拉格朗日)乘子 λ ( k ) ， = n + 1, n + 2, ,， L 构造Lagrangian函数
ˆ θ ML
ˆ θ ML
ˆ θ ML
必须进行搜索，使 L (θˆML ) = min：采用DFP（Davidon, Fletcher, Powell）变尺度法，搜索过程
流程图
给定初始状态
ˆ 计算 v ( k
)
计算 λ(k )
计算 g 和 p
(
)(
)
(
)(
)
dim(θ ) = na + nb
当数据长度L充分大时，两者将非常接近。
协方差阵未知时的极大似然参数估计
A( z −1 ) = C ( z −1 )
n ( k ) = e ( k ) / C ( z −1 )
A( z −1 ) z (k )ຫໍສະໝຸດ Baidu= B( z −1 )u (k ) + e(k ) e(k ) = D( z −1 )v(k )
L 1 L 2 L L 1 L 2 l ( z L | u L −1 , θ ) = const − log( ∑ v ( k )) − = const − log( ∑ v (k )) 2 L k =1 2 2 L k =1
l ( z L | uL −1 , θ ) |θˆ = max 等价于V (θ ) |θˆ
, u (L-1), θ )
, u (L-1), θ ) , u (L-2), θ )
× p (z (1)| z (0), u (0), θ ) =∏ p (z (k)| z (1),
k=1 L
, z (k-1), u (1), u (2),
n
, u (k-1), θ )
n
z ( k ) = − ∑ ai z ( k − i ) + ∑ bi u ( k − i ) + v( k ) + ∑ d i v ( k − i )
二、系统参数的极大似然估计
A( z −1 ) = C ( z −1 )
n ( k ) = e ( k ) / C ( z −1 )
A( z −1 ) z (k ) = B( z −1 )u (k ) + e(k ) e(k ) = D( z −1 )v(k )
v ( k ) 是零均值，方差为 σ v2 的服从正态分布的不相关
A D( z −1 ) 的所有零点均位于平面的单位圆内,且 ( z −1 )
1、极大似然估计
zL = H Lθ + eL
⎡ − z (0) ⎢ − z (1) HL = ⎢ ⎢ ⎢ ⎣ − z ( L − 1) − z (1 − n) − z (2 − n)
zL = [ z (1), z (2), eL = [e(1), e(2),
随机噪声； A( z −1 ) = 1 + a z −1 + 1
+ an z − n
−n
B ( z ) = b1 z +
−1
−1
−1
+ bn z
D ( z −1 ) = 1 + d1 z −1 +
B( z −1
−1
+ dn z −n
假设 A( z 和 ) ) 和 D( z ) 没有公共因子，这意味着系统是渐近稳定的。
i =1 i =1 i =1
n
p ( z (1), z (2),
L k =1
, z ( L) | z (0),
n i =1
, z (k − 1), u (0), u (1), u ( L − 1), θ )
n n
= ∏ p (v( k ) − ∑ ai z (k − i ) + ∑ bi u ( k − i ) + ∑ di v(k − i ) | z (0),
有约束条件的极值问题转化为无约束条件的 Lagrangian函数极值问题
L (θ )对v( j )求导
n ∂L (θ ) 2 1⎡ ⎤ ˆ ˆ = v( j ) + ⎢λ ( j ) + ∑ di λ ( j + i ) ⎥ = 0 L⎣ ∂v( j ) θˆML L i =1 ⎦
j = n + 1, n + 2, j = L + 1, L + 2,
v ( k ) = z ( k ) + ∑ ai z ( k − i ) − ∑ bi u ( k − i ) − ∑ d i v( k − i )
i =1 i =1 i =1
n
n
n
∂l ( z L | u L −1 , θ ) L 1 L 2 1 L 2 2 ˆ =− 2 + v (k ) ⇒ σ v = ∑ v (k ) 2 4 ∑ ∂σ v 2σ v 2σ v k =1 L k =1
设 xL = [ x(1) 值向量
L
x(2)
x( L)] 表示随机变量 x的L个观测
T
⎡ 1 L 2 ⎤ L ( xL | a ) = ∏ p ( x ( k ) | a ) = ( ) L a −3 L ∏ x 2 (k ) exp ⎢ − 2 ∑ x (k ) ⎥ π ⎣ a k =1 ⎦ k =1 k =1 L 4 1 L 2 2 − 3L ln a + ln ∏ x (k ) − 2 ∑ x (k ) ln L( xL | a ) = L ln a k =1 π k =1 4
, z ( L)]T
, u ( L − 1)]T
v 2 (k ) ∑
k =1 L
l ( z L | uL −1 , θ ) = log L( z L | uL −1 , θ ) = log p ( z L | uL −1 , θ ) L L 1 2 = const − log 2π − log σ v − 2 2 2 2σ v
dl = 0
(l < 0
或
l > n)
E {e(1)e( L)} ⎤ ⎥ E {e(2)e( L)} ⎥ ⎥ ⎥ E {e( L)e( L)}⎥ ⎦
讨论：
T 1 ˆ ˆ σ = z L − H Lθ ML z L − H LθˆML L T 1 2 ˆ ˆ ˆ z L − H Lθ LS z L − H Lθ LS σ eLS= L − dim(θ ) 2 eML
i =1 i =1 i =1 n n n
L (θ )对θ 求导
∂L (θ ) ∂a j ∂L (θ ) ∂b j ∂L (θ ) ∂d j 1 L = − ∑ λ (k ) z (k − j ) = 0 L k = n +1 1 L = ∑ λ (k )u (k − j ) = 0 L k = n +1 1 L ˆ = ∑ λ ( k )v ( k − j ) = 0 L k = n +1 j = 1, 2, ,n
E { x 2 } = ∫ x 2 p( x | a)dx = ∫
0 0
∞
∞
4x4
x2 3 2 exp(− 2 )dx = a 3 a 2 πa
ˆ E {aML } = a，无偏估计
ˆ 又 ∵ lim aML →
N →∞ a. s.
2 E { x 2 } = a，一致性估计 3
上两例说明已知随机变量观测值的概率密 度函数，可以很容易地求出参数的极大似 然估计。 一般地，极大似然估计量都具有良好的渐 近性质和无偏性。但需要指出的是，渐近 性质是极大似然估计量的普遍特性，而无 偏性却不是所有极大似然估计量都具备的 性质。
k =1 k =1
L
L
∂ ln L( xL | θ ) 2 L L = − ∑ x(k ) = 0 ∂θ θ k =1
θˆ
ML
=
2L
∑ x(k )
k =1
L
∂ 2 ln L( xL | θ ) L 又∵ |θˆ = − 2 < 0 ML ∂θ 2 θˆ ML
故 θˆML 使似然函数达到了最大值。因此θˆML 是 θ 参数的极大似然估计。
l =0
+ d n v ( k − n)
E {e(k )e(k − j )} = ∑ dl dl − jσ v2 d0 1;
⎡ E {e(1)e(1)} E {e(1)e(2)} ⎢ T ⎢ E {e(2)e(1)} E {e(2)e(2)} Σ e = E {eL eL } = ⎢ ⎢ ⎢ E {e( L)e(1)} E {e( L)e(2)} ⎣
第八章 极大似然法辨识
极大似然参数估计方法是以观测值的 出现概率为最大作为准则的。 方法 1.构造一个似然函数:此似然函数以 数据和未知参数为自变量 2.极大化似然函数——〉得到未知参 数 前提 1.要求知道输出变量的条件概率密度
一、 极大似然原理
极大似然原理的意义：
设 xL = [ x(1) x(2) 测值向量
L
∂ ln L( xL | a ) 3L 2 L 2 =− + 3 ∑ x (k ) = 0 ∂a a a k =1
∵ x是独立同分布随机变量，有 2 L 2 L 2 2 2 ˆML } = E {a E { x (k )} = E {x } = E {x2} ∑ ∑ 3L k =1 3L k =1 3
v ( k ) 是零均值，方差为 σ v2 的服从正态分布的白噪声；
独立观测获得L组数据:
{u ( k ), z ( k )}
k = 1, 2,
,L
p (z (1), z (2), = p (z (L)| z (1), × p (z (L-1)| z (1), ×
, z (L)| z (0), u (0), u (1), u (2), , z (L-1), u (1), u (2), , z (L-2), u (1), u (2),
u (1 − n) ⎤ u (2 − n) ⎥ ⎥ ⎥ ⎥ u ( L − n) ⎦
, z ( L)]T , e( L)]
T
θ = [a1 , , an , b1 , , bn ]T
u (0) u (1)
− z ( L − n) u ( L − 1)
n
e( k ) = v ( k ) + d1v ( k − 1) +