第7章 极大似然法和预报误差方法
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p( z ( L) z (1), z (2),, z ( L 1),u (1),u (2),, u ( L 1), θ) p( z ( L 1) z (1), z (2),, z ( L 2),u (1),u (2),, u ( L 1), θ) p( z (1) z (0),u (0), θ) p( z (k ) z (1), z (2),, z (k 1),u (1),u (2),, u (k 1), θ)
ML
的极大似然估计就是使 参数估计值
的
8
即有
p ( z L | ) 0 ML
或
log p( z L | ) 0 ML
9
显然对一组确定的数据 z L
p( z L | ) 只是参数 的函数，已不再是概率密
k 1 L
根据考察的模型（C），有：
n n i 1 i 1
z (k ) ai z (k i) biu (k i) v(k ) di v(k i)
i 1
n
将此式代入到上式，我们有：
p( z (1), z (2),, z ( L) u (1),u (2),, u ( L 1), θ)
ˆ 必须使 θ 再次利用极大似然原理，参数θ 的极大似然估计 ML 得：
l (z L u L 1, θ) θ max ˆ
ML
令：
1 L 2 V( θ) v (k ) L k 1
（G ）
则这等价于使得
L 1 2 ˆ ) V( θ v (k ) θ min ˆ ML ML L k 1
4
• 意味着
– 模型输出的概率分布将最大可能地逼近实际过程输 出的概率分布 – 通常要求具有能够写出输出量的条件概率密度函数 的先验知识 – 独立观测的条件下，必须知道输出量的概率分布
– 在序贯观测的条件下，需要确定基于 k 时刻以前 的数据在 (k 1)时刻输出量的条件概率分布 5
• 预报误差方法
• 考虑以下模型：
A( z 1 ) z (k ) B( z 1 )u (k ) e(k ) 1 e ( k ) D ( z )v ( k )
v(k ) 是均值为零，方差为 • 其中： 声。令：
2 v 的服从正态分布的白噪
A( z 1 ) 1 a1 z 1 a2 z 2 an z n 1 1 2 n B ( z ) b z b z b z 1 2 n D( z 1 ) 1 d z 1 d z 2 d z n 1 2 n
ˆ (H 1H )1 H 1z θ ML L e L L e L
并且
2l (z Lθ) θ
2 ˆ ML
0
ˆ 恰好 因此（D）式给出了参数的极大似然估计值。此时的θ ML 是参数θ 的Markov估计。 2 如果 e e I ，则 θ ˆ (H H )1 H z
ML
– 使得随机变量 z 在 ML 条件下的概率密度函数最 大可能地逼近随机变量 在 （真值）条件下的 0 z 概率密度函数
p( z | ML ) p( z | 0 )
– 上式反映极大似然原理的本质，但数学上不好实现 12
max
Kullback－Leibler信息测度： 我们称
z L ~ N (H L θ , e )
因此，有：
1 1 p(z Lθ) (2 ) (det e ) exp (z L H L θ) e (z L H L θ) 2
L 2 1 2
对应的对数似然函数为：
l (z Lθ) log p(z Lθ) L 1 1 1 log(2 ) log(dete ) (z L H L θ) e (z L H L θ) 2 2 2 由极大似然原理可得：
度函数 这时的 p( z L | ) 称作 的似然函数
以示区别有时记作 L( z L | )
概率密度函数和似然函数有着不同的物理意义,
但数学表达式是一致的
L( zL | ) p( zL | )
10
极大似然原理的数学表示
L( z L | ) 0 ML
第7章 极大似然法和预报误差方法
1
7.1 引言
• 极大似然法
– 一种非常有用的传统估计方法 – 由 Fisher 发展起来的 – 基本思想可追溯到高斯（1809 年） – 用于动态过程辩识可以获得良好的估计性质
2
• 最小二乘法和梯度校正法
– 计算简单 – 参数估计具有优良的统计性质 – 噪声的先验知识要求也不高
• 极大似然法
– 基本思想与最小二乘法和梯度校正法完全不同
3
极大似然法—— 需要构造一个以数据和未知参数 为自变量的似然函数，通过极大化似然函数获得模 型的参数估计值。模型输出的概率分布将最大可能 地逼近实际过程输出的概率分布。为此极大似然法 通常要求具有能够写出输出量的条件概率密度函数 的先验知识。在独立观测条件下，必须知道输出量 的概率分布；在序贯观测的条件下，则需要确定基 于k时刻以前的数据在k+1时刻输出量的条件概率分 布。 预报误差法——需要事先确定一个预报误差准则函 数，并利用预报误差的信息来确定模型的参数。
ML L L L L
此时，参数θ 的极大似然估计和最小二乘估计是等价的。
对噪声方差的极大似然估计：
1 ˆ ˆ ) ˆ (z L H L θML ) (z L H L θ ML L
2 e
对噪声方差的最小二乘估计：
1 ˆ ) (z H θ ˆ ˆ (z L H L θ LS L L LS ) L dimθ
由于当观测至k时刻时，k-1时刻以前的z(•)、u(•)和v(•)都已 经确定，且v(k)与 z (1), z (2),, z (k 1),u(1),u(2),, u(k 1) 及 θ 无关，因此上式可以写成：
p( z (1), z (2),, z ( L) u (1),u (2),, u ( L 1), θ) p(v(k )) const
L L L 1 2 log(2 ) log v2 v (k ) const 2 2 2 2 v k 1
（E）
其中满足：
v(k ) z (k ) ai z (k i) biu (k i) di v(k i)
i 1 i 1 i 1 n n n
或
log L( z L | ) 0 ML
– log L( z L | -) 对数似然函数 –
ML - 极大似然参数估计值
11
– 使得似然函数或对数似然函数达到最大值
物理意义（极大似然原理的数学表现）
– 对一组确定的随机序列
zL
– 设法找到参数估计值
n n n p v(k ) ai z (k i) biu (k i) di v(k i) i 1 i 1 i 1 k 1 L
z (1), z (2),, z (k 1),u (1),u (2),, u (k 1), θ
z z
•
是一个随机变量
– 在参数 条件下 –
z
的概率密度函数为 p( z | )
的 L 个观测值构成一个随机序列 {z (k )}
L
个观测值记作
zL z(1), z(2), , z(L)
• 则 •
zL
的联合概率密度为
p( z L | )
p( z L | ) | max
2 e
噪声模型未知的情形（未知）
e(k ) v(k ) d1v(k 1) dnv(k n)
此时，令
θ [a1, a2 ,, an , b1, b2 ,, bn , d1, d2 ,, dn ]
在独立观测的前提下，当获得L组输入输出数据 u(k ), z(k ) 后，在给定的参数θ 和输入信号u(1),u(2),, u( L 1)的 条件下， z (1), z (2),, z ( L) 的联合概率密度函数可 写成：p( z (1), z (2),, z ( L) u (1),u (2),, u ( L 1),θ)
z (0) z (1) HL z ( L 1) z (1 n) u (0) z ( 2 n) u (1) z ( L n) u ( L 1) u (1 n) u ( 2 n) u ( L n)
p ( zθ0 ) I( θ0 , θ) ˆ E{log p( zθ0 )} E{log p ( zθ)} E log p( zθ)
为Kullback－Leibler信息测度。可以证明：
I( θ0 , θ) 0
7.2.2 动态过程模型参数的极大似然估计
1 1 B( z 1 ) 和 D( z ) 没 • 且假定过程是渐近稳定的，即 A( z ) 、 1 1 A ( z ) D ( z ) 的零点都位于z平面的 有公共因子，且 和 单位圆内。
噪声模型已知的情形（已知）
将模型（C）写成最小二乘格式：
zL HL θ eL
其中：
z L [ z (1), z (2),, z ( L)] e L [e(1), e(2),, e( L)] θ [a1 , a2 ,, an , b1 , b2 ,, bn ]
（F）
利用极大似然原理，由
l (z L u L 1 , θ)
2 v
2 ˆv
0
2 得噪声方差 v 的极大似然估计：
L 1 ˆ v2 v 2 (k ) L k 1
பைடு நூலகம்
将此式代入（E），可得：
L 1 L 2 l (z L u L 1 , θ) log v (k ) const 2 L k 1
– 需要事先确定一个预报误差准则函数 – 利用预报误差的信息来确定模型的参数 – 某种意义上
• 与极大似然法等价的 • 或极大似然法的一种推广
6
• 极大似然法和预报误差方法
– 优点：参数估计量具有良好的渐近性质 – 缺点：计算量比较大
7
7.2 极大似然参数估计辨识方法
7.2.1 极大似然原理
• 设
k 1 L L
(2 ) ( )
2 v L 2 k 1
1 2
1 2
1 2 exp v (k ) const 2 2 v
(2 ) ( v2 )
L 2
1 L 2 exp v (k ) const 2 2 v k 1
e(k ) v(k ) d1v(k 1) dnv(k n) 因为：
n 2 则有 E{e(k )e(k j )} dl dl j v i 0 ˆ 1; dl 0 (l 0 or l n) d0
E { e e 记噪声e(k)的协方差阵为 e L L } ，则由v(k)的 正态性，可知：
记：
z L [ z (1), z (2),, z ( L)] u L 1 [u (1),u (2),, u ( L 1)]
则有对数似然函数：
l (z L u L 1 , θ) log L(z L u L 1 , θ) log p(z L u L 1 , θ)
（H）
其中v(k)满足（F）的约束条件。
结论：在 e 未知的情形下，求模型（C）的参 数的极大似然估计等价于以下带有约束条件的优 化问题：优化的目标函数为（G），约束条件为 （F）。同时噪声方差 v2 的极大似然估计值为
ML
的极大似然估计就是使 参数估计值
的
8
即有
p ( z L | ) 0 ML
或
log p( z L | ) 0 ML
9
显然对一组确定的数据 z L
p( z L | ) 只是参数 的函数，已不再是概率密
k 1 L
根据考察的模型（C），有：
n n i 1 i 1
z (k ) ai z (k i) biu (k i) v(k ) di v(k i)
i 1
n
将此式代入到上式，我们有：
p( z (1), z (2),, z ( L) u (1),u (2),, u ( L 1), θ)
ˆ 必须使 θ 再次利用极大似然原理，参数θ 的极大似然估计 ML 得：
l (z L u L 1, θ) θ max ˆ
ML
令：
1 L 2 V( θ) v (k ) L k 1
（G ）
则这等价于使得
L 1 2 ˆ ) V( θ v (k ) θ min ˆ ML ML L k 1
4
• 意味着
– 模型输出的概率分布将最大可能地逼近实际过程输 出的概率分布 – 通常要求具有能够写出输出量的条件概率密度函数 的先验知识 – 独立观测的条件下，必须知道输出量的概率分布
– 在序贯观测的条件下，需要确定基于 k 时刻以前 的数据在 (k 1)时刻输出量的条件概率分布 5
• 预报误差方法
• 考虑以下模型：
A( z 1 ) z (k ) B( z 1 )u (k ) e(k ) 1 e ( k ) D ( z )v ( k )
v(k ) 是均值为零，方差为 • 其中： 声。令：
2 v 的服从正态分布的白噪
A( z 1 ) 1 a1 z 1 a2 z 2 an z n 1 1 2 n B ( z ) b z b z b z 1 2 n D( z 1 ) 1 d z 1 d z 2 d z n 1 2 n
ˆ (H 1H )1 H 1z θ ML L e L L e L
并且
2l (z Lθ) θ
2 ˆ ML
0
ˆ 恰好 因此（D）式给出了参数的极大似然估计值。此时的θ ML 是参数θ 的Markov估计。 2 如果 e e I ，则 θ ˆ (H H )1 H z
ML
– 使得随机变量 z 在 ML 条件下的概率密度函数最 大可能地逼近随机变量 在 （真值）条件下的 0 z 概率密度函数
p( z | ML ) p( z | 0 )
– 上式反映极大似然原理的本质，但数学上不好实现 12
max
Kullback－Leibler信息测度： 我们称
z L ~ N (H L θ , e )
因此，有：
1 1 p(z Lθ) (2 ) (det e ) exp (z L H L θ) e (z L H L θ) 2
L 2 1 2
对应的对数似然函数为：
l (z Lθ) log p(z Lθ) L 1 1 1 log(2 ) log(dete ) (z L H L θ) e (z L H L θ) 2 2 2 由极大似然原理可得：
度函数 这时的 p( z L | ) 称作 的似然函数
以示区别有时记作 L( z L | )
概率密度函数和似然函数有着不同的物理意义,
但数学表达式是一致的
L( zL | ) p( zL | )
10
极大似然原理的数学表示
L( z L | ) 0 ML
第7章 极大似然法和预报误差方法
1
7.1 引言
• 极大似然法
– 一种非常有用的传统估计方法 – 由 Fisher 发展起来的 – 基本思想可追溯到高斯（1809 年） – 用于动态过程辩识可以获得良好的估计性质
2
• 最小二乘法和梯度校正法
– 计算简单 – 参数估计具有优良的统计性质 – 噪声的先验知识要求也不高
• 极大似然法
– 基本思想与最小二乘法和梯度校正法完全不同
3
极大似然法—— 需要构造一个以数据和未知参数 为自变量的似然函数，通过极大化似然函数获得模 型的参数估计值。模型输出的概率分布将最大可能 地逼近实际过程输出的概率分布。为此极大似然法 通常要求具有能够写出输出量的条件概率密度函数 的先验知识。在独立观测条件下，必须知道输出量 的概率分布；在序贯观测的条件下，则需要确定基 于k时刻以前的数据在k+1时刻输出量的条件概率分 布。 预报误差法——需要事先确定一个预报误差准则函 数，并利用预报误差的信息来确定模型的参数。
ML L L L L
此时，参数θ 的极大似然估计和最小二乘估计是等价的。
对噪声方差的极大似然估计：
1 ˆ ˆ ) ˆ (z L H L θML ) (z L H L θ ML L
2 e
对噪声方差的最小二乘估计：
1 ˆ ) (z H θ ˆ ˆ (z L H L θ LS L L LS ) L dimθ
由于当观测至k时刻时，k-1时刻以前的z(•)、u(•)和v(•)都已 经确定，且v(k)与 z (1), z (2),, z (k 1),u(1),u(2),, u(k 1) 及 θ 无关，因此上式可以写成：
p( z (1), z (2),, z ( L) u (1),u (2),, u ( L 1), θ) p(v(k )) const
L L L 1 2 log(2 ) log v2 v (k ) const 2 2 2 2 v k 1
（E）
其中满足：
v(k ) z (k ) ai z (k i) biu (k i) di v(k i)
i 1 i 1 i 1 n n n
或
log L( z L | ) 0 ML
– log L( z L | -) 对数似然函数 –
ML - 极大似然参数估计值
11
– 使得似然函数或对数似然函数达到最大值
物理意义（极大似然原理的数学表现）
– 对一组确定的随机序列
zL
– 设法找到参数估计值
n n n p v(k ) ai z (k i) biu (k i) di v(k i) i 1 i 1 i 1 k 1 L
z (1), z (2),, z (k 1),u (1),u (2),, u (k 1), θ
z z
•
是一个随机变量
– 在参数 条件下 –
z
的概率密度函数为 p( z | )
的 L 个观测值构成一个随机序列 {z (k )}
L
个观测值记作
zL z(1), z(2), , z(L)
• 则 •
zL
的联合概率密度为
p( z L | )
p( z L | ) | max
2 e
噪声模型未知的情形（未知）
e(k ) v(k ) d1v(k 1) dnv(k n)
此时，令
θ [a1, a2 ,, an , b1, b2 ,, bn , d1, d2 ,, dn ]
在独立观测的前提下，当获得L组输入输出数据 u(k ), z(k ) 后，在给定的参数θ 和输入信号u(1),u(2),, u( L 1)的 条件下， z (1), z (2),, z ( L) 的联合概率密度函数可 写成：p( z (1), z (2),, z ( L) u (1),u (2),, u ( L 1),θ)
z (0) z (1) HL z ( L 1) z (1 n) u (0) z ( 2 n) u (1) z ( L n) u ( L 1) u (1 n) u ( 2 n) u ( L n)
p ( zθ0 ) I( θ0 , θ) ˆ E{log p( zθ0 )} E{log p ( zθ)} E log p( zθ)
为Kullback－Leibler信息测度。可以证明：
I( θ0 , θ) 0
7.2.2 动态过程模型参数的极大似然估计
1 1 B( z 1 ) 和 D( z ) 没 • 且假定过程是渐近稳定的，即 A( z ) 、 1 1 A ( z ) D ( z ) 的零点都位于z平面的 有公共因子，且 和 单位圆内。
噪声模型已知的情形（已知）
将模型（C）写成最小二乘格式：
zL HL θ eL
其中：
z L [ z (1), z (2),, z ( L)] e L [e(1), e(2),, e( L)] θ [a1 , a2 ,, an , b1 , b2 ,, bn ]
（F）
利用极大似然原理，由
l (z L u L 1 , θ)
2 v
2 ˆv
0
2 得噪声方差 v 的极大似然估计：
L 1 ˆ v2 v 2 (k ) L k 1
பைடு நூலகம்
将此式代入（E），可得：
L 1 L 2 l (z L u L 1 , θ) log v (k ) const 2 L k 1
– 需要事先确定一个预报误差准则函数 – 利用预报误差的信息来确定模型的参数 – 某种意义上
• 与极大似然法等价的 • 或极大似然法的一种推广
6
• 极大似然法和预报误差方法
– 优点：参数估计量具有良好的渐近性质 – 缺点：计算量比较大
7
7.2 极大似然参数估计辨识方法
7.2.1 极大似然原理
• 设
k 1 L L
(2 ) ( )
2 v L 2 k 1
1 2
1 2
1 2 exp v (k ) const 2 2 v
(2 ) ( v2 )
L 2
1 L 2 exp v (k ) const 2 2 v k 1
e(k ) v(k ) d1v(k 1) dnv(k n) 因为：
n 2 则有 E{e(k )e(k j )} dl dl j v i 0 ˆ 1; dl 0 (l 0 or l n) d0
E { e e 记噪声e(k)的协方差阵为 e L L } ，则由v(k)的 正态性，可知：
记：
z L [ z (1), z (2),, z ( L)] u L 1 [u (1),u (2),, u ( L 1)]
则有对数似然函数：
l (z L u L 1 , θ) log L(z L u L 1 , θ) log p(z L u L 1 , θ)
（H）
其中v(k)满足（F）的约束条件。
结论：在 e 未知的情形下，求模型（C）的参 数的极大似然估计等价于以下带有约束条件的优 化问题：优化的目标函数为（G），约束条件为 （F）。同时噪声方差 v2 的极大似然估计值为