系统辨识 第三章 状态估计—Kalman滤波方法

定理 若 z 的协方差阵 Rzz 有逆 则 z 对 x 的线性无偏最小方差估计唯一地表示为 −1 ˆ = E ( x | z ) = m x + Rxz Rzz ( z − mz ) x (3.1.16) 且误差协方差阵为 −1 ~~ T ˆ ˆ T R~ x = cov{x x } = cov{( x − x )( x − x ) } = R xx − R xz R zz R zx (3.1.17)E[T * (Y ) − x] ≤ E[T (Y ) − x] 2 则称 T (Y ) 为最小方差估计 定理 设 x 和 Y 是两个联合分布的随机向量 期望值 ˆ = E[ x | y ] = ∫ x p( x | y )dx x
−∞ ∞
ˆ 就是 x 的条件 则 x 的最小方差估计 x (3.1.8)
估计值能够落在真值的任一
定义 如果对于任意实数 ε > 0 式 3.1.1 ˆ (N ) − x > ε} = 0 lim P{ x
N →∞
得到的估计量依概率收敛于真值
即 (3.1.4)
则称该估计为一致估计 充分估计 ˆ 包含了样本 { y (1), y (2),L , y ( N )} 关于 x 的全部信息 则称 x ˆ (N ) 为 x 的 如果 x 充分估计
−1
−1
−1
结合式
(3.1.18)
定理得证
5 定理 如果 z = { y (1),L , y ( N )} 是 Y 的一组子样 且 y (i ), i = 1, L , N 对 x 的线性无偏最小方差估计为 ˆ = E{x | z} = ∑ E ( x | y (i )) − ( N − 1)m x x
证明 假定 f ( y ) 为 x 的一个估计 其中 y 为随机向量 Y 的某一实现 则估计误差为 ~ x = x − f ( y) 且 E[ ~ x~ x T ] = E{[ x − f ( y )][ x − f ( y )]T = E{[ x − E ( x | y ) + E ( x | y ) − f ( y )] • [ x − E ( x | y ) + E ( x | y ) − f ( y )]T } = E{[ x − E ( x | y )][ x − [ x − E ( x | y )]T } + E{[ E ( x | y ) − f ( y )][ E ( x | y ) − f ( y )]T } + E{[ x − E ( x | y )][ E ( x | y ) − f ( y )]T } + E{[ E ( x | y ) − f ( y )][ x − E ( x | y )]T } 下面说明上式的最后两项为零 E{[ x − E ( x | y )][ E ( x | y ) − f ( y )]T }
定义 对于式
(3.1.2)
(3.1.3) 又设
ˆ 为 x 的渐近无偏估计 则称 x 例 设 y 是任意分布的随机变量 其数学期望为 E{ y} = m y (1), y (2),L , y ( N ) 是 y 的一组容量为 的样本 构造统计量 1 N ˆ N = ∑ y (i ) m N i =1 估计 y 的均值 因为 y (i ), i = 1, L, N 与母体 同分布 则 1 N 1 ˆ N } = ∑ E{ y (i )} = ( N • m) = m E{m N i =1 N ˆ N 是参数 m 的一个无偏估计 所以统计量 m 一致估计 所谓一致估计 就是希望样本容量无限增大时 邻域的可能性最大
E[ E ( x | y )] = ∫ E ( x | y ) p ( y )dy = ∫ [ ∫ xp( x | y )dx] p ( y )dy
−∞ −∞ −∞
∞
∞
∞
= ∫ x[ ∫ p ( x, y )dy ]dx = ∫ xp( x)dx = E ( x)
−∞ −∞ −∞
∞
∞
∞
定理 表达了已知 Y 的一个子样 y 时 x 的最小方差估计 若已知 { y (1), y (2),L , y ( N )} 可证 x 的最小方差估计为 ˆ mv = E ( x | y (i ); i = 1,...., N ) x (3.1.13) E ( x | y (i ); i = 1,L , N ) 是 特 别 当 {x, y (1),L , y ( N )} 服 从 联 合 正 态 分 布 时 { y (1), y (2),L , y ( N )} 的线性函数 x Y 不是正态联合分布时 最小方差估计仍然等于 的条件均值 但 ~ x mv = f (Y ) 不一定是线性函数了 下面我们要证明式 3.1.8 给出的最小方差估计是线性估计 定义 设 是 n 维随机向量 z ∆[ y (1),L, y ( N )]T 是 m 维随向量 的 N ⋅ m 维子样 若 估计量 T (Y ) 能表为 z 诸分量的线性组合即 ˆ = T (Y ) = a + Bz x a 为 n 维向量 B 是 n × ( N ⋅ m) 矩阵 则称 T (Y ) 为线性估计 定理 (3.1.14)式得出的线性估计为无偏估计的充要条件是 a = E ( x) − B ⋅ E ( z ) = m x − Bm z 且线性无偏估计为 T (Y ) = m x + B ( z − m z ) (3.1.15) (3.1.14)
−1
−1
−1
−1
= ( BRzz − Rxz Rzz Rzz )( BT − Rzz Rzx ) + Rxx − Rxz Rzx Rzx = ( B − Rxz Rzx ) Rzz ( B − Rxz Rzz )T + Rxz − Rxz Rzz Rzx
−1 上式第一项非负定 当且仅当 B = R xz R zz 时 −1 R~ x 达下界 ( R xx − R xz R zz R zx ) −1 −1 −1
第三章
状态估计
Kalman 滤波方法
估计的基本理论
所谓估计 就是根据量测的一组样本 Y = { y (1), y (2),L , y ( N )} 构造一个统计量 T (Y ) 作为变量 x 的估计量 当 x 为状态空间中的某个随机 变量时 就称为状态估计 当 x 为参数空间中的某个点时 如反映数字特征的参 数 称为点估计或参数估计 估计的基本理论所研究的问题是统计量 T (Y ) 如何构造 以及估计量的评价标 准如何考虑
T −∞ − ∞ ∞ ∞ −∞ ∞ −∞ ∞ −∞ T −∞ ∞ −∞ ∞ −∞ T
=∫
∞
∞
T
p ( y )dy
同理可证 E{[ x − E ( x | y )][ E ( x | y ) − f ( y )]T } 所以有 (3.1.9) + E{[ E ( x | y ) − f ( y )][ E ( x | y ) − f ( y )]T } 因上式右端第二项是非负定的 故 E[ ~ x~ x T ] ≥ E{[ x − E ( x | y )][ x − E ( x | y )]T } (3.1.10) 当且仅当 f ( y ) = E ( x | y ) 3.1.9 式右端第二项为零 式 3.1.10 等号成立 所 以 x 的最小方差估计为 ˆ mv = f ( y ) = E ( x | y ) x (3.1.11) 最小均方误差阵为 E[ ~ x~ x T ] = E{[ x − E ( x | y )][ x − E ( x | y )]T } 证毕 几点说明 最小方差估计是无偏估计 因为 (3.1.12) E[ ~ x~ x T ] = E{[ x − E ( x | y )][ x − E ( x | y )]T }
−1
(3.1.5) (3.1.6)
变量 x 的条件概率密度 反映了 y 所含的有关 x 的信息 故称式 3.1.7 为信息 阵 定义 ˆ 的协方差函数阵按对称阵的正 负定关系达到 如果变量 x 的一个无偏估计 x 下界 则称为 x 的有效估计 ˆ 对于真值的误差平方 使这 从式 3.1.5 协方差的定义看 它代表估计量 x ˆ 被作为最有效的估计 另一方面 估计方 个误差平方达到其最小值的估计量 x 差的最小值又由信息阵 也即量测样本 Y 所含的有关 x 的信息量 决定 因此 为了获取最理想的估计 必须注意两点 量测 Y 应尽可能多地含有待估量 x 的信息 ˆ = T (Y ) 使 3.1.6 式成立 应构作适当的统计量 x
线性无偏最小方差估计
上小节提到 构作不同的统计量会达到不同的估计效果 也形成了各不相同 的估计算法 如果待估量 x 表示参数 就有各种各样的辨识方法 例如 采用似 然函数构造统计量 产生了参数的极大似然估计方法 若待估量 x 是状态变量 就可构造不同的统计量得到各种 滤波 状态估计方法 本小节讨论一种很重要 的估计算法 线性无偏最小方差估计 最小方差估计
估计量的评价标准
利用样本对参数或状态的估计量 ˆ ( N ) = T (Y ) x 一般与真值 x 不同 此处设 x 为确定值 劣 无偏估计与渐近无偏估计 3.1.1 给出的估计量若满足 ˆ) = x E(x ˆ 为 x 的一个无偏估计 则称 x 如果满足 ˆ} = x lim = E{x
N →∞
(3.1.1) 必须建立一些评价标准反映估计的优
证明 构造一个线性估计 ˆ = mx + B ( z − mz ) x (3.1.18) ~ ˆ ] = E[ x − mx − B( z − mz )] = mx − mx − B(mz − mz ) = 0 E{x } = E[ x − x 即式(3.1.18)必是线性无偏估计 T R~ z = E[ x − m x − B ( z − m z )][ x − m x − B ( z − m z )] = Rxx − BRzx − Rxz BT + BRzz BT
第三章状态估计kalman滤波方法估计的基本理论所谓估计就是根据量测的一组样本作为变量x的估计量为状态空间中的某个随机变量时就称为状态估计为参数空间中的某个点时如反映数字特征的参称为点估计或参数估计估计的基本理论所研究的问题是统计量t如何构造以及估计量的评价标准如何考虑估计量的评价标准利用样本对参数或状态的估计量一般与真值x不同此处设x为确定值必须建立一些评价标准反映估计的优无偏估计与渐近无偏估计定义对于式311给出的估计量若满足312如果满足313是任意分布的随机变量其数学期望为的样本构造统计量估计y的均值因为与母体所以统计量是参数m的一个无偏估计一致估计所谓一致估计就是希望样本容量无限增大时估计值能够落在真值的任一邻域的可能性最大定义如果对于任意实数311得到的估计量依概率收敛于真值314则称该估计为一致估计如果包含了样本关于x的全部信息充分估计有效估计这个指标用来衡量估计量的协方差为此我们先引出著名的cramerrao不等315则有cov316317称为fisher信息函数阵对列向量x求导取行向量是随机变量y关于变量x的条件概率密度反映了y所含的有关x的信息317为信息定义如果变量的一个无偏估计的协方差函数阵按对称阵的正负定关系达到下界则称为x的有效估计315协方差的定义看它代表估计量对于真值的误差平方个误差平方达到其最小值的估计量x?被作为最有效的估计另一方面估计方差的最小值又由信息阵所含的有关x的信息量决定因此为了获取最理想的估计必须注意两点应尽可能多地含有待估量x的信息应构作适当的统计量316式成立线性无偏最小方差估计上小节提到构作不同的统计量会达到不同的估计效果也形成了各不相同的估计算法如果待估量x表示参数就有各种各样的辨识方法例如采用似然函数构造统计量产生了参数的极大似然估计方法若待估量x是状态变量就可构造不同的统计量得到各种滤波状态估计方法本小节讨论一种很重要的估计算法线性无偏最小方差估计最小方差估计定义若对任意t的最小方差估计就是x的条件期望值证明假定其中y为随机向量y的某一实现则估计误差为所以有319319式右端第二项为零3110等号成立几点说明最小方差估计是无偏估计因为xpdxdyxpdy定理表达了已知的最小方差估计若已知不是正态联合分布时最小方差估计仍然等于的条件均值下面我们要证明式318给出的最小方差估计是线性估计定义3114bz定理3114式得出的线性估计为无偏估计的充要条件是的线性
(N )
有效估计 这个指标用来衡量估计量的协方差 为此我们先引出著名的 Cramer-Rao 不等 式 定理 ˆ 是 x 的一个正规无偏估计[2] y 是与 x 有关的随机变量 x 的协方差函数 设x 阵为 ˆ, x ˆ}∆E{[ x ˆ − E(x ˆ )][ x ˆ − E(x ˆ )]T } = E{( x ˆ − x)( x ˆ − x) T } cov{x 则有 ˆ, x ˆ} ≥ M x cov{x 其中 ]} ∂x ∂x 称为 Fisher 信息函数阵 对列向量 x 求导取行向量 M x ∆E{[ ∂ log p( y x) ]T [ ∂ log p( y x) (3.1.7) p( y x) 是随机变量 y 关于
i =1 −1 E{x | y (i )} = m x + R xy ( i ) R y ( i ) y ( i ) [ y (i ) − y (i )] −1 T R~ x = R xx − ∑ R xy ( i ) R y ( i ) y ( i ) R xy ( i ) i =1 N N
互不相关 则 z (3.1.19) (3.1.20) (3.1.21)
∫ [ x − E ( x | y)][ E ( x | y) − f ( y)] P( x, y)dxdy = ∫ {∫ [ x − E ( x | y )] p( x | y )dx}[ E ( x | y ) − f ( y )] p( y )dy = ∫ {∫ xp( x | y )dx − ∫ E ( x | y ) p ( x | y )dx}[ E ( x | y ) − f ( y )] = ∫ {E ( x | y ) − E ( x | y )}[ E ( x | y ) − f ( y )] p ( y )dy = 0
−1 −1 = − BRzz Rzz Rzx − Rxz Rzz Rzz B T + BRzz B T −1 + Rxz Rzz Rzx + Rxx − Rxz Rzz Rzx −1
= BRzz ( BT − Rzz Rzx ) − Rxz Rzz Rzz ( B T − Rzz Rzx ) + Rxx − Rxz Rzz Rzx