最优滤波的一般描述

-5-
张永安
[第一讲]
[非线性非高斯滤波讲义]
k = 0 时刻时，根据线性高斯系统的条件，我们有
ˆ0 , P0 ) p ( x0 | z0 ) = p( x0 ) = N ( x0 ; x
设 k − 1 时刻时，
ˆk −1|k −1 , Pk −1|k −1 ) p( xk −1 | z1:k −1 ) = N ( xk −1 ; x
则其线性组合 z = A1 x1 + A2 x2 也是高斯的，其中 A1 , A2 ∈
P ⎪ 12 ⎤ ⎫ ⎬ ⎥ P22 ⎦ ⎭ ⎪
m× n
， rankA1 = rankA2 = m ，
⎧ ⎡ x1 ⎤ ⎡ x1 ⎤ ⎡ P ⎡ x1 ⎤ ⎪ 11 ⎢ x ⎥ ∼ N ⎨⎢ x ⎥ ; ⎢ x ⎥ , ⎢ P ⎪ ⎣ 2 ⎦ ⎣ 2 ⎦ ⎣ 21 ⎣ 2⎦ ⎩
则z ~
⎫ P 12 ⎤ ⎪ ⎬ ⎥ P22 ⎦ ⎭ ⎪
N ( z; z , Pzz ) ，且
⎧ z = A1 x1 + A2 x2 ⎨ T T T T ⎩ Pzz = A1P 11 A 1 + A 1P 12 A2 + A2 P 21 A 1 + A2 P 22 A2
特别的，若 A1 = A2 = I n ，则
n
n 维随机向量 x ∈
可以由其概率分布函数 F ( x) 或者概率分布密度函数 p ( x ) 来表
征，若其具有分布密度函数 p ( x ) ，则
F ( x) = ∫ p( x)dx
−∞
x
x 也可以由其特征函数来决定， x 的特征函数为其概率分布密度函数的傅里叶变换：
φx (ω ) E e jx ω = ∫ e jx ω p( x)dx ，
z1:k
{ z1 , z2 ,
ຫໍສະໝຸດ Baidu
, zk }
Zk
试求 k 时刻 xk 的后验概率分布密度 p ( xk | z1:k ) 。 解： 我们将利用高斯随机向量的三条性质来求解， 后验分布概率分布密度实际上可以递推求 解，也就是，求解按如下方式递推进行：
p ( x0 | z0 ) = p ( x0 ) → p ( x1 ) → p ( x1 | z1 ) → p ( x2 | z1 ) → p ( x2 | z1:2 ) → → p ( xk −1 | z1:k −1 ) → p ( xk | z1:k −1 ) → p ( xk | z1:k )
注意到 x0 , wk , vk 相互独立，设 k − 1 时刻， xk −1 与 wk , vk 相互独立，则利用状态方程，我们 有
xk −1 = Ak −1 xk − 2 + Bk −1wk −1 = Ak −1 A1 x0 + Ak −1
= Ak −1 ( Ak − 2 xk −3 + Bk − 2 wk − 2 ) + Bk −1wk −1 A1 B1w1 + + Ak −1 Bk − 2 wk − 2 + Bk −1wk −1
证明：可逆分块矩阵
-3-
张永安
[第一讲]
[非线性非高斯滤波讲义]
⎡P P = ⎢ xx ⎣ Pzx
的逆阵为
Pxz ⎤ Pzz ⎥ ⎦
−1
⎡P P = ⎢ xx ⎣ Pzx
−1
Pxz ⎤ ⎡T = ⎢ xx ⎥ Pzz ⎦ ⎣Tzx
−1
Txz ⎤ Tzz ⎥ ⎦
其中
⎧T ⎪ xx ⎪ ⎪Txz ⎨ ⎪Tzx ⎪ ⎪ ⎩Tzz
其中
ˆk |k −1 = Ak x ˆk −1|k −1 + Bk qk ⎧ ⎪x ⎨ T T ⎪ ⎩ Pk |k −1 = Ak Pk −1|k −1 Ak + Bk Qk Bk
T
也就是
⎡ x⎤ ⎢ ⎥∼N ⎣z⎦
则 p( x | z ) = N
⎧ ⎪ ⎡ x ⎤ ⎡ x ⎤ ⎡ Pxx ⎨⎢ ⎥ ; ⎢ ⎥ , ⎢ ⎪ ⎣ z ⎦ ⎣ z ⎦ ⎣ Pzx ⎩
Pxz ⎤ ⎫ ⎪ ⎬ ⎥ Pzz ⎦ ⎭ ⎪
ˆ ( z ), P ) ，其中 ( x; x
xx| z
−1 ˆ ( z ) = x + Pxz Pzz ⎧x (z − z ) ⎪ ⎨ −1 ⎪ ⎩ Pxx| z = Pxx − Pxz Pzz Pzx
因此，在给定 z 的条件下， x 的条件分布为高斯分布：
ˆ ( z ), Pxx| z ⎤ x~N ⎡ ⎣ x; x ⎦
其中
−1 ˆ ( z ) = x + Pxz Pzz ⎧ (z − z ) ⎪x ⎨ −1 −1 ⎪ ⎩ Pxx| z = Txx = Pxx − Pxz Pzz Pzx
定义（线性高斯系统 Linear Gaussian System） 系统称为是线性高斯系统，若它是线性系 统，且初始状态和输入信号满足高斯假设：
x ∼ N ( x; x , P ) = 2π Pxx
其中
x
Ex ， Pxx
T E ⎡( x − x )( x − x ) ⎤ ⎣ ⎦
(2) 随机向量 x 具有如下形式特征函数：
φ x (ω ) = E e jx ω = exp ⎢ jx T ω − ω T Pxxω ⎥
其中
(
T
)
⎡ ⎣
1 2
⎤ ⎦
T T n
(
)
张永安
[第一讲]
[非线性非高斯滤波讲义]
p( x) =
( 2π ) ∫
n
1
n
e − jx ωφx (ω )dω
T
顾名思义，高斯随机向量的概率分布为高斯分布（也称多维正态分布） 。 定义：定义一个高斯随机向量有以下两种方式： (1) 随机向量 x ∈
n
具有高斯分布密度函数：
− 1 2 T ⎡ 1 −1 exp ⎢ − ( x − x ) Pxx ( x − x )⎤ ⎥ ⎣ 2 ⎦
故有：
−1 −1 ⎧ ⎪Txx = Pxx − Pxz Pzz Pzx ⎨ −1 −1 ⎪ ⎩Txx Txz = − Pxz Pzz
定义
⎧ξ ⎨ ⎩η
2π Pxx
− 1 2
x−x z−z
T ⎡ 1 ⎤ exp ⎢ − ( y − y ) Pyy ( y − y ) ⎥ p ( x, z ) ⎣ 2 ⎦ = p( x | z) = 1 − T p( z ) ⎡ 1 ⎤ 2π Pzz 2 exp ⎢ − ( z − z ) Pzz ( z − z ) ⎥ ⎣ 2 ⎦
张永安 非线性非高斯滤波讲义
第一讲 最优滤波的一般描述
1.1 预备知识
引理 1：分块矩阵求逆 给定可逆分块矩阵
⎡P P = ⎢ 11 ⎣ P21
则其逆矩阵为
P 12 ⎤ P22 ⎥ ⎦
⎡T T ⎤ T = ⎢ 11 12 ⎥ ⎣T21 T22 ⎦
其中
⎧T = ( P − P P −1 P )−1 11 12 22 21 ⎪ 11 −1 ⎪ −1 ⎪T22 = ( P 11 − P 12 P 22 P 21 ) ⎨ ⎪T = − P −1 P T 11 12 22 ⎪ 12 −1 ⎪ ⎩T21 = − P22 P21T11
T T
-2-
张永安
[第一讲]
[非线性非高斯滤波讲义]
性质 2（作为性质 1 的推论） ：高斯向量的线性组合仍然是高斯向量。也就是：若 x1 与 x2 是 联合高斯的， x1 , x2 ∈
n
，且
⎧ ⎡ x1 ⎤ ⎪ ⎡ x1 ⎤ ⎡ x1 ⎤ ⎡ P 11 ∼ N ⎨⎢ ⎥ ; ⎢ ⎥ , ⎢ ⎢x ⎥ ⎪ ⎣ x2 ⎦ ⎣ x2 ⎦ ⎣ P21 ⎣ 2⎦ ⎩
⎧ z = Ax ⎨ T ⎩ Pzz = APxx A
证明：
φz (ω ) = Ez (e jz ω ) = Ex ⎡ e j ( Ax ) ω ⎤ ⎣ ⎦
T T
= Ex ⎡e jx A ω ⎤ = φx ( AT ω ) ⎣ ⎦ 1 ⎡ ⎤ = exp ⎢ jx T AT ω − ( AT ω )T Pxx ( AT ω ) ⎥ 2 ⎣ ⎦ 1 ⎡ ⎤ = exp ⎢ j ( Ax )T ω − ω T ( APxx AT )ω ⎥ 2 ⎣ ⎦
⎧ z = x1 + x2 ⎨ 11 + P 12 + P 21 + P 22 ⎩ Pzz = P
证明：
z = A1 x1 + A2 x2
T =M⎡ ⎣ x1 T ⎤ x2 ⎦ T
这里
M = [ A1
然后利用性质 1。 性质 3 若 y = ⎡ x
T
A2 ]
⎣
T z ⎤ 为高斯向量，则给定 z 的条件下， x 的条件分布也是高斯分布， ⎦
1 T T ⎡ 1 ⎤ −1 −1 = c exp ⎢ − ( y − y ) Pyy ( y − y ) + ( z − z ) Pzz ( z − z )⎥ 2 ⎣ 2 ⎦
反复利用分块矩阵求逆中的相关公式，我们有
⎛ 1 ⎞ c exp ⎜ − q ⎟ ⎝ 2 ⎠
-4-
张永安
[第一讲]
−1 q = ( y − y ) Pyy ( y − y ) − ( z − z ) Pzz−1 ( z − z ) T T T =⎡ ⎣ξ −1 ⎡ξ ⎤ T −1 P ηT ⎤ yy ⎢η ⎥ − η Pzz η ⎦ ⎣ ⎦
⎧ xk = Ak xk −1 + Bk wk ⎨ ⎩ zk = Ck xk + vk
其中
ˆ0 , P0 ) ⎧ x0 ~ N ( x0 ; x ⎪ ⎨ wk ~ N ( wk ; qk , Qk ) ⎪v ~ N ( v ; r , R ) k k k ⎩ k
以下不作说明时，都假定 x0 , wk , vk 相互独立。 例 给定如上离散时间线性高斯系统，记
引理 2 矩阵逆引理 设 A, C 可逆，则
( A + BCD ) −1 = A−1 − A−1 B ( DA−1 B + C −1 ) DA−1
−1
若用 A 代替 A ， C 代替 C ，则
−1
−1
( A−1 + BC −1 D ) −1 = A − AB ( DAB + C ) DA
−1
1.2
高斯随机向量的概率特征
故 xk −1 与 wk , vk 相互独立。因为 xk −1 与 wk 分别服从高斯分布，故 xk −1 与 wk 是联合高斯的。 根据系统状态方程
xk = Ak xk −1 + Bk wk
和高斯随机向量的性质 2，我们可知，经过状态方程递推后， xk 的概率分布密度函数仍然是 高斯的，也就是
p ( xk | z1:k −1 ) = N
x
Ex ， Pxx
T E ⎡( x − x )( x − x ) ⎤ ⎣ ⎦
1.3 高斯向量的基本性质
性质 1 高斯向量的线性变换仍然是高斯向量。也就是，若 x ∼
N ( x; x , Pxx ) ， z = Ax ，
A∈
m×n
， rankA = m ，则 z ~
N ( z; z , Pzz ) ，且
反过来也有：
−1 Pzx ) = ( Pxx − Pxz Pzz
−1 −1 PxzTzz = −Txx Pxz Pzz = − Pxx −1 −1 = −Tzz Pzx Pxx = Pzz PzxTxx −1 = ( Pzz − Pzx Pxx Pxz ) −1
⎧ P = (T − T T −1T )−1 xx xz zz zx ⎪ xx ⎪ ⎪ ⎨ −1 −1 ⎪ Pzx = − PzzTzxTxx = Tzz Tzx Pxx −1 ⎪ −1 ⎪ ⎩ Pzz = (Tzz − TzxTxx Txz )
ˆk |k −1 为了方便，我们记 x
ˆ ( z ), P ( z )) (x ;x
k k
1:k −1
k | z1:k −1
1:k −1
ˆk ( z1:k −1 ) ， Pk |k −1 x
Pk | z1:k −1 ( z1:k −1 ) ，则
ˆk |k −1 , Pk |k −1 ) p( xk | z1:k −1 ) = N ( xk ; x
[非线性非高斯滤波讲义]
T =⎡ ⎣ξ
ηT ⎤ ⎦⎢
⎡Txx ⎣Tzx
Txz ⎤ ⎡ξ ⎤ T −1 ⎢ ⎥ − η Pzz η Tzz ⎥ ⎦ ⎣η ⎦
−1 = ξ T Txxξ + ξ T Txzη + η T Tzxξ + η T Tzzη − η T (Tzz − TzxTxx Txz )η −1 = ξ T Txxξ + ξ T Txzη + η T Tzxξ + η T TzxTxx Txzη −1 −1 −1 −1 = ξ T Txxξ + ξ T TxxTxx Txzη + (Txx Txzη ) Txxξ + + (Txx Txzη ) Txx (Txx Txzη ) T T −1 −1 = (ξ + Txx Txzη ) Txx (ξ + Txx Txzη ) T −1 −1 ⎡ x − x − Pxz Pzz ⎤ Txx ⎣ ⎡ x − x − Pxz Pzz ⎤ ( z − z )⎦ ( z − z )⎦ =⎣ T