第5章 最优线性滤波器

1 ( Rx w rxd )T Rx ( Rx w rxd ) 0
当Rx w rxd 0时，均方误差取最小值J d r R r
T xd
1 x xd
线性估计器具有最小均方误差的充分必要条件是：Rx为 正定矩阵，并且 Rx w rxd （正则方程）
现代信号处理
EE of BUPT
现代信号处理
EE of BUPT
期望响应的估计

11

一般来说，在每个时刻 n 都要计算新的最优权系数。 在固定时刻 n，为了使问题简洁，去掉时间下标 n， 则
y wk xk w T x
k 1 M
x1 x 2 x [ x1 , x2 xM
现代信号处理
EE of BUPT
超量均方误差

25
当估计器权系数与最优权系数之间存在偏差， 即 w wopt w ，则 J ( wopt w ) J ( wopt ) w T Rx w

超量均方误差（Excess MSE） Excess MSE J ( wopt w ) J ( wopt ) wT Rx w

14
T T T E d w x d x w 2 T T T T T E | d | w E xd E d x w w E xx w

更简洁地表示为：
T J ( w ) J d wT rxd rxd w wT Rx w
现代信号处理
EE of BUPT
例5.2.1
均方误差性能曲面可表示为 T J ( w ) J d wT rxd rxd w wT Rx w 当 M = 2时 r1 w1 J ( w1 , w2 ) J d w1 w2 r r1 r2 w 2 2 经计算得 2 2 J ( w1 , w2 )=J d 2r1w1 2r2 w2 r11w1 2r12 w1w2 r22 w2
现代信号处理
EE of BUPT
误差性能曲面
函数J w 称为估计器的“误差性能曲面”。
说明： J(w)只取决于期望响应和输入数据的二阶矩； J(w)是估计器权系数的二次函数，为定义在 M+1 维 空间的超平面。 性质： 如果矩阵R x是正定的，二次函数J w 就是碗状的，
有一最小值与最优权系数相对应。


最小平均错误概率准则（先验等概时即为最大似然（ML ）准则）； 最大后验概率（MAP）准则； 极小化极大准则； Neyman-Pearson（N-P）准则。
EE of BUPT
现代信号处理
设计一个最优滤波器的步骤

设计一个最优滤波器步骤： 选择滤波器结构。 选择一个性能准则或代价函数来测定估计器的性 能。 以性能最优或代价最小为准则，求解最优估计器 的参数。 对最优参数值进行评价，确定最优估计器是否满 足设计要求。

如何找到wopt ？
现代信号处理
EE of BUPT
线性估计器的原理图
13
y wk xk w T x =x T w
k 1
M
e ( n ) d ( n) y ( n )
现代信号处理
EE of BUPT
5.2.1 误差性能曲面
均方误差(MSE)可表示为： 2 T J (w) E | e | = E e e
超量均方误差仅取决于输入数据的自相关矩阵，而 与期望响应无关。

现代信号处理
EE of BUPT
5.2.3 正交原理

26
用几何概念解释最优线性滤波器 把均值为零的随机变量看成是抽象空间中的矢量。 定义随机变量的相关矩为所对应矢量的内积，即 x , y =E xy 矢量的长度平方（范数）： 2 2 2 x = x, x E x x 随机变量正交：
现代信号处理
EE of BUPT
参数
2 Jd E d rxd E xd 2 d T Rx E xx
期望响应的功率 数据矢量x和期望响应d的互相关矢量 数据矢量x的自相关矩阵
自相关矩阵Rx一定是厄米特（Hermitian）矩阵（也 即共轭对称矩阵），并且非负定。对于实信号，矩 阵Rx为非负定的对称矩阵。
自相关矩阵：Rx rij , 1 i , j M，rij E xi x j ,
现代信号处理



互相关矩阵：rxd r1
r2
rM ，ri E xi d ,
T
EE of BUPT
最小均方误差
最小均方误差 T 1 T J min J ( wopt ) J d rxd Rx rxd J d rxd wopt 最优估计的均方值为
正则方程的矩阵形式

23
线性估计器具有最小均方误差的充分必要条件是：Rx 为正定矩阵，并且 Rx w rxd （正则方程） 矩阵形式 r1 M w1 r1 r11 r12 r2 M w2 r2 r21 r22 rMM rM 1 rM 2 wM rM
现代信号处理
EE of BUPT
目录

3
5.1 最优信号估计 5.2 线性均方估计 5.3 维纳滤波器 5.4 最优线性预测
现代信号处理
EE of BUPT
5.1 最优信号估计

4


在许多实际应用中，人们往往无法直接获得所需的 有用信号，能够得到的是退化了或失真了的有用信 号。 为了从测量信号 x(n)=s(n)+v(n) （v(n)为随机干扰信 号）中恢复原始信号s(n)，需要设计一种滤波器， 以对x(n)进行滤波，使其输出y(n)尽可能逼近原始 信号，成为s(n) 的最佳估计。 最优信号估计： 给定一组数据 xk(n),1≤k ≤ M，用下列估计函数得 到期望响应 d(n) 的估计： ˆ ( n) y(n)=H x (n), 1 k M H x(n) d
第5章 最优线性滤波器
尹霄丽 北京邮电大学电子工程学院 yinxl@bupt.edu.cn
引言




滤波：是将信号中特定波段的频谱成分滤除的操作，是 抑制和防止干扰的一项重要措施。 分类：分经典滤波和现代滤波。 最优滤波器：统计特性已知，某一准则 维纳滤波器：20世纪40年代，最小二乘滤波器 卡尔曼滤波器：20世纪60年代 自适应滤波器：统计特性未知且随时间变化，根据某一 准则用迭代算法来逼近最优参数的滤波器。
现代信号处理
EE of BUPT
5.2 线性均方估计

10

线性均方估计的优点 数学推导简单，易于实现，足以解决一大类实际 应用问题。 数学问题： 采用数据 xk(n),1≤k ≤ M 的线性组合：
y( n) wk ( n) xk ( n )
k 1

M
对期望响应 d(n) 进行估计，确定最优权系数 wk(n),1 ≤ k ≤ M，以使 E[|d(n)-y(n)|2] 最小。
EE of BUPT

现代信号处理
最小均方误差的充分必要条件
改写均方误差性能曲面函数为（增减项）
T 1 1 J ( w ) J d rxd Rx rxd ( Rx w rxd )T Rx ( Rx w rxd )
22
1 若Rx是正定的，则Rx 也是正定的，即对于所有的w 0, 1 wT Rx w 0，则


xm eopt , 1 m M
当数据的自相关矩阵为正定时的误差性能面曲面和等高线图
现代信号处理
EE of BUPT
பைடு நூலகம்
参数2：曲面中有一马鞍点
J d 0.5, r11 r22 1, r12 r21 2, r1 0.5, r2 0.1
20
|Rx|= - 3， Rx为负定矩阵。
1500 1000
MSE
500 0 -500 20 20 0 w2 -20 -20 0 w1
x ( n) x1 ( n)
x2 ( n) ... x M ( n)
T
xk ( n) x( n k ), 1 k M
现代信号处理
EE of BUPT
误差信号和最优准则
误差信号

8
ˆ ( n) e(n) d (n) y(n) d ( n) d

最优估计器或最优信号处理器：指其输出在一定性能 准则下最接近于期望响应。 最优滤波准则： 最小均方误差准则； 最大输出信噪比准则——匹配滤波器； 统计检测准则
k
现代信号处理
EE of BUPT
期望响应?
期望响应 d(n)？
现代信号处理
EE of BUPT
数据矢量（多传感器）

6
阵列信号的数据矢量：
x ( n) x1 ( n)
x2 ( n) ...
x M ( n)
T
现代信号处理
EE of BUPT
数据矢量（单传感器）

7
FIR滤波或预测:
T T J y ,opt E[| yopt |2 ] E[ wop x x wopt ] t T T T wopt Rx wopt wo r r pt xd xd wopt
24
则最小均方误差也可表示为 Jmin J d J y ,opt 归一化的均方误差 J y ,opt J min 1 , 0 1 Jd Jd
0.5 3 Rx 0.5 3
自相关矩阵的行列式为
35 Rx 0 4
Rx 为正定的
现代信号处理
EE of BUPT
误差性能面曲面（碗状）和等高线图
% P5_bowl.m
19
3000 2500 2000
MSE
1500 1000 500 0 20 10 0 -10 w2 -20 -20 -10 w1 10 0 20
w1 r11 w2 r 21 r12 w1 w r22 2
17
说明：在信号统计特性给定的情况下，它的取值与滤波 器系数有关。
现代信号处理
EE of BUPT
参数1
J d 0.5, r11 r22 3, r12 r21 0.5, r1 0.5, r2 0.1 自相关矩阵为
x M ]T
w1 w 2 w [ w1 , w2 , ..., w M ]T wM
现代信号处理
EE of BUPT
均方误差
误差函数 均方误差

ed y
2 J E | e |
J 是权系数矢量 w 的函数。
建立并求解使均方误差 J 最小的权系数方程，可得 在MMSE意义下的最优权系数矢量wopt ，称之为 LMMSE（线性最小均方误差）估计器。
当数据的自相关矩阵为负定时的误差性能面曲面和等高线图
现代信号处理
EE of BUPT
说明

21

误差性能曲面只有在矩阵Rx是正定时才是碗状的。 只有在这种情况下，才能得到使MSE最小的权系 数，等高线也才是同心的椭圆，它们的圆心对应 于最优权系数矢量wopt。 找到“碗底”的方法是：
J ( w1 , w2 ) 0, 从而 r11 w1 r12 w2 r1 w1 Rx w rxd J ( w1 , w2 ) 0, 从而 r w r w r 12 1 22 2 2 w2 求解该线性方程组，即可得到使MSE函数取最小 值的最优权系数矢量wopt 。
x , y E xy 0, x y
现代信号处理
EE of BUPT
正交原理
E xeopt E x d x wopt
T


E xd E xx w
T

opt
= rxd Rx wopt 0 把向量写成分量的形式
E xm eopt 0,