13_信号的统计滤波技术(1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
–卡尔曼提出的递推最优估计理论，采用状态空间描 述法，在算法采用递推形式，卡尔曼滤波能处理多 维和非平稳的随机过程。
2014-6-17
大连理工大学
30
• 卡尔曼滤波器的通俗解释
–简单来说，卡尔曼滤波器是一个“optimal recursive data processing algorithm（最优化 自回归数据处理算法）”。 –对于解决很大部分的问题，它是最优，效率最高甚 至是最有用的。
2014-6-17
大连理工大学
32
• 卡尔曼滤波器的通俗解释（一个例子）
– 假设我们要研究的对象是一个房间的温度。
– 根据经验判断，这个房间的温度是恒定的，也就是下一 分钟的温度等于现在这一分钟的温度（假设我们用一分 钟来做时间单位）。 – 假设你对你的经验不是100%的相信，可能会有上下偏 差几度。我们把这些偏差看成是高斯白噪声（White Gaussian Noise），也就是这些偏差跟前后时间是没有 关系的而且符合高斯分布（Gaussian Distribution）。 – 另外，我们在房间里放一个温度计，但是这个温度计也 不是绝对准确的，测量值会比真实值有偏差。我们也把 这些偏差也看成是高斯白噪声。
– 现代滤波器
• 不依靠信号与噪声的频率差别来进行噪声抑制和信号提取；
• 依据某些统计最优准则，从带噪声的观测信号中对与有用 信号或信号的参数进行估计；
• 维纳滤波器、卡尔曼滤波器、线性预测器和自适应滤波器 等。
2014-6-17 大连理工大学 5
• 维纳滤波器的概念
– 是一类线性最优滤波器的统称；
2014-6-17
大连理工大学
29
• 卡尔曼滤波器的进一步说明
–受噪声干扰的状态量是个随机量，不可能测得精确 值，但可对它进行一系列观测，并依据一组观测值， 按某种统计观点对它进行估计。 –使估计值尽可能准确地接近真实值，这就是最优估 计。真实值与估计值之差称为估计误差。若估计值 的数学期望与真实值相等，这种估计称为无偏估计。
ˆ( n ) y (n) s
– 维纳滤波器的任务是使输出y(n)是s(n)的估计。若h(n)是因果 的，则输出的 y(n) s(n) 可以看作是由当前时刻的观测值与 过去时刻的观测值x(n-1),x(n-2),…,的线性组合来估计的。
2014-6-17
10
• 因果维纳滤波器（续）
– 误差函数的最小均方误差准则表示为：
2014-6-17 大连理工大学 7
§13.2 维纳滤波技术
• 思路
– 设计维纳滤波器的过程，即是在最小均方误差准则 下，寻求滤波器的单位脉冲响应，或系统传递函数。
x ( n ) s( n ) v ( n )
h( n)
ˆ( n ) y (n) s
2014-6-17
大连理工大学
9
• 因果维纳滤波器
• 互相关函数则需要信号的更多的信息。
• 即使得到上述两个相关函数，求解维纳—霍夫方程仍是比 较复杂的过程。
2014-6-17
大连理工大学
26
§13.3 卡尔曼滤波技术
• 卡尔曼
– 卡尔曼（Rudolf E. Kalman），匈牙利数学家；
– 1930年出生于匈牙利首都布达佩斯。1953，1954 年于麻省理工学院分别获得电机工程学士及硕士 学位。1957年于哥伦比亚大学获得博士学位；
24
2014-6-17
大连理工大学
25
• 关于维纳滤波的说明
– 维纳滤波从理论上完美地解决了在最小均方误差条 件下的信号最佳估计问题。
– 但是，从实际应用角度来看，却存在不足：
• 为了得到维纳滤波器的单位冲激响应，必须知道观测信号 的自相关函数与互相关函数。
• 自相关函数可以利用观测信号进行估计。
2014-6-17 大连理工大学 18
jw
• 设该线性系统的z域系统函数为
2 Rxx ( z) w B( z)B( z 1 )
Rxx ( z) 表示随机信号x(n)自功率谱密度函数的z域 • 其中 ， 形式； B( z ) 和 B( z ) 分别对应 Rxx ( z) 中极点、零点在 单位圆内和单位圆外的部分。
– 1964—1971年任职斯坦福大学。1971—1992年任 佛罗里达大学数学系统理论中心主任。1972起任 瑞士苏黎世联邦理工学院数学系统理论中心主任. – 2009年获美国国家科学奖章。 – 卡尔曼滤波器源于他的博士论文和1960年发表的 论文《A New Approach to Linear Filtering and Prediction Problems》
•
使均方误差 E[e (n)] 最小，等价于令 w g (m)
2
Rws (m)
w
0
• 于是有
2014-6-17
gopt (m)
Rws (m)
2 w
,m 0
大连理工大学 21
2014-6-17
大连理工大学
22
2014-6-17
大连理工大学
23
【 例 】
2014-6-17
大连理工大学
m 0
Rss (0) 2 G(m) Rws ( m) g ( m)[ g ( r ) Rww ( m r )]
m 0 m 0 r 0
• 其中 g (n) 表示 G ( z ) 的单位脉冲响应
2 (m) 代入上式， • 将 Rww (m) w
大连理工大学硕士研究生校管课程
信号处理与数据分析
第13章
信号的统计滤波技术
电子信息与电气工程学部 邱天爽 2013年12月
2014-6-17 大连理工大学 1
内容概要
• §13.1 • §13.2 概述 维纳滤波技术
• §13.3
• §13.4
卡尔曼滤波技术
统计滤Fra Baidu bibliotek技术的应用举例
§13.1 概述
HW ( z )
1 B( z )
• 虚线框的部分记为
hopt (n)
• 由图6.3有：
H opt ( z ) HW ( z )G ( z )
G( z ) B( z )
y(n) s(n) g (m) w(n m)
m0
2014-6-17
大连理工大学
20
• 均方误差为 E[e2 (n)] E[( S (n) g (m)w(n m))2 ]
l 0,1,... l 0,1,...
E[ s(n) x(n l )] h(m) E[ x(n m)x(n l )],
m0
– 用相关函数表示上式，则得到维纳-霍夫方程的离散形式
Rxs (l ) h(m) Rxx (l m), l 0,1,...
m0
–它的广泛应用已经超过30年，包括机器人导航，控 制，传感器数据融合甚至在军事方面的雷达系统以 及导弹追踪等等。 –近来更被应用于计算机图像处理，例如头脸识别， 图像分割，图像边缘检测等等。
2014-6-17 大连理工大学 31
• 卡尔曼滤波器的通俗解释（2）
– 为了可以更加容易的理解卡尔曼滤波器，这里会应 用形象的描述方法来讲解，而不是像大多数参考书 那样罗列一大堆的数学公式和数学符号。 – 但是，他的5条公式是其核心内容。结合现代的计 算机，其实卡尔曼的程序相当的简单，只要你理解 了他的那5条公式。
– 目的是从噪声中提取有用信号。
– 根据滤波器输出信号与期望信号之差的均方值最小的 最小均方误差准则，求得最优线性滤波器的系数
x(n) s(n) w(n)
y ( n) s ( n)
h( n)
2014-6-17
大连理工大学
6
• 卡尔曼滤波器的概念
– 是一种以卡尔曼的名字命名的用于线性时变系统的递 归滤波器。 – 将过去的测量估计误差合并到新的测量误差中来估计 将来的误差，可以用包含正交状态变量的微分方程来 描述。 – 卡尔曼滤波器的首次实现是由施密特（Schmidt）完 成的。卡尔曼在美国航空航天（NASA）研究中心访 问时，发现卡尔曼滤波器对于解决阿波罗计划的轨道 预测很有意义，并且后来在阿波罗飞船的导航电脑中 实现上使用了这种滤波器。
m0
N 1
则，有 Rxs (l ) h(m) Rxx (l m), l 0,1,..., N 1
m0
N 1
（6.30）
13
2014-6-17
大连理工大学
– 于是可以得到N个线性方程，即
– 写成矩阵形式
2014-6-17
大连理工大学
14
• 若满足自相关阵是非奇异的，则通过矩阵求逆有
1
• 由于 B( z ) 的零点和极点均在单位圆内，是一个物理可实 现的最小相位系统，1/B(z)也是一个物理可实现的最小 相位系统。 • 把x(n)作为系统的输入，w(n)作为系统的输出，从而 实现输入信号x(n)的预白化处理。
2014-6-17
大连理工大学
19
W ( z)
1 X ( z) B( z )
– 设线性离散系统的单位脉冲响应为h(n)，若h(n)是因果的,其输 入信号x(n)是有用信号s(n)与观测噪声v(n)的线性组合
x(n) s(n) v(n)
y(n) x(n)* h(n) h(m) x(n m)
m0
x ( n ) s( n ) v ( n )
h( n)
2014-6-17
11
• 因果维纳滤波器（续）
– 从维纳-霍夫方程中解出系统单位脉冲响应h(n)，这就是最小 均方误差意义上的最优 hopt ，并得到最小均方误差为
2014-6-17
大连理工大学
12
• 维纳—霍夫方程的求解
• （1）有限脉冲响应求解法
• 设h(n)的序列长度为N，则 改写为
y(n) x(n)* h(n) h(m) x(n m)
1 H Rxx Rxs
• 最小均方误差为：
2
E[e (n)]min Rss (0) hopt (m) Rxs (m)
m0
N 1
• 若已知自相关函数 Rxx (m) 和互相关函数 求出最优系统的单位脉冲响应 hopt 。 • 若信号和噪声满足互不相关的条件，即
Rsv (m) Rvs (m) 0
Rxs (m)
，则可以
• 则：
2014-6-17
大连理工大学
15
2014-6-17
大连理工大学
16
2014-6-17
大连理工大学
17
• 维纳—霍夫方程的求解
• （2）预白化求解法（略）
– 方法关键是利用预白化滤波器将输入信号x(n)转化 为白噪声过程w(n),并进一步求解维纳-霍夫方程
– 只要求得白化滤波器 Hw (e ) ，就可以实现预白化， 并进一步确定对输入信号的最优估计。随机信号 x(n)可以看做白噪声激励一个线性系统所产生的响 应。
• 信号滤波（filtering）
– 根据输入信号x(t)在当前时刻和以前时刻的状态估计 输出信号。
• 信号预测（prediction）
– 根据输入信号x(t)在当前时刻和以前时刻的状态来估 计其在未来某个时刻的状态。
• 信号平滑 （ smoothing ） 或插值 （ interpolation ）
m0 N 1
y(n) x(n)* h(n) h(m) x(n m)
m0
E[e (n)] E[(s(n) h(m) x(n m)) 2 ]
2 m0
N 1
（6.27）
• 将式（6.27）对h(m)求导数，并令导数等于0，得：
E[ s(n) x(n l )] h(m) E[ x(n m)x(n l )], l 0,1,..., N 1
– 滤波器根据x(t)在t时刻以外的数据估计出x(t)在t时刻 的数据。
2014-6-17
大连理工大学
4
• 经典滤波器和现代滤波器
– 经典滤波器
• 一般假定输入信号 x(n)中的有用成分和希望去除的成分各 自占有不同的频段；
• 如果有用信号与噪声干扰等无用成分的频谱相互重叠时， 经典滤波器就无能为力。
2014-6-17 大连理工大学 28
• 卡尔曼滤波器的基本原理
– 卡尔曼滤波器（Kalman filter）可以认为是维纳滤 波器的推广；
– 它不仅可以适用于平稳过程，而且可以适用于非平 稳过程； – 不仅可以用于线性滤波问题，还可以用于非线性控 制问题，甚至可以用于多输入-多输出系统。 –其基本特点是在时域内分析，并且应用状态空间分 析方法。
–
E[e (n)] E[(s(n) h(m) x(n m)) 2 ]
2 m0
– 为了使均方误差达到最小，对上式各h(m),m=0,1,…求偏导， 并令导数为0，有
2 E[ s(n) h(m) x(n m) x(n l )] 0, m0
2014-6-17
大连理工大学
30
• 卡尔曼滤波器的通俗解释
–简单来说，卡尔曼滤波器是一个“optimal recursive data processing algorithm（最优化 自回归数据处理算法）”。 –对于解决很大部分的问题，它是最优，效率最高甚 至是最有用的。
2014-6-17
大连理工大学
32
• 卡尔曼滤波器的通俗解释（一个例子）
– 假设我们要研究的对象是一个房间的温度。
– 根据经验判断，这个房间的温度是恒定的，也就是下一 分钟的温度等于现在这一分钟的温度（假设我们用一分 钟来做时间单位）。 – 假设你对你的经验不是100%的相信，可能会有上下偏 差几度。我们把这些偏差看成是高斯白噪声（White Gaussian Noise），也就是这些偏差跟前后时间是没有 关系的而且符合高斯分布（Gaussian Distribution）。 – 另外，我们在房间里放一个温度计，但是这个温度计也 不是绝对准确的，测量值会比真实值有偏差。我们也把 这些偏差也看成是高斯白噪声。
– 现代滤波器
• 不依靠信号与噪声的频率差别来进行噪声抑制和信号提取；
• 依据某些统计最优准则，从带噪声的观测信号中对与有用 信号或信号的参数进行估计；
• 维纳滤波器、卡尔曼滤波器、线性预测器和自适应滤波器 等。
2014-6-17 大连理工大学 5
• 维纳滤波器的概念
– 是一类线性最优滤波器的统称；
2014-6-17
大连理工大学
29
• 卡尔曼滤波器的进一步说明
–受噪声干扰的状态量是个随机量，不可能测得精确 值，但可对它进行一系列观测，并依据一组观测值， 按某种统计观点对它进行估计。 –使估计值尽可能准确地接近真实值，这就是最优估 计。真实值与估计值之差称为估计误差。若估计值 的数学期望与真实值相等，这种估计称为无偏估计。
ˆ( n ) y (n) s
– 维纳滤波器的任务是使输出y(n)是s(n)的估计。若h(n)是因果 的，则输出的 y(n) s(n) 可以看作是由当前时刻的观测值与 过去时刻的观测值x(n-1),x(n-2),…,的线性组合来估计的。
2014-6-17
10
• 因果维纳滤波器（续）
– 误差函数的最小均方误差准则表示为：
2014-6-17 大连理工大学 7
§13.2 维纳滤波技术
• 思路
– 设计维纳滤波器的过程，即是在最小均方误差准则 下，寻求滤波器的单位脉冲响应，或系统传递函数。
x ( n ) s( n ) v ( n )
h( n)
ˆ( n ) y (n) s
2014-6-17
大连理工大学
9
• 因果维纳滤波器
• 互相关函数则需要信号的更多的信息。
• 即使得到上述两个相关函数，求解维纳—霍夫方程仍是比 较复杂的过程。
2014-6-17
大连理工大学
26
§13.3 卡尔曼滤波技术
• 卡尔曼
– 卡尔曼（Rudolf E. Kalman），匈牙利数学家；
– 1930年出生于匈牙利首都布达佩斯。1953，1954 年于麻省理工学院分别获得电机工程学士及硕士 学位。1957年于哥伦比亚大学获得博士学位；
24
2014-6-17
大连理工大学
25
• 关于维纳滤波的说明
– 维纳滤波从理论上完美地解决了在最小均方误差条 件下的信号最佳估计问题。
– 但是，从实际应用角度来看，却存在不足：
• 为了得到维纳滤波器的单位冲激响应，必须知道观测信号 的自相关函数与互相关函数。
• 自相关函数可以利用观测信号进行估计。
2014-6-17 大连理工大学 18
jw
• 设该线性系统的z域系统函数为
2 Rxx ( z) w B( z)B( z 1 )
Rxx ( z) 表示随机信号x(n)自功率谱密度函数的z域 • 其中 ， 形式； B( z ) 和 B( z ) 分别对应 Rxx ( z) 中极点、零点在 单位圆内和单位圆外的部分。
– 1964—1971年任职斯坦福大学。1971—1992年任 佛罗里达大学数学系统理论中心主任。1972起任 瑞士苏黎世联邦理工学院数学系统理论中心主任. – 2009年获美国国家科学奖章。 – 卡尔曼滤波器源于他的博士论文和1960年发表的 论文《A New Approach to Linear Filtering and Prediction Problems》
•
使均方误差 E[e (n)] 最小，等价于令 w g (m)
2
Rws (m)
w
0
• 于是有
2014-6-17
gopt (m)
Rws (m)
2 w
,m 0
大连理工大学 21
2014-6-17
大连理工大学
22
2014-6-17
大连理工大学
23
【 例 】
2014-6-17
大连理工大学
m 0
Rss (0) 2 G(m) Rws ( m) g ( m)[ g ( r ) Rww ( m r )]
m 0 m 0 r 0
• 其中 g (n) 表示 G ( z ) 的单位脉冲响应
2 (m) 代入上式， • 将 Rww (m) w
大连理工大学硕士研究生校管课程
信号处理与数据分析
第13章
信号的统计滤波技术
电子信息与电气工程学部 邱天爽 2013年12月
2014-6-17 大连理工大学 1
内容概要
• §13.1 • §13.2 概述 维纳滤波技术
• §13.3
• §13.4
卡尔曼滤波技术
统计滤Fra Baidu bibliotek技术的应用举例
§13.1 概述
HW ( z )
1 B( z )
• 虚线框的部分记为
hopt (n)
• 由图6.3有：
H opt ( z ) HW ( z )G ( z )
G( z ) B( z )
y(n) s(n) g (m) w(n m)
m0
2014-6-17
大连理工大学
20
• 均方误差为 E[e2 (n)] E[( S (n) g (m)w(n m))2 ]
l 0,1,... l 0,1,...
E[ s(n) x(n l )] h(m) E[ x(n m)x(n l )],
m0
– 用相关函数表示上式，则得到维纳-霍夫方程的离散形式
Rxs (l ) h(m) Rxx (l m), l 0,1,...
m0
–它的广泛应用已经超过30年，包括机器人导航，控 制，传感器数据融合甚至在军事方面的雷达系统以 及导弹追踪等等。 –近来更被应用于计算机图像处理，例如头脸识别， 图像分割，图像边缘检测等等。
2014-6-17 大连理工大学 31
• 卡尔曼滤波器的通俗解释（2）
– 为了可以更加容易的理解卡尔曼滤波器，这里会应 用形象的描述方法来讲解，而不是像大多数参考书 那样罗列一大堆的数学公式和数学符号。 – 但是，他的5条公式是其核心内容。结合现代的计 算机，其实卡尔曼的程序相当的简单，只要你理解 了他的那5条公式。
– 目的是从噪声中提取有用信号。
– 根据滤波器输出信号与期望信号之差的均方值最小的 最小均方误差准则，求得最优线性滤波器的系数
x(n) s(n) w(n)
y ( n) s ( n)
h( n)
2014-6-17
大连理工大学
6
• 卡尔曼滤波器的概念
– 是一种以卡尔曼的名字命名的用于线性时变系统的递 归滤波器。 – 将过去的测量估计误差合并到新的测量误差中来估计 将来的误差，可以用包含正交状态变量的微分方程来 描述。 – 卡尔曼滤波器的首次实现是由施密特（Schmidt）完 成的。卡尔曼在美国航空航天（NASA）研究中心访 问时，发现卡尔曼滤波器对于解决阿波罗计划的轨道 预测很有意义，并且后来在阿波罗飞船的导航电脑中 实现上使用了这种滤波器。
m0
N 1
则，有 Rxs (l ) h(m) Rxx (l m), l 0,1,..., N 1
m0
N 1
（6.30）
13
2014-6-17
大连理工大学
– 于是可以得到N个线性方程，即
– 写成矩阵形式
2014-6-17
大连理工大学
14
• 若满足自相关阵是非奇异的，则通过矩阵求逆有
1
• 由于 B( z ) 的零点和极点均在单位圆内，是一个物理可实 现的最小相位系统，1/B(z)也是一个物理可实现的最小 相位系统。 • 把x(n)作为系统的输入，w(n)作为系统的输出，从而 实现输入信号x(n)的预白化处理。
2014-6-17
大连理工大学
19
W ( z)
1 X ( z) B( z )
– 设线性离散系统的单位脉冲响应为h(n)，若h(n)是因果的,其输 入信号x(n)是有用信号s(n)与观测噪声v(n)的线性组合
x(n) s(n) v(n)
y(n) x(n)* h(n) h(m) x(n m)
m0
x ( n ) s( n ) v ( n )
h( n)
2014-6-17
11
• 因果维纳滤波器（续）
– 从维纳-霍夫方程中解出系统单位脉冲响应h(n)，这就是最小 均方误差意义上的最优 hopt ，并得到最小均方误差为
2014-6-17
大连理工大学
12
• 维纳—霍夫方程的求解
• （1）有限脉冲响应求解法
• 设h(n)的序列长度为N，则 改写为
y(n) x(n)* h(n) h(m) x(n m)
1 H Rxx Rxs
• 最小均方误差为：
2
E[e (n)]min Rss (0) hopt (m) Rxs (m)
m0
N 1
• 若已知自相关函数 Rxx (m) 和互相关函数 求出最优系统的单位脉冲响应 hopt 。 • 若信号和噪声满足互不相关的条件，即
Rsv (m) Rvs (m) 0
Rxs (m)
，则可以
• 则：
2014-6-17
大连理工大学
15
2014-6-17
大连理工大学
16
2014-6-17
大连理工大学
17
• 维纳—霍夫方程的求解
• （2）预白化求解法（略）
– 方法关键是利用预白化滤波器将输入信号x(n)转化 为白噪声过程w(n),并进一步求解维纳-霍夫方程
– 只要求得白化滤波器 Hw (e ) ，就可以实现预白化， 并进一步确定对输入信号的最优估计。随机信号 x(n)可以看做白噪声激励一个线性系统所产生的响 应。
• 信号滤波（filtering）
– 根据输入信号x(t)在当前时刻和以前时刻的状态估计 输出信号。
• 信号预测（prediction）
– 根据输入信号x(t)在当前时刻和以前时刻的状态来估 计其在未来某个时刻的状态。
• 信号平滑 （ smoothing ） 或插值 （ interpolation ）
m0 N 1
y(n) x(n)* h(n) h(m) x(n m)
m0
E[e (n)] E[(s(n) h(m) x(n m)) 2 ]
2 m0
N 1
（6.27）
• 将式（6.27）对h(m)求导数，并令导数等于0，得：
E[ s(n) x(n l )] h(m) E[ x(n m)x(n l )], l 0,1,..., N 1
– 滤波器根据x(t)在t时刻以外的数据估计出x(t)在t时刻 的数据。
2014-6-17
大连理工大学
4
• 经典滤波器和现代滤波器
– 经典滤波器
• 一般假定输入信号 x(n)中的有用成分和希望去除的成分各 自占有不同的频段；
• 如果有用信号与噪声干扰等无用成分的频谱相互重叠时， 经典滤波器就无能为力。
2014-6-17 大连理工大学 28
• 卡尔曼滤波器的基本原理
– 卡尔曼滤波器（Kalman filter）可以认为是维纳滤 波器的推广；
– 它不仅可以适用于平稳过程，而且可以适用于非平 稳过程； – 不仅可以用于线性滤波问题，还可以用于非线性控 制问题，甚至可以用于多输入-多输出系统。 –其基本特点是在时域内分析，并且应用状态空间分 析方法。
–
E[e (n)] E[(s(n) h(m) x(n m)) 2 ]
2 m0
– 为了使均方误差达到最小，对上式各h(m),m=0,1,…求偏导， 并令导数为0，有
2 E[ s(n) h(m) x(n m) x(n l )] 0, m0