自适应信号处理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（2） V T RV 0
15
性能函数也可用下式表示（可证与2.2中性能函数相等）
min (W W* )T R (W W*)
若令
V W W * (v0 v1 vL )T
则
min VT R V
欲使 0 , 则须
VTRV 0
当 V 0 时, 若 V T RxV 0 , Rx 正定 若 V T RxV 0 , Rx 半正定
性能曲面梯度搜索 牛顿法，最陡下降法
学习曲线及比较
❖ C.3 LMS算法
LMS算法导出，加权矢量的收敛性
学习曲线，梯度估计对自适应过程的影响
加权矢量解中的噪声，失调
❖ C.4 最小二乘自适应滤波及快速算法
投影矩阵，滤波算子
格型滤波器，快速横向滤波器
❖ C.5 自适应信号处理的应用
2
参考文献
E[
2 K
]
E[d
2 K
]W
T RW
2 RdTxW
— 性能函数
13
均方误差性能表面是一个关于W 的碗形的二次误差函数或二次曲面。
w1
w0
w*
w
14
C1.2.3 梯度和最小均方误差
常用梯度法以寻求性能表面的最小点
梯度可求得为：
T
W
W0
W1
WL
2R W 2Rdx
为获得均方误差的最小值，对加权向量 W
输出
L
YK
wlk k l
l 0
L
或
YK
wlk lk
l0
对闭环自适应系统，系统参数（加权矢量）和“希望响应”或“训练 信号”有关，即有性能反馈
12
C1.2.2 性能函数和均方误差性能表面
若希望响应为 dk， 误差信号为
K
dK
YK
dK
X KTWK
dK
W
T K
X
K
平方误差信号为
2 K
d
2 K
梯度可有另一种表达方式
T
V
v0
v1
vL
2R V
W
V
2R V
2(R W
Rdx )
16
C1.2.4 二次性能曲面的性质
对于输入相关矩阵Rx，
RxQn nQn
n 为Rx的特征值
[Rx n I ]Qn 0 Qn 为Rx的特征矢量
令 Q [Q0 , Q1 ,...QL ] ，
则
WKT X K X TWK
2d K X KTWK
如果该过程为统计平稳的，则
E[
2 K
]
E[d
2 K
]W
T E[ X K
X
T K
]W
2 E[d K
X
T K
]W
设 相关矩阵
R
E[X K
X
T K
]
，
R RT
希望响应和输入分量间的互相关用 Rdx 表示,
Rdx E[d K X K ]
则 均方误差
MSE
z-1 xk-L
w0k
w1k
w2k
wLk d
Yk
-
+ dk
ε k
11
输入信号 X 可以是多个信源信号输入，也可以是一个信号的
L1 个连续样本的输入，记
X K K , K1, K2 ,... KL
或
XK 0K , 1K , 2K ,LK T
每个信号的加权因子为
WK w 0K，w1K，w2K wLK T
3
C.1 自适应信号处理
C1.1 自适应处理概述
C1.1.1 自适应系统特点:
能自动适应(最佳)变化的(时变)环境条件和要求 可被训练以实现特定的过滤和判决 可趋于自学习、自修复、自更新和自设计 复杂性高，系统性能高（尤其是对时变信号） 主要是时变的非线性系统
4
❖ 自适应滤波器：
当环境条件发生变化时，能自动检测变化并调整参数 使输出性能达到最优的滤波器
Rx QQ 1
QQT
0 0 0
0
1
0
0
0
L
可以证明：
（1）若 i j (i j), QiTQj 0 ，即特征矢量相互正交
（2） 0 , 即 n 0 , n , 源自文库=0，…L
（3）归一化 QQT I
17
证明：（1） RQi iQi， RQ j jQ j QiT RTQj iQiTQj， QiT RQj jQiT Qj R RT 则 iQiTQj jQiTQj i j (i j), 故 QiTQj 0
取其最佳值 W * ，使梯度为0，即
0 2R W* 2Rdx W * R1 Rdx
这是Wiener-Hopf方程的一种矩阵表示，则最小均方误差 min 为
min E[dK2 ] W*T R W* 2RdTxW*
E[dk2] [R1Rdx ]T R R1Rdx 2RdTxR1Rdx
min E[dk2] RdTx R1Rdx E[dk2] RdTxW*
随机梯度 滤波算子
9
C1.1.5 自适应滤波应用范围
❖ 系统辨识 ❖ 自适应均衡 ❖ 语音处理 ❖ 谱分析 ❖ 自适应信号检测 ❖ 自适应噪声消除 ❖ 自适应动目标检测
10
C1.2 自适应系统基本原理
C1.2.1 自适应线性组合器
❖ 非递归自适应滤波器
xk
z-1 xk-1 z-1 xk-2 ...
(1) 张旭东、陆明泉，离散随机信号处理，清华大学 出
版社，2005 (2) Bernard Widrow，Samuel D.Stearns，
Adaptive Signal Processing，
Prentice-Hall，1985
(3) Simon Haykin，自适应滤波器原理，第4版，电子 工业出版社，2003
自适应信号处理
Adaptive Signal Processing
薛永林 xueyl@tsinghua.edu.cn
FIT 1-410
1
课程内容
❖ C.1 自适应信号处理（Introduction）
自适应系统特点, 自适应处理原理
梯度和最小均方误差， 性能函数和性能曲面
❖ C.2 自适应搜索算法
❖ 自适应过程：
包括学习过程和跟踪过程
❖ 性能测量：
自适应的速度 接近最优的程度
5
C1.1.2 自适应系统分类
❖ 开环系统
Input
Processor
Output
Adaptive Algorithm
6
❖ 闭环系统
Input
Processor
Output
Adaptive Algorithm
Other Data
7
C1.1.3 自适应系统指标
（1）收敛速率 滤波器从初始参数调节到输出充分接近最优所需 的迭代次数
（2）失调 充分接近与最优的偏离程度
（3）计算量（复杂度）
8
C1.1.4 自适应算法
根据滤波器结构和算法准则, 自适应算法主要有： ❖ 梯度算法 ❖ 最小均方滤波器 ❖ 格型自适应滤波器 ❖ 最小二乘自适应滤波器 ❖ 快速横向自适应滤波器 ❖ 自适应无限冲激响滤波器
15
性能函数也可用下式表示（可证与2.2中性能函数相等）
min (W W* )T R (W W*)
若令
V W W * (v0 v1 vL )T
则
min VT R V
欲使 0 , 则须
VTRV 0
当 V 0 时, 若 V T RxV 0 , Rx 正定 若 V T RxV 0 , Rx 半正定
性能曲面梯度搜索 牛顿法，最陡下降法
学习曲线及比较
❖ C.3 LMS算法
LMS算法导出，加权矢量的收敛性
学习曲线，梯度估计对自适应过程的影响
加权矢量解中的噪声，失调
❖ C.4 最小二乘自适应滤波及快速算法
投影矩阵，滤波算子
格型滤波器，快速横向滤波器
❖ C.5 自适应信号处理的应用
2
参考文献
E[
2 K
]
E[d
2 K
]W
T RW
2 RdTxW
— 性能函数
13
均方误差性能表面是一个关于W 的碗形的二次误差函数或二次曲面。
w1
w0
w*
w
14
C1.2.3 梯度和最小均方误差
常用梯度法以寻求性能表面的最小点
梯度可求得为：
T
W
W0
W1
WL
2R W 2Rdx
为获得均方误差的最小值，对加权向量 W
输出
L
YK
wlk k l
l 0
L
或
YK
wlk lk
l0
对闭环自适应系统，系统参数（加权矢量）和“希望响应”或“训练 信号”有关，即有性能反馈
12
C1.2.2 性能函数和均方误差性能表面
若希望响应为 dk， 误差信号为
K
dK
YK
dK
X KTWK
dK
W
T K
X
K
平方误差信号为
2 K
d
2 K
梯度可有另一种表达方式
T
V
v0
v1
vL
2R V
W
V
2R V
2(R W
Rdx )
16
C1.2.4 二次性能曲面的性质
对于输入相关矩阵Rx，
RxQn nQn
n 为Rx的特征值
[Rx n I ]Qn 0 Qn 为Rx的特征矢量
令 Q [Q0 , Q1 ,...QL ] ，
则
WKT X K X TWK
2d K X KTWK
如果该过程为统计平稳的，则
E[
2 K
]
E[d
2 K
]W
T E[ X K
X
T K
]W
2 E[d K
X
T K
]W
设 相关矩阵
R
E[X K
X
T K
]
，
R RT
希望响应和输入分量间的互相关用 Rdx 表示,
Rdx E[d K X K ]
则 均方误差
MSE
z-1 xk-L
w0k
w1k
w2k
wLk d
Yk
-
+ dk
ε k
11
输入信号 X 可以是多个信源信号输入，也可以是一个信号的
L1 个连续样本的输入，记
X K K , K1, K2 ,... KL
或
XK 0K , 1K , 2K ,LK T
每个信号的加权因子为
WK w 0K，w1K，w2K wLK T
3
C.1 自适应信号处理
C1.1 自适应处理概述
C1.1.1 自适应系统特点:
能自动适应(最佳)变化的(时变)环境条件和要求 可被训练以实现特定的过滤和判决 可趋于自学习、自修复、自更新和自设计 复杂性高，系统性能高（尤其是对时变信号） 主要是时变的非线性系统
4
❖ 自适应滤波器：
当环境条件发生变化时，能自动检测变化并调整参数 使输出性能达到最优的滤波器
Rx QQ 1
QQT
0 0 0
0
1
0
0
0
L
可以证明：
（1）若 i j (i j), QiTQj 0 ，即特征矢量相互正交
（2） 0 , 即 n 0 , n , 源自文库=0，…L
（3）归一化 QQT I
17
证明：（1） RQi iQi， RQ j jQ j QiT RTQj iQiTQj， QiT RQj jQiT Qj R RT 则 iQiTQj jQiTQj i j (i j), 故 QiTQj 0
取其最佳值 W * ，使梯度为0，即
0 2R W* 2Rdx W * R1 Rdx
这是Wiener-Hopf方程的一种矩阵表示，则最小均方误差 min 为
min E[dK2 ] W*T R W* 2RdTxW*
E[dk2] [R1Rdx ]T R R1Rdx 2RdTxR1Rdx
min E[dk2] RdTx R1Rdx E[dk2] RdTxW*
随机梯度 滤波算子
9
C1.1.5 自适应滤波应用范围
❖ 系统辨识 ❖ 自适应均衡 ❖ 语音处理 ❖ 谱分析 ❖ 自适应信号检测 ❖ 自适应噪声消除 ❖ 自适应动目标检测
10
C1.2 自适应系统基本原理
C1.2.1 自适应线性组合器
❖ 非递归自适应滤波器
xk
z-1 xk-1 z-1 xk-2 ...
(1) 张旭东、陆明泉，离散随机信号处理，清华大学 出
版社，2005 (2) Bernard Widrow，Samuel D.Stearns，
Adaptive Signal Processing，
Prentice-Hall，1985
(3) Simon Haykin，自适应滤波器原理，第4版，电子 工业出版社，2003
自适应信号处理
Adaptive Signal Processing
薛永林 xueyl@tsinghua.edu.cn
FIT 1-410
1
课程内容
❖ C.1 自适应信号处理（Introduction）
自适应系统特点, 自适应处理原理
梯度和最小均方误差， 性能函数和性能曲面
❖ C.2 自适应搜索算法
❖ 自适应过程：
包括学习过程和跟踪过程
❖ 性能测量：
自适应的速度 接近最优的程度
5
C1.1.2 自适应系统分类
❖ 开环系统
Input
Processor
Output
Adaptive Algorithm
6
❖ 闭环系统
Input
Processor
Output
Adaptive Algorithm
Other Data
7
C1.1.3 自适应系统指标
（1）收敛速率 滤波器从初始参数调节到输出充分接近最优所需 的迭代次数
（2）失调 充分接近与最优的偏离程度
（3）计算量（复杂度）
8
C1.1.4 自适应算法
根据滤波器结构和算法准则, 自适应算法主要有： ❖ 梯度算法 ❖ 最小均方滤波器 ❖ 格型自适应滤波器 ❖ 最小二乘自适应滤波器 ❖ 快速横向自适应滤波器 ❖ 自适应无限冲激响滤波器