中文)第三章自适应滤波器
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
“碗底”点对应于均方误差最小点，也就 是最优权系数矢量w 所在的点。对于一个二 次性能方程，存在唯一全局最优权矢量，没 有局部最优点存在.
12
梯度，最优权矢量和最小均方误差
很多自适应方法使用基于梯度的方法寻找可以达到最小 均方误差的权矢量。 均方误差性能曲面的梯度定义为：
n
n wn
n w0 n
权重背离矢量:
v w w
在 v 坐标系统中的性能曲面方程
n min vTRv
15
min vTRv
梯度: 2Rv
v
矢量 v是权重矢量 w对维纳最优权矢量 的w背离。
任何背离都会导致均方误差的一个增加量 vTRv
为了使 对于所有可能的 v值为非负，有必要
使所有v 满足 vTRv 0。 也就是说 R必须是正
n w1n
n
T
wL n
2Rwn 2P
最优权重矢量处梯度为零：
n 2Rwn 2P 0 w R1P
13
最小均方误差：
min E d 2 n w T Rw 2PTw
E d 2n R1P T R R1P 2PT R1P
E d 2 n PTR1P
现代数字信号处理
第三章：自适应滤波器
1
内容
• 1. 自适应滤波器原理 • 2. 自适应线性组合器 • 3. 均方误差性能曲面 • 4. 最陡下降算法 • 5. LMS算法 • 6. RLS算法 • 7. 典型应用：噪声消除
理论分析 自适应算法
2
1。 自适应滤波原理
1. 学习和跟踪（时变信号） 2. 带有可调参数的最优线性滤波器
两输入两输出Two inputs and two outputs; FIR,IIR, and 格形（Lattice） 最小均方误差和最小平方误差准则
3
通用自适应滤波器的基本原理
xn
输入信号
d n
期望响应
线性滤波器
滤波器参数
自适应方法
性能评价
Wnew (n) Wold (n 1) W (n)
yn
limI 2n 0;
n
lim
n
1
2k
n
0
k 0,
1,
,L
0 1
max
0
1
tr R
L
L
trR E xk2 n k max
k 0
k 0
21
The deepest-descend method
自适应过程的稳定性
最优点:
V QT (W Wopt ) : V 0 W Wopt
时间迭代:
0 1 m a x
0
1
trR
,
L
trR E xk2 n k 0
40
wn1 wnwn, wn 2enxn
权矢量噪声
(1) 在最小均方误差点 min 附近的梯度估计误差
ˆ n n N n (梯度估计噪声 Nn) n 0, N n ˆ n 2enxn (around m )in
8
3. 均方误差性能曲面
n Ed 2n wT nRwn PTwn
输入信号x的自相关矩阵R，期望信号d和输入信号x的互相关矩阵P
Rxx0
R
E
xnxT n
Rxx 1
Rxx 1 Rxx 0
RxxL
RxxL 1
Rxx
L
RxxL 1
Rxx 0
Rxxm Exi nxim n Exnxn m, m 0, 1, , L
P Ednxn P0 P1 PLT
Pm Ednxm n Ednxn m, m 0, 1, , L
9
性能曲面
单权重情况: 抛物线
wn w0n R R0, P P0
n E d 2n R0w02n 2P0w0n
10
两个权系数: 抛物面
wn w0n w1nT
R0 R1 P0
n min v02 1 2 2n min v02 r 2n
0 min v02
n
min r 2mse e1,
1
r 2mse e1 r e 2mse 1
1
0 min
2 mse
mse
1
2 1
r
2
1
4
(通常为迭代次数)
28
么么么么方面
• Sds绝对是假的
(3) 自适应时间常数（用时间衡量学习 曲线常数）
37
1.5
最
1
陡
下
0.5
降
0
-0.5 0 20 40 60 80 100 120 140 160 180 200
1.5
1
LMS 0.5 单次 0
-0.5 0 20 40 60 80 100 120 140 160 180 200
38
1.5
最1 陡 下 0.5 降0
-0.5 0 20 40 60 80 100 120 140 160 180 200
vk (n) 1 2k n vk (0), k 1,2,, L
稳定条件:
lim
n
vk
(n)
0,
when 1 2k 1,
k 1,2,, L
0 1 max
实际应用中选取:
0 1 Tr R 1
L
k 1 k
1
L i1
E
xi2
(n)
22
The deepest-descend method
参数变更的回馈模型
w0 w1
n n
11
w0 w1
nn
2en
x0 x1
nn
35
LMS方法对梯度的估计的均值为真实梯度
E ˆ n 2E en xn 2E xnd n y n
2E xnxT n w n d n
2 Rw n P n B n E ˆ n 0
估计量的期望值与真实梯度的偏差为0。所以为无偏估计
w n 1 I 2Rw n 2Rw
方程两边同减最优权矢量
wn 1 w I 2Rwn 2Rw w vn wn w vn 1 I 2Rvn
vn 1 I 2QQ1 vn
vn 1 QI 2Q1vn Q1vn 1 I 2Q1vn vn Q1vn vn 1 I 2vn
确性 (7) 鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估
计误差
本章主要讨论自适应线性组合器（其分析和实现简单，在大多数 自适应滤波系统中广泛应用）。
5
2。 自适应线性组合器
一类具有自适应参数的FIR数字滤波器。－－》一般形式
多输入自适应线 性组合器
L
yn wk nxk n k 0 6
单输入自适应线性组合器
23
收敛速率
• 滤波器参数的收敛速度决定于自 适应步长的选择
vk (n) 1 2k n vk (0)
• 在主轴系统中参数沿着各个参数 坐标轴独立收敛。各个坐标轴的 收敛速度被各自的几何比 r 控制。
• 需要注意的是，在自然坐标系中 各个参数w并不是独立收敛的。 这是我们为什么要变换坐标系到 主轴系统进行收敛分析的原因。
输出信号
en
误差
4
3. 自适应滤波器的性能
(1) 失调量（Misadjustment） (2) 计算复杂度（Computational complexity） (3) 对时变统计量的跟踪能力 (4) 结构上：高模块性，并行性等（是否适合硬件实现） (5) 收敛速度 (6) 数值特性：数值稳定性（对字长效应不敏感），数值精
L
yn wk nxn k k 0 7
多输入
单输入
L
yn wk nxk n k 0
xnx0n x1n xLnT
L
yn wk nxn k k 0
xn xn xn 1 xn LT
wn w0n w1n wLnT
yn wT nxn xT nwn en dn yn
n Ee2n min
Tmse mse N
1 fs
,
sec
where mse iteration number
N (data samples for each iteration)
fs (sample frequency)
30
注意
• 最陡下降法具有更多的理论分析意义， 实际操作时我们必须对其做很多近似。
31
5. LMS 方法
使用单次计算的估 计误差平方代替平 方误差的期望。
LMS使用单次误差 代替误差平均，造 成梯度和权矢量成 为围绕真值的随机 变量。
33
LMS 自 适 应 滤 波 器
yn xTnwn en dn yn wn 1 wn wn, wn 2enxn
34
举例 （2输入线性组合器）
wn w0 n w1nT
R1 T R1
E d 2n PTw
与维纳滤波器的最小均方误差比较:
min E s2 n PTR1P E s2 n PThopt
The same equations
Leabharlann Baidu14
背离矢量（背离最优权重）
n E d 2 n wTRw PTw
均方误差性能方程可写为另一种形式：
n min w w T R w w
R
R1
R0 ,
P
P1
n E d 2n w0n
w1nRR10
R1 R0
w0
w1
n n
2P0
P1ww10
n n
E d 2n R0 w02n w12n 2R1w0nw1n 2P0w0n 2P1w1n
11
权系数数目大于两个情况：超抛物面
L 1 个权系数: 一个 L 2 维空间内的 超抛物面
1.5
1
LMS 多次 0.5 平均 0
-0.5 0 20 40 60 80 100 120 140 160 180 200
39
收敛条件
Ewn 1 I 2REwn 2Rw
wn 1 I 2Rwn 2Rw
wn w I 2Rn w0 w
Ewn w I 2Rn w0 w
rk 1 2k 1
32
en d n y n d(n) xT nwn
LMS 方法推导
n Ee2n n e2n ˆn
n n n ˆ n ˆn
w
w
ˆ n 2en en 2enxn
w
The steepest descent method :
wn 1 wn n
wn ˆ n
wn 2enxn
r0 1 20 r1 1 21
rL 1 2L
rk 1 2k
24
几何比 r 和 自适应步长 对收敛的影 响：
rk 1 2k
25
几何比和自适应步长对收敛的影响：
稳定(收敛) 过阻尼
临界阻尼 欠阻尼
不稳定 (不收敛)
0 1 r 1
0 1 2 0 r 1
1 2 r 0
1 2 1 1 r 0
36
LMS权矢量的均值 等于最陡下降法得到的权矢量
wn 1 wn 2enxn
Ewn 1 Ewn 2Eenxn en dn xTnwn
Ewn 2Ednxn 2ExnxTnwn Ewn 2P 2ExnxTnEwn
I 2REwn 2P P Rw I 2REwn 2Rw
Ewn 1 I 2REwn 2Rw wn 1 I 2Rwn 2Rw 最陡下降法
Least-Mean-Square Algorithm
最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。 LMS 方法使用一个特别方法估计这个梯度（这个梯度对于 自适应的线性组合器是有效的） LMS 方法的优势在于: (1) 计算简单方便 (2) 不需要离线的梯度估计或者数据副本 如果自适应系统是一个自适应线性组合器，并且输入矢量 和期望响应在每次迭代时都可以得到，那么LMS方法通常是 一个最好选择。
定或者半正定。在实际的系统中，矩阵 R总是
正定的，有时半正定情况也会出现。
16
4. 最陡下降法
• 基本思想：搜索性能曲面
理想情况下（梯度可知）:
使用基于梯度的方法（最陡下降法）
实际情况（梯度多数不可知）:
LMS方法（the Least-Mean-Square algorithm ） RLS方法（Recursive Least-Square Algorithm）
W
(n
1)
W
(n)
E e2 (n) W (n)
17
演示1: 基于梯度搜索均方误差曲面的最小点
18
演示2:
wn 1 wn n
为一个控制收敛
速度和稳定性的常数 称为自适应步长。
19
L
几个不同形式的权重更新方程 Rxx QQ1 nqnqnT n1
w n 1 w n n n 2Rw n 2P w n 2 Rw n P w R1P
1 , 0 r 1
26
收敛速度：几个时间常数
(1) 权系数衰减时间常数
权系数衰减到初始值的 e1需要花费的时间。
vn 1 2 n v0 rnv0
v n v0
r
e1,
r
1
e
1
1
1 1 1 r 2
27
(2) 学习曲线时间常数 mse 即均方误差与最小均方误 差的差值下降到初始差值 的 e时1 所花费的时间。
20
vn 1 I 2 vn vn I 2n v0
v0 n 1 1 20 v0 n
v1n
1
1
21
v1
n
vL n 1 1 2L vL n
vk n 1 2k n vk 0,k 1, 2, , L
可证明： lim w(n) w lim v(n) 0 lim v(n) 0
n
n
n
稳定和收敛条件：
12
梯度，最优权矢量和最小均方误差
很多自适应方法使用基于梯度的方法寻找可以达到最小 均方误差的权矢量。 均方误差性能曲面的梯度定义为：
n
n wn
n w0 n
权重背离矢量:
v w w
在 v 坐标系统中的性能曲面方程
n min vTRv
15
min vTRv
梯度: 2Rv
v
矢量 v是权重矢量 w对维纳最优权矢量 的w背离。
任何背离都会导致均方误差的一个增加量 vTRv
为了使 对于所有可能的 v值为非负，有必要
使所有v 满足 vTRv 0。 也就是说 R必须是正
n w1n
n
T
wL n
2Rwn 2P
最优权重矢量处梯度为零：
n 2Rwn 2P 0 w R1P
13
最小均方误差：
min E d 2 n w T Rw 2PTw
E d 2n R1P T R R1P 2PT R1P
E d 2 n PTR1P
现代数字信号处理
第三章：自适应滤波器
1
内容
• 1. 自适应滤波器原理 • 2. 自适应线性组合器 • 3. 均方误差性能曲面 • 4. 最陡下降算法 • 5. LMS算法 • 6. RLS算法 • 7. 典型应用：噪声消除
理论分析 自适应算法
2
1。 自适应滤波原理
1. 学习和跟踪（时变信号） 2. 带有可调参数的最优线性滤波器
两输入两输出Two inputs and two outputs; FIR,IIR, and 格形（Lattice） 最小均方误差和最小平方误差准则
3
通用自适应滤波器的基本原理
xn
输入信号
d n
期望响应
线性滤波器
滤波器参数
自适应方法
性能评价
Wnew (n) Wold (n 1) W (n)
yn
limI 2n 0;
n
lim
n
1
2k
n
0
k 0,
1,
,L
0 1
max
0
1
tr R
L
L
trR E xk2 n k max
k 0
k 0
21
The deepest-descend method
自适应过程的稳定性
最优点:
V QT (W Wopt ) : V 0 W Wopt
时间迭代:
0 1 m a x
0
1
trR
,
L
trR E xk2 n k 0
40
wn1 wnwn, wn 2enxn
权矢量噪声
(1) 在最小均方误差点 min 附近的梯度估计误差
ˆ n n N n (梯度估计噪声 Nn) n 0, N n ˆ n 2enxn (around m )in
8
3. 均方误差性能曲面
n Ed 2n wT nRwn PTwn
输入信号x的自相关矩阵R，期望信号d和输入信号x的互相关矩阵P
Rxx0
R
E
xnxT n
Rxx 1
Rxx 1 Rxx 0
RxxL
RxxL 1
Rxx
L
RxxL 1
Rxx 0
Rxxm Exi nxim n Exnxn m, m 0, 1, , L
P Ednxn P0 P1 PLT
Pm Ednxm n Ednxn m, m 0, 1, , L
9
性能曲面
单权重情况: 抛物线
wn w0n R R0, P P0
n E d 2n R0w02n 2P0w0n
10
两个权系数: 抛物面
wn w0n w1nT
R0 R1 P0
n min v02 1 2 2n min v02 r 2n
0 min v02
n
min r 2mse e1,
1
r 2mse e1 r e 2mse 1
1
0 min
2 mse
mse
1
2 1
r
2
1
4
(通常为迭代次数)
28
么么么么方面
• Sds绝对是假的
(3) 自适应时间常数（用时间衡量学习 曲线常数）
37
1.5
最
1
陡
下
0.5
降
0
-0.5 0 20 40 60 80 100 120 140 160 180 200
1.5
1
LMS 0.5 单次 0
-0.5 0 20 40 60 80 100 120 140 160 180 200
38
1.5
最1 陡 下 0.5 降0
-0.5 0 20 40 60 80 100 120 140 160 180 200
vk (n) 1 2k n vk (0), k 1,2,, L
稳定条件:
lim
n
vk
(n)
0,
when 1 2k 1,
k 1,2,, L
0 1 max
实际应用中选取:
0 1 Tr R 1
L
k 1 k
1
L i1
E
xi2
(n)
22
The deepest-descend method
参数变更的回馈模型
w0 w1
n n
11
w0 w1
nn
2en
x0 x1
nn
35
LMS方法对梯度的估计的均值为真实梯度
E ˆ n 2E en xn 2E xnd n y n
2E xnxT n w n d n
2 Rw n P n B n E ˆ n 0
估计量的期望值与真实梯度的偏差为0。所以为无偏估计
w n 1 I 2Rw n 2Rw
方程两边同减最优权矢量
wn 1 w I 2Rwn 2Rw w vn wn w vn 1 I 2Rvn
vn 1 I 2QQ1 vn
vn 1 QI 2Q1vn Q1vn 1 I 2Q1vn vn Q1vn vn 1 I 2vn
确性 (7) 鲁棒性：对噪声干扰不敏感，小能量干扰只能造成小估
计误差
本章主要讨论自适应线性组合器（其分析和实现简单，在大多数 自适应滤波系统中广泛应用）。
5
2。 自适应线性组合器
一类具有自适应参数的FIR数字滤波器。－－》一般形式
多输入自适应线 性组合器
L
yn wk nxk n k 0 6
单输入自适应线性组合器
23
收敛速率
• 滤波器参数的收敛速度决定于自 适应步长的选择
vk (n) 1 2k n vk (0)
• 在主轴系统中参数沿着各个参数 坐标轴独立收敛。各个坐标轴的 收敛速度被各自的几何比 r 控制。
• 需要注意的是，在自然坐标系中 各个参数w并不是独立收敛的。 这是我们为什么要变换坐标系到 主轴系统进行收敛分析的原因。
输出信号
en
误差
4
3. 自适应滤波器的性能
(1) 失调量（Misadjustment） (2) 计算复杂度（Computational complexity） (3) 对时变统计量的跟踪能力 (4) 结构上：高模块性，并行性等（是否适合硬件实现） (5) 收敛速度 (6) 数值特性：数值稳定性（对字长效应不敏感），数值精
L
yn wk nxn k k 0 7
多输入
单输入
L
yn wk nxk n k 0
xnx0n x1n xLnT
L
yn wk nxn k k 0
xn xn xn 1 xn LT
wn w0n w1n wLnT
yn wT nxn xT nwn en dn yn
n Ee2n min
Tmse mse N
1 fs
,
sec
where mse iteration number
N (data samples for each iteration)
fs (sample frequency)
30
注意
• 最陡下降法具有更多的理论分析意义， 实际操作时我们必须对其做很多近似。
31
5. LMS 方法
使用单次计算的估 计误差平方代替平 方误差的期望。
LMS使用单次误差 代替误差平均，造 成梯度和权矢量成 为围绕真值的随机 变量。
33
LMS 自 适 应 滤 波 器
yn xTnwn en dn yn wn 1 wn wn, wn 2enxn
34
举例 （2输入线性组合器）
wn w0 n w1nT
R1 T R1
E d 2n PTw
与维纳滤波器的最小均方误差比较:
min E s2 n PTR1P E s2 n PThopt
The same equations
Leabharlann Baidu14
背离矢量（背离最优权重）
n E d 2 n wTRw PTw
均方误差性能方程可写为另一种形式：
n min w w T R w w
R
R1
R0 ,
P
P1
n E d 2n w0n
w1nRR10
R1 R0
w0
w1
n n
2P0
P1ww10
n n
E d 2n R0 w02n w12n 2R1w0nw1n 2P0w0n 2P1w1n
11
权系数数目大于两个情况：超抛物面
L 1 个权系数: 一个 L 2 维空间内的 超抛物面
1.5
1
LMS 多次 0.5 平均 0
-0.5 0 20 40 60 80 100 120 140 160 180 200
39
收敛条件
Ewn 1 I 2REwn 2Rw
wn 1 I 2Rwn 2Rw
wn w I 2Rn w0 w
Ewn w I 2Rn w0 w
rk 1 2k 1
32
en d n y n d(n) xT nwn
LMS 方法推导
n Ee2n n e2n ˆn
n n n ˆ n ˆn
w
w
ˆ n 2en en 2enxn
w
The steepest descent method :
wn 1 wn n
wn ˆ n
wn 2enxn
r0 1 20 r1 1 21
rL 1 2L
rk 1 2k
24
几何比 r 和 自适应步长 对收敛的影 响：
rk 1 2k
25
几何比和自适应步长对收敛的影响：
稳定(收敛) 过阻尼
临界阻尼 欠阻尼
不稳定 (不收敛)
0 1 r 1
0 1 2 0 r 1
1 2 r 0
1 2 1 1 r 0
36
LMS权矢量的均值 等于最陡下降法得到的权矢量
wn 1 wn 2enxn
Ewn 1 Ewn 2Eenxn en dn xTnwn
Ewn 2Ednxn 2ExnxTnwn Ewn 2P 2ExnxTnEwn
I 2REwn 2P P Rw I 2REwn 2Rw
Ewn 1 I 2REwn 2Rw wn 1 I 2Rwn 2Rw 最陡下降法
Least-Mean-Square Algorithm
最陡下降法在每次迭代时要求得到性能曲面梯度的估计值。 LMS 方法使用一个特别方法估计这个梯度（这个梯度对于 自适应的线性组合器是有效的） LMS 方法的优势在于: (1) 计算简单方便 (2) 不需要离线的梯度估计或者数据副本 如果自适应系统是一个自适应线性组合器，并且输入矢量 和期望响应在每次迭代时都可以得到，那么LMS方法通常是 一个最好选择。
定或者半正定。在实际的系统中，矩阵 R总是
正定的，有时半正定情况也会出现。
16
4. 最陡下降法
• 基本思想：搜索性能曲面
理想情况下（梯度可知）:
使用基于梯度的方法（最陡下降法）
实际情况（梯度多数不可知）:
LMS方法（the Least-Mean-Square algorithm ） RLS方法（Recursive Least-Square Algorithm）
W
(n
1)
W
(n)
E e2 (n) W (n)
17
演示1: 基于梯度搜索均方误差曲面的最小点
18
演示2:
wn 1 wn n
为一个控制收敛
速度和稳定性的常数 称为自适应步长。
19
L
几个不同形式的权重更新方程 Rxx QQ1 nqnqnT n1
w n 1 w n n n 2Rw n 2P w n 2 Rw n P w R1P
1 , 0 r 1
26
收敛速度：几个时间常数
(1) 权系数衰减时间常数
权系数衰减到初始值的 e1需要花费的时间。
vn 1 2 n v0 rnv0
v n v0
r
e1,
r
1
e
1
1
1 1 1 r 2
27
(2) 学习曲线时间常数 mse 即均方误差与最小均方误 差的差值下降到初始差值 的 e时1 所花费的时间。
20
vn 1 I 2 vn vn I 2n v0
v0 n 1 1 20 v0 n
v1n
1
1
21
v1
n
vL n 1 1 2L vL n
vk n 1 2k n vk 0,k 1, 2, , L
可证明： lim w(n) w lim v(n) 0 lim v(n) 0
n
n
n
稳定和收敛条件：