2010自适应信号处理第04章最陡下降方法

最小均方算法自适应滤波器
Adaptive Signal Processing
最小均方算法自适应滤波器
引言
求解Wiener-Hopf方程要求：设计时已知输入的统计特性
需要研究处理未知输入的滤波器 参数可变
自适应
FIR自适应滤波器
已知一可变参数FIR滤波器，其输出为
M
∑ y(n) = wk* (n)u(n − k) = wH (n)u(n − k), n = 1, 2,…, ∞ k =0 u(n) = [u(n),u(n −1),…u(n − M +1)]T 为输入信号 u(t) 的样本 d (t) 为理想输出并且 u(t) 和 d (t) 是联合平稳过程
Wiener解 适用于平稳过程
解确定
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最小均方算法自适应滤波器
Adaptive Signal Processing
最小均方算法自适应滤波器
引言
线性预测及联合过 程估计
基于Wiener解
2010年3月23日
解确定
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
引言
经典的基于梯度适应的优化技术――最陡下降方法 （Method of Steepest descent）
是其它基于梯度的算法的基础。
特点：递归的。采用反馈系统，逐步迭代计算。
当用于Wiener滤波器时，可以跟踪系统统计特性 的变来自百度文库，而不用求解Wiener-Hopf方程。在一定合
适的条件下，获得的阶逼近Wiener最优解。
希望找到最优解wo，满足以下条件
J (wo ) ≤ J (w)
对于所有w
非限制优化
解决自适应滤波非限制优化问题的方法――局部迭代下降 （local iterative descent）
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
抽二头上、的输利入用u(n)最,u(n陡−1)下,…u降(n −方M +法1) ，求由相解关矩W阵为ienRer滤波器 的广义平稳随机过程得到。
抽头加权 w0 (n), w1(n),… wM −1(n)
基于加权误差向量 的最陡下降算法
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
三、最陡下降方法性能分析
自相关函数矩阵可以表示为 R = QΛQH
从而有
Λ 为由 R 的特征值 λ1, λ2,…, λM 构成的对角阵， Q 由相应特征值所对应的特征向量 q1, q2 ,…, qM 构成
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
三、最陡下降方法性能分析
最陡下降方法存在反馈，因此可能不稳定。
其稳定性取决于两个因素：
步长尺寸参数μ
相关矩阵R
（一）最陡下降方法稳定性
定义时间n的加权误差向量（weight-error vector） c(n) = wo − w(n)
一、最陡下降方法
以初始假设值 w(0) 开始，生成一个加权向量序列 w(1), w(2),… ， 代价函数 J (w) 随着算法的每一次迭代而减小
J (w(n +1)) ≤ J (w(n))
w(n) 为旧的加权向量， w(n +1) 为更新的加权向量。
希望迭代最终可以收敛到最优解wo
最陡下降方法――连续调整w，使其沿最陡的方向变化
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最小均方算法自适应滤波器
Adaptive Signal Processing
最小均方算法自适应滤波器
引言
可变抽头加权向量
w(n) = [w0 (n), w1(n),… wM −1(n)]T
可以在每一个时间上进行更新
自适应滤波器设计要求
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
二、利用最陡下降方法求解Wiener滤波器
由梯度定义
∇k J
=
∂J ∂ak
+
j
∂J ∂ bk
⎡ ⎢ ⎢
∂J (n) + j ∂J (n) ∂a0 (n) ∂b0 (n)
⎤ ⎥ ⎥
M −1
= −2 p(−k) + 2∑ wir(i − k) i=0
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
二、利用最陡下降方法求解Wiener滤波器
加权向量的修正δ w(n) 还可以 表示为步长尺寸参数 μ 乘以
加权抽头向量 w(n) 与估计误 差 e(n) 的内积的形式
δ w(n +1) = μE ⎡⎣u(n)e*(n)⎤⎦
最陡下降算法
最陡下降方法
一、最陡下降方法
Adaptive Signal Processing
J (w(n +1)) ≤ J (w(n)) 是否满足?
将J (w(n+1)) 在w(n)处进行Taylor级数展开，保留第一项
J (w(n +1)) ≈ J (w(n)) + gH (n)δ w(n)
2010年3月23日
w(n +1) = w(n) − 1 μg(n)
2
w(n +1) = w(n) − 1 μg(n) = w(n) + μ [p − Rw(n)] n = 0,1, 2…
2
在时间 n +1时所作的加权向量的
修正δ w(n) 等于 μ [p − Rw(n)]
最陡下降算法的信号流图
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
给定 w(n) = [w0 (n), w1(n),… wM −1(n)]T ，在任意初始条件下，
寻找一个适应过程 w(n + 1) = w(n) + δ w(n) ，使得这个过程
收敛到 Wiener 滤波器最优解，即 w(n + 1) → w o 。
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
相应的理想输出的估计为 dˆ(n | Un )
Un 表示由 u(n),u(n −1),…u(n − M +1) 所张成的空间
定义估计误差为
e(n) = d (n) − dˆ(n | Un ) = d (n) − wH (n)u(n) wH (n)u(n) 是抽头输入向量 u(n) = [u(n),u(n −1),…u(n − M +1)]T 与抽头加权向量 w(n) = [w0 (n), w1(n),…wM −1(n)]T 的内积
在 μ 取较小值时成立
将 δ w(n) = w(n +1) − w(n) = − 1 μg(n) 代入，从而得到
2
J (w(n +1)) ≈ J (w(n)) − 1 μ g(n) 2
2
当 μ 为正数时，J (w(n +1)) ≤ J (w(n)) 成立。随 n 增大， J (n) 递减，在 n = ∞ 时逼近最小值 Jmin 。
理 想 响 应 d (n)
2010年3月23日
参数可变横向滤波器
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
二、利用最陡下降方法求解Wiener滤波器
令在时间n的抽头输入向量为 u(n) = [u(n),u(n −1),…u(n − M +1)]T
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
二、利用最陡下降方法求解Wiener滤波器
如果抽头输入向量 u(n) 与理想响应为 d (n) 是联合平稳的，
则在时间 n 的均方误差或代价函数 J ((w ) ) ，或 J (n) ，是抽
头加权向量的二阶函数
J
(n)
=
σ
2 d
−
w
H
(n)p
−
p
H
w(n)
+
w
H
(n)Rw(n)
σ
2 d
为理想响应为
d
(n)
的方差，p
表示滤波器输入
u(n)
与理想输出
d (n) 的互相关向量， R 为抽头输入序列 u(n) 的自相关矩阵
J
(w)
=
σ
2 d
−
w
H
p
−
pH
w
+
w
H
Rw
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
自适应信号处理
第二部分：最小均方自适应算法
最陡下降方法
2010年3月23日
邹斌
哈尔滨工业大学 信息工程系
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
最陡下降算法
最陡下降方法
Adaptive Signal Processing
三、最陡下降方法性能分析
v(n)的初始值为 v(0) = QH (wo − w(0))
假设初始抽头加权向量为零，则有 v(0) = QH wo
对于最陡下降方法的第k个自 然模式（natural mode），有
vk (n +1) = (1− μλk )vk (n)
c(n +1) = (I − μQΛQH )c(n)
等式两端左乘 QH
QHc(n +1) = (I − μΛ)QHc(n)
定义新的坐标集 v(n) = QHc(n) = QH (wo − w(n))
v(n +1) = (I − μΛ)v(n)
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
二、利用最陡下降方法求解Wiener滤波器
假定 p 和 R 已知，在给定抽头加权向量 w(n) 条件下，
可以计算梯度向量 ∇J (n)
∇J (n) = −2p + 2Rw(n)
⎢
∇J
(n)
=
⎢ ⎢
∂J (n) + j ∂J (n) ∂a1(n) ∂b1(n)
⎥ ⎥ ⎥
⎢
⎥
⎢ ⎢
∂J (n)
⎢⎣ ∂aM −1(n)
+
j
∂J (n)
⎥ ⎥
∂bM −1(n) ⎥⎦
= −2p + 2Rw(n)
∂J (n) / ∂ak (n) ，∂J (n) / ∂bk (n) 分别表示代价函数 J (n) 对第 k 个抽头 wk (n) 的实部 ak (n) 和虚部 bk (n) 的偏微分， k = 0,1, 2…, M −1
自适应信号处理
第二部分 最小均方自适应算法
邹斌
哈尔滨工业大学 信息工程系
自适应信号处理
最小均方算法自适应滤波器
Adaptive Signal Processing
最小均方算法自适应滤波器
引言
2010年3月23日
Wiener-Hopf方程
M −1
∑ woir(i − k) = p(−k)
i=0
Rwo = p
自适应过程——动态的过程
算法的过程，算法的稳定性以及收敛特性。
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
一、最陡下降方法
定义某一加权向量 w 的代价函数 J (w) 。
连续可微分方程。这个函数将w的元素映射为实数。
k = 1, 2,…, M
λk 为 R的第 k 个特征值
一阶齐次差分方程
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
2
n 表示迭代次数， μ 为一个正常数，称为步长尺寸参数
（step-size parameter）， 1 使计算方便。 2
从迭代 n 到 n +1，算法对加权向量的调整为
δ w(n) = w(n +1) − w(n) = − 1 μg(n)
2
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
wo是由Wiener-Hopf方程确定的最优解
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
三、最陡下降方法性能分析
利用Wiener-Hopf方程 Rwo = p 可以得到
c(n +1) = (I − μR)c(n)
Adaptive Signal Processing
即代价函数J (w) 变化梯度的相反方向
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
最陡下降方法
Adaptive Signal Processing
一、最陡下降方法
令J (w) 变化梯度为
g = ∇J (w) = ∂J (w) ∂w
可以将最陡下降算法表示为 w(n +1) = w(n) − 1 μg(n)