2010自适应信号处理第04章最陡下降方法

c(n) = wo − w(n)
wo是由Wiener-Hopf方程确定的最优解
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
三、最陡下降方法性能分析
利用Wiener-Hopf方程 Rw o = p 可以得到
2010年3月23日 哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
二、利用最陡下降方法求解Wiener滤波器
加权向量的修正 δ w(n) 还可以 表示为步长尺寸参数 μ 乘以 加权抽头向量 w (n) 与估计误 差 e(n) 的内积的形式
Q 由相应特征值所对应的特征向量 q1 , q 2 ,… , q M 构成
从而有
c(n + 1) = (I − μQΛQH )c(n)
QH c(n + 1) = (I − μ Λ)QH c(n)
等式两端左乘 QH
定义新的坐标集 v(n) = QH c(n) = QH (wo − w(n))
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
二、利用最陡下降方法求解Wiener滤波器
由梯度定义
⎡ ∂J (n) ⎢ ∂a (n) + 0 ⎢ ⎢ ∂J (n) ⎢ ∂a (n) + ∇ J ( n) = ⎢ 1 ⎢ ⎢ ⎢ ∂J (n) + ⎢ ∂aM −1 (n) ⎣ = −2p + 2Rw (n) ∂J (n) ⎤ j ∂b0 (n) ⎥ ⎥ ∂J (n) ⎥ j ∂b1 ( n) ⎥ ⎥ ⎥ ⎥ ∂J (n) ⎥ j ∂bM −1 (n) ⎥ ⎦
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
一、最陡下降方法
J (w(n + 1)) ≤ J (w(n))
是否满足?
将J (w(n+1)) 在w(n)处进行Taylor级数展开，保留第一项
J (w(n + 1)) ≈ J (w(n)) + g H (n)δ w(n)
c(n + 1) = (I − μ R)c(n)
基于加权误差向量 的最陡下降算法
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
三、最陡下降方法性能分析
自相关函数矩阵可以表示为 R = QΛQ H
Λ 为由 R 的特征值 λ1 , λ2 ,… , λM 构成的对角阵，
2 J ( n) = σ d − w H ( n)p − p H w ( n) + w H ( n)Rw ( n)
σ d2 为理想响应为 d ( n) 的方差， 表示滤波器输入 u( n) 与理想输出 p
d ( n) 的互相关向量， R 为抽头输入序列 u ( n) 的自相关矩阵
2 J (w ) = σ d − w H p − p H w + w H Rw
∇k J = ∂J ∂J +j ∂ak ∂bk
M −1 i =0
= −2 p (− k ) + 2 ∑ wi r (i − k )
∂J (n) / ∂ak (n) ，∂J (n) / ∂bk (n) 分别表示代价函数 J (n) 对第 k 个抽头
wk (n) 的实部 ak (n) 和虚部 bk (n) 的偏微分， k = 0,1, 2… , M − 1
Wiener解 适用于平稳过程
解确定
2010年3月23日 哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最小均方算法自适应滤波器
Adaptive Signal Processing
最小均方算法自适应滤波器
引言
线性预测及联合过 程估计 基于Wiener解
解确定
2010年3月23日 哈尔滨工业大学信息工程系 邹斌
2010年3月23日 哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
抽头上的输入 u (n), u ( n − 1),… u ( n − M + 1) ， 由相关矩阵为 的广义平稳随机过程得到。
R 二、利用最陡下降方法求解Wiener滤波器
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
一、最陡下降方法
令J (w) 变化梯度为 可以将最陡下降算法表示为
∂J ( w ) g = ∇J (w ) = ∂w
1 w(n + 1) = w(n) − μ g(n) 2
抽头加权 w0 (n), w1 (n),… wM −1 (n)
理 想 响 应 d (n)
参数可变横向滤波器
2010年3月23日 哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
二、利用最陡下降方法求解Wiener滤波器
T 令在时间n的抽头输入向量为 u(n) = [u (n), u (n − 1),… u (n − M + 1)]
u(n) = [u (n), u (n − 1),… u (n − M + 1)] 为输入信号 u (t ) 的样本
T
d (t ) 为理想输出并且 u (t ) 和 d (t ) 是联合平稳过程
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最小均方算法自适应滤波器
Adaptive Signal Processing
自适应信号处理 第二部分 最小均方自适应算法
邹斌
哈尔滨工业大学 信息工程系
自适应信号处理
最小均方算法自适应滤波器
Adaptive Signal Processing
最小均方算法自适应滤波器
引言
Wiener-Hopf方程
M −1 i =0
∑w
oi
r (i − k ) = p (− k )
Rw o = p
自适应信号处理
最小均方算法自适应滤波器
Adaptive Signal Processing
最小均方算法自适应滤波器
引言
求解Wiener-Hopf方程要求：设计时已知输入的统计特性 需要研究处理未知输入的滤波器 参数可变
自适应
FIR自适应滤波器 已知一可变参数FIR滤波器，其输出为
* y ( n) = ∑ wk (n)u (n − k ) = w H ( n)u(n − k ), n = 1, 2, … , ∞ k =0 M
自适应信号处理
第二部分：最小均方自适应算法
最陡下降方法
邹斌
哈尔滨工业大学 信息工程系
2010年3月23日 哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
引言
经典的基于梯度适应的优化技术――最陡下降方法 （Method of Steepest descent） 是其它基于梯度的算法的基础。 特点：递归的。采用反馈系统，逐步迭代计算。 当用于Wiener滤波器时，可以跟踪系统统计特性 的变化，而不用求解Wiener-Hopf方程。在一定合 适的条件下，获得的阶逼近Wiener最优解。 自适应过程——动态的过程
与抽头加权向量 w (n) = [ w0 (n), w1 (n),… wM −1 (n) ] 的内积
T T
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
二、利用最陡下降方法求解Wiener滤波器
如果抽头输入向量 u ( n ) 与理想响应为 d ( n ) 是联合平稳的， 则在时间 n 的均方误差或代价函数 J ( ( w ) ) ，或 J ( n ) ，是抽 头加权向量的二阶函数
n 表示迭代次数， μ 为一个正常数，称为步长尺寸参数 1 （step-size parameter） 使计算方便。 ， 2
从迭代 n 到 n + 1，算法对加权向量的调整为
1 δ w(n) = w(n + 1) − w(n) = − μ g(n) 2
2010年3月23日 哈尔滨工业大学信息工程系 邹斌
寻找一个适应过程 w ( n + 1) = w ( n ) + δ w ( n ) ，使得这个过程 收敛到 Wiener 滤波器最优解，即 w ( n + 1) → w o 。
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
算法的过程，算法的稳定性以及收敛特性。
2010年3月23日 哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
一、最陡下降方法
定义某一加权向量 w 的代价函数 J ( w ) 。
连续可微分方程。这个函数将w的元素映射为实数。 希望找到最优解wo，满足以下条件
δ w (n + 1) = μ E ⎡u(n)e* (n) ⎤ ⎣ ⎦
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
三、最陡下降方法性能分析
最陡下降方法存在反馈，因此可能不稳定。 其稳定性取决于两个因素： 步长尺寸参数μ 相关矩阵R （一）最陡下降方法稳定性 定义时间n的加权误差向量（weight-error vector）
在 μ 取较小值时成立
1 2
将 δ w(n) = w(n + 1) − w(n) = − μ g(n) 代入，从而得到
1 J (w(n + 1)) ≈ J (w(n)) − μ g(n) 2
2
当 μ 为正数时，J (w(n + 1)) ≤ J (w(n)) 成立。 n 随 增大， J (n) 递减，在 n = ∞ 时逼近最小值 J min 。
以初始假设值 w(0) 开始， 生成一个加权向量序列 w (1), w (2), … ， 代价函数 J ( w ) 随着算法的每一次迭代而减小
J (w(n + 1)) ≤ J (w(n))
w ( n ) 为旧的加权向量， w (n + 1) 为更新的加权向量。
希望迭代最终可以收敛到最优解wo 最陡下降方法――连续调整w，使其沿最陡的方向变化 即代价函数J (w) 变化梯度的相反方向
1 w(n + 1) = w(n) − μ g(n) 2
1 w(n + 1) = w(n) − μ g(n) = w(n) + μ [p − Rw(n)] n = 0,1, 2… 2
在时间 n + 1 时所作的加权向量的 修正 δ w(n) 等于 μ [p − Rw (n) ]
最陡下降算法的信号流图
最小均方算法自适应滤波器
引言 可变抽头加权向量
w ( n) = [ w0 ( n), w1 (n),… wM −1 ( n) ]
T
可以在每一个时间上进行更新
自适应滤波器设计要求
给定 w ( n ) = [ w0 ( n ), w1 ( n ), … wM −1 ( n ) ] ，在任意初始条件下，
T
2010年3月23日 哈尔滨工业大学信息工程系 邹斌
自适应信号处理
Hale Waihona Puke Baidu
最陡下降算法
Adaptive Signal Processing
最陡下降方法
二、利用最陡下降方法求解Wiener滤波器
假定 p 和 R 已知，在给定抽头加权向量 w(n) 条件下， 可以计算梯度向量 ∇J (n)
∇J ( n) = −2p + 2Rw (n)
J (wo ) ≤ J (w)
非限制优化
对于所有w
解决自适应滤波非限制优化问题的方法――局部迭代下降 （local iterative descent）
2010年3月23日
哈尔滨工业大学信息工程系 邹斌
自适应信号处理
最陡下降算法
Adaptive Signal Processing
最陡下降方法
一、最陡下降方法
ˆ 相应的理想输出的估计为 d (n | U n )
U n 表示由 u (n), u (n − 1),… u (n − M + 1) 所张成的空间
定义估计误差为
ˆ e(n) = d (n) − d (n | U n ) = d (n) − w H (n)u(n)
w H (n)u(n) 是抽头输入向量 u(n) = [u (n), u (n − 1),… u (n − M + 1) ]