LMS算法的稳定性分析和算法收敛条件

LMS 算法的稳定性分析和算法收敛条件

1最小均方法LMS 简介

LMS （Least Mean Square ）算法是Widrow 和Hoff 于1960年首次提出的，目前仍然是实际中使用的最广泛的一种算法。 LMS 算法是在最陡下降法的基础上实现的，它是维纳滤波和最速下降算法互相结合而生成的一种新的算法。通过维纳滤波所求解的维纳解,.必须在已知输入信号与期望信号的先验统计信息,以及再对输入信号的自相关矩阵进行求逆运算的情况下才能得以确定。因此,这个维纳解仅仅是理论上的一种最优解。但是通过借助于最速下降算法,LMS 算法以递归的方式来逼近这个维纳解,从而避免了矩阵求逆运算。

2LMS 算法的导出

在LMS 算法中用瞬时误差的平方来代替均方误差是LMS 算法最主要的思想,以瞬时误差信号平方的梯度作为均方误差函数梯度的估计。

在最陡下降法中其维纳解方程如下

(1)()k k k μξ

+=-∇w w （1-1） 其中ξk ∇为梯度矢量，此时的

2[()]E e n ξ=, 此时取性能函数()n e 2=ξ来代替之前的性能函数，

则新的维纳方程变为如下形式

2(1)()()n n e n μ+=-∇w w （1-2） 同时又可以求得

22

()()()2()2()()e n e n e n e n e n n ∂∂∇===-∂∂x w w （1-3） 所以LMS 算法的权值更新方程可写成下式

(1)()()()n n e n n μ+=+w w x （1-4） 为了了解LMS 算法与最速下降法所得到的权矢量之间的关系,需要重写LMS 算法的递推公式，

因为)()()()(n w n x n d n e T -=代入LMS 算法的权值更新方程可得

)())()()()(()()1(n x n w n x n d n u n w n w T -+=+ 即)()()())()(()1(n d n ux n w n x n ux I n w T +-=+

对上式求均值，又因为w （n ）和x （n ）不相关，所以 )]

()([)]([)])()([()]1([n d n x uE n w E n x n x uE I n w E T +-=+ （1-5）

其中互相关矢量

T L p p p n d n E ],...,,[)]()([121-==x p

自相关矩阵

()()T E n n ⎡⎤=⎣⎦R x x

把P 和R 代入1-5式可得

uP n w E uR I n w E +-=+)]([)()]1([ （1-6） 由式1-6可知LMS 算法的权矢量的平均值E[w(n)]的变化规律和最速下降法的权矢量w(n)完全一样。最速下降法根据确定性轨迹沿着误差性能曲面计算权向量w(n),最后终止于维纳解w0。而在LMS 算法中,由于每步迭代过程中梯度估值是带噪的,因而权值运动轨迹并不是严格的与真正梯度方向一致。因此LMS 算法的解不是终止于维纳解。

3 LMS 算法的性能指标及性能分析

收敛性

收敛性,即当n 趋于无穷大时,让滤波器权矢量处于某个最优值或者在它的一个邻域范围内而不是越来越远,也就是让w(n)趋于w0所需满足的收敛条件。对任意自适应滤波系统,收敛性是实现其自适应功能的根本保证。

类似于最速下降法,定义权值误差矢量v(n)=w0-w(n),并利用

P=Rwo 。,则将式(1-6)写成v(n)的表达式为

)]([)()]1([n v E uR I n v E -=+ （2-1）

当R 为实数阵时有T =R Q ΛQ ,代入上式可得

)]([)()]1([n v E Q u I Q n v E T Λ-=+ (2-2)

定义正交变换

)()('n v Q n v T =

则式2-2可变为

)]([)()]1([''n v E u I n v E Λ-=+ （2-3） 假设)('n v 有初始值)0('v ，则式2-3可写为

)0()()]([''v u I n v E n Λ-= （2-4） 与最速下降法的收敛条件类似,要使LMS 算法的收敛于均值,则要满足

11<-λu 可解的取值得步长u 范围是 max 20λ<

LMS 算法的收敛速度是滤波器权矢量w(n)从初始值w(0)向最优解w 。收敛的快慢，它是衡量LMS 算法的一个重要指标。由此我们可以看出,滤波器权系数对滤波器的最优解w o 的偏差是呈指数衰减的。只要能够满足式(2一5)所规定的收敛条件,权值误差向量将随着迭代的进行呈现指数下降的趋势,并最终趋近于零使得滤波器权值趋近与最佳滤波器的解w o 。