LMS自适应滤波算法

1 LMS 算法简介
LMS 算法是线性自适应滤波算法，一般来说包含两个基本过程： （1） 滤波过程：计算线性滤波器输出对输入信号的响应，通过比较输出与期望响应产生 估计误差。 （2） 自适应过程：根据估计误差自动调整滤波器参数。 如图 1-1 所示，用X n = [x n x n − 1 … x(n − N + 1)]������ 表示 n 时刻输入信号矢量， 用 W n = [w_0 (n) w_1 (n) … w_(N − 1) (n)]������ 表示 n 时刻 N 阶自适应滤波器的权重系数， d(n)表示期望信号，e n 表示误差信号，v n 是主端输入干扰信号，u 是步长因子。则基本 的 LMS 算法可以表示为 e n = d n − ������ ������ (������)������(������) （1） W n + 1 = W n + 2ue(n)X(n)（2）
LMS学 习 曲 线 10 9 8 7 6 u=0.001 u=0.003
平方误差
5 4 3 2 1 0
0
500
1000
1500
2000
2500
图 2-2 不同迭代步长下 LMS 学习曲线 从图 2-2 很容易看出 u=0.003 时比 u=0.001 收敛速度要快，但是稳态误差也比较大。
3 一种变步长 LMS 算法
图 3-1 参数α对曲线的影响
图 3-2 参数β对曲线的影响 参数α，β选择原则，使初始误差|e(n)|对应的步长 u 值较大（在使算法收敛的范围 内） ，如果需要较高的收敛速度，可选取较大的α值。
3.2 实验验证
仿真实验条件:未知系统 FIR 系数������ ∗ = [0.8，0.5]������ ；参考输入信号 x(n)是零均值， 方差为 1 的高斯白噪声； v(n)是与 x(n)不相关的高斯白噪声， 均值是零， 方差为 0.04； 200 次独立仿真，采样点数为 1000。 参数α = 300，β = 0.1和不同迭代步长下固定步长的 LMS 曲线做了对比，仿真结果如 下图 3-3，图 3-4，图 3-5
可见 LMS 算法的失调误差恒不为零。也可以看出 u 越大失调误差会越大。收敛速度和 稳态误差不可兼得，由步长 u 控制两者的折衷。
2.2 实验验证
白噪声经过 AR 模型的输作为 LMS 算法的输入，AR 模型参数：a1=1.558;a2=-0.81 算法迭代次数 2048 （1） 给出了固定步长 u=0.001 单次运算和 200 次运算的权值随 n 变换曲线。 （2） u=0.001 和 u=0.003 学习曲线
2
单次运算 200次 运 算 平 均
1.5
1
抽头权值
0.5
0
-0.5
-1
0
500
1000
1500
2000
2500
图 2-1 单次运算与 200 次运算 200 次独立仿真集平均后权重系数随 n 变化的曲线比较平滑。最终权重系数收敛结果 确实在 1.558 和-0.81 附近。 迭代步长对收敛速度和稳态误差的影响：
400 500 600 迭代次数7008009001000
图 3-4 u=0.02
10
0
LMS学 习 曲 线 固 定 步 长 u=0.05 变步长
均方误差
10
-1
10
-2
0
100
200
300
400 500 600 迭代次数
700
800
900
1000
图 3-5 u=0.05
观察图 3-3、图 3-4 和图 3-5，看到变步长 LMS 算法收敛速度优于固定步长收敛速度。
参考文献
【1】 谷源涛.LMS 算法收敛性能研究与应用【博士毕业论文】 【2】 Simon.Haykin.自适应滤波器原理（中文第四版） 【3】 高鹰，谢胜利.一种变步长自适应滤波算法及分析.电子学报.August 2001
10
0
LMS学 习 曲 线 固 定 步 长 u=0.01 变步长
均方误差
10
-1
10
-2
0
100
200
300
400 500 600 迭代次数
700
800
900
1000
图 3-3 u=0.01
10
0
LMS学 习 曲 线 固 定 步 长 u=0.02 变步长
均方误差
10
-1
10
-2
0
100
200
300
3.1 理论分析
由迭代步长 u 对 LMS 算法的影响可知，减小步长因子 u 可减少自适应滤波算法的 稳态噪声，提高算法的收敛精度。同时也会降低算法的收敛速度和跟踪速度。 为了同时获得较好地收敛速度和稳态误差，变步长算法被提出，在算法运行过程中 动态地调整步长因子 u，调整的原则是在初始收敛阶段或者系统参数发生变化时，步 长应该比较大， 以便有较快的收敛速度和对时变系统的跟踪速度； 而在算法收敛后， 不管主输入端干扰信号v(n)有多大， 都应该保持很小的调整步长以达到很小的稳态失 调噪声。 根据这一调整原则，很多变步长算法被提出。其中一种是 Sigmoid 函数的简化版， 步长 u 和 e(n)关系如下： u n = β(1 − exp⁡ (−α|e(n)|2 )) 其中参数α > 0控制函数的形状，参数β > 0控制函数的取值范围。u n 和 e(n)的函 数曲线如图 3-1 和图 3-2
LMS 自适应滤波算法
1960 年 Widrow 和 Hoff 提出最小均方误差算法（LMS） ，LMS 算法是随机梯度算法中的 一员。使用“随机梯度”一词是为了将 LMS 算法与最速下降法区别开来。该算法在随机输 入维纳滤波器递归计算中使用确定性梯度。LMS 算法的一个显著特点是它的简单性。此外， 它不需要计算有关的相关函数，也不需要矩阵求逆运算。 由于其具有的简单性、鲁棒性和易于实现的性能，在很多领域得到了广泛的应用。
图 1-1 自适应滤波原理框图 由上式可以看出 LMS 算法实现起来确实很简单，一步估计误差（1） ，和一步跟新权向 量（2） 。
2 迭代步长 u 的作用
2.1 理论分析
尽管 LMS 算法实现起来较为简单，但是精确分析 LMS 的收敛过程和性能却是非常困难 的。最早做 LMS 收敛性能分析的是 Widrow 等人，他们从精确的梯度下降法出发，研究权矢 量误差的均值收敛特性。最终得到代价函数的收敛公式： 1 2������ J n = ������������������������ + ������− ������������ ′ 2 (0)（3） ������ =0 ������������ 1 − ������������������ 式（3）揭示出 LMS 算法代价函数的收敛过程表现为一簇指数衰减曲线之和的形式，每 条指数曲线对应于旋转后的权误差矢量的每个分量， 而他们的衰减速度， 对应于输入自相关 矩阵的每个特征值，第 i 条指数曲线的时间常数表示为 −1 1 τi = ≈ 2 ln⁡ (1 − u������������ ) 2������������������ 小特征值对应大时间常数，即衰减速度慢的曲线。而大特征值对应收敛速度快的曲线，但是 如果特征值过大以至于(1 − u������������ )2 > 1则导致算法发散。 从上式可以明显看出迭代步长 u 在 LMS 算法中会影响算法收敛的速度，增大 u 可以加快算 法的收敛速度，但是要保证算法收敛。 最大步长边界: 2 ������max = ������������������������������{������} 稳态误差时衡量 LMS 算法的另一个重要指标， 稳定的 LMS 算法在 n 时刻所产生的均方误差， 其最终值J(∞)是一个常数。用������������������������ 来表示维纳解对应的均方误差，则稳态误差可以定义为： ������ ∞ − ������min ������ = ������������������������ Widrow 给出的失调误差： M= ������ ������������������������������{������} 2