Lecture.LMS算法介绍

LMS算法介绍
最小均方算法（Least Mean Square, LMS）是一种简单、应用为广泛的自适应滤波算法，是在维纳滤波理论上运用速下降法后的优化延伸，早是由Widrow 和Hoff 提出来的。

该算法不需要已知输入信号和期望信号的统计特征，“当前时刻”的权系数是通过“上一时刻”权系数再加上一个负均方误差梯度的比例项求得。

这种算法也被称为Widrow-Hoff LMS 算法，在自适应滤波器中得到广泛应用，其具有原理简单、参数少、收敛速度较快而且易于实现等优点。

1 最小均方误差以及均方误差曲面
自适应滤波算法从某种角度也被称为性能表面搜索法，在性能曲面中，它是通过不断测量一个点是否接近目标值，来寻找优解的。

目前，使用为广泛的曲面函
数之一是均方误差(MSE)函数，函数表达式如下：。

准则函数设计为求均方误差函数的小值，我们称之为小均方误差准则（MMSE），
维纳滤波器就是基于这个准则推到出来的。

公式：，从上式可以看出均方误差与滤波器权向量是成二次函数关系，引入均方误差曲面来描述函数的映射关系，对应的权向量w的二次函数就是一个超抛物曲面。

2 LMS算法基本原理
根据小均方误差准则以及均方误差曲面，自然的我们会想到沿每一时刻均方误差的陡下降在权向量面上的投影方向更新，也就是通过目标函数的反梯度向
量来反复迭代更新。

由于均方误差性能曲面只有一个唯一的极小值，只要收敛步长选择恰当，不管初始权向量在哪，后都可以收敛到误差曲面的小点，或者是在它的一个邻域内。

这种沿目标函数梯度反方向来解决小化问题的方法，我
们一般称为速下降法，表达式如下：，基于随机梯度算法的小均方自适应滤波算法的完整表达式如下：
LMS 自适应算法是一种特殊的梯度估计，不必重复使用数据，也不必对相关矩阵和互相关矩阵进行运算，只需要在每次迭代时利用输入向量和期望响应，结构简单，易于实现。

虽然LMS 收敛速度较慢，但在解决许多实际中的信号处理问题，LMS 算法是仍然是好的选择。

3 LMS算法性能分析
随机梯度LMS 算法的性能前人有过大量研究，按照前一章所提到的自适应滤波性能指标，假设输入信号和期望信号具有联合平稳性，详细讨论基于横向FIR 结构的滤波器的标准LMS 算法的四个性能：一、收敛性；二、收敛速度；三、稳态误差；四、计算复杂度。

只有在输入信号具有严格稳定的统计特性时，权向量的优解是不变的。

否则，将会随着统计特性的变化而变化。

自适应算法则能够通过不断的调整滤波器权向量，使权向量接近优解。

因此，自适应算法在平稳条件下的性能表现可以认为是非平稳条件下的一种特殊情况。

如果在平稳条件下，自适应算法能够快速，平稳的逼近权向量的优值，那么在非平稳条件下，该算法也能很好的逼近时变的权向量优解。

4 影响LMS性能的因素
经过上节对LMS 算法的性能分析，可知衡量其性能的指标主要有收敛速度，稳态误差和计算复杂度等。

因此在设计自适应滤波器时就必须考虑自适应滤波算法是否能够具有快速的收敛速度，较低的稳态误差与计算复杂度，但是这些指标之间常常存在着矛盾的。

例如，收敛速度和稳态误差是成反比，有些改进算法的优异性能也通常相对的增加计算复杂度。

因此我们需要在这些参数中寻找一个平衡，大程度的提高算法的性能。

影响自适应算法性能参数，主要有步长因子，滤波器阶数和滤波器权系数的初始值。