线性滤波的认识及其研究现状
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H X(k|k-1))(7)
其中Kg为卡尔曼增益(Kalman Gain)：
Kg(k)= P(k|k-1) H’ / (H P(k|k-1) H’ + R)(8)
到现在为止，我们已经得到了k状态下最优的估算值X(k|k)。但是为了要令卡尔曼滤波器不断的运行下去直到系统过程结束，我们还要更新k状态下X(k|k)的协方差：
1、维纳滤波维纳滤波器自身是一个FIR或IIR滤波器，对于一个线性系统，如果其冲激响应为h(n),则当输入某一随机平稳信号x(n)时，它的输出可表示为：
（1）
这里的输入
（2）
式中s(n)代表信号，v(n)代表噪声，我们希望这种线性系统的输出是尽可能地逼近s(n)的某种估计，并用 表示，即：
y(n)= (3)
3)稳态误差及失调系数：由于LMS算法的加权矢量W(n)具有随机性，使得LMS算法的E[e2(n)]将高于最陡下降法的E[e2(n)]。特别是，对于LMS算法来说，在E[W(n)]收敛到最佳值Wopt后，由于加权矢量W(n)，继续按公式W(n+1)=W(n)+2μe(n)X(n)变化，其校正值2μe(n)X(n)不为零而是随机起伏，从而使W(n)继续随机起伏。这就使得LMS算法的E[W(n)]收敛到Wop后，均方误差e将大于维纳误差εmin。Widrow引入失调系数 来描述的稳态均方误差对维纳误差相对偏差[9]。
粒子滤波不需要对状态变量的概率密度做过多的约束，其算法可以作为解决SLAM问题的有效手段。研究人员认为在解决所有状态估计的滤波问题时获得滤波性能最好的方法就是粒子滤波算法，它甚至优于卡尔曼滤波方法。但作为抽样贝叶斯估计算法，其只是随着抽样粒子数的不断增大，逐渐趋向状态的后验概率密度，因此，能够有效地减少样本数量的自适应采样策略是该算法的重点，所以就理论基础而言，粒子滤波算法与EKF一样也是一种次优的滤波方法。另外，重采样阶段会造成样本有效性和多样性的损失，导致样本贫化现象。如何保持粒子的有效性和多样性，克服样本贫化，是该算法研究的另一重点。
自适应滤波算法可有效解决粒子滤波的计算量问题。其指导思想是构造迭代算法，该迭代算法在每获得新的输入数据的同时，按某一准则（例如最小均方误差准则）更新滤波器的参数。具有某种学习的能力。自适应滤波技术对干扰频率不敏感，在一些信号和噪声特性无法预知或其特征是随时间变化的情况下，通过自适应算法调整滤波器系数，使滤波器的特性随信号和噪声的变化而变化，达到最优的滤波效果，弥补了固定全系数的维纳滤波器和卡尔曼滤波器的不足[10]。
首先，我们先要引入一个离散控制过程的系统。该系统可用一个线性随机微分方程来描述：X(k)=A X(k-1)+B U(k)+W(k)，再加上系统的测量值：Z(k)=H·X(k)+V(k)。两式子中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量。A和B是系统参数，对于多模型系统，他们为矩阵。Z(k)是k时刻的测量值，H是测量系统的参数，对于多测量系统，H为矩阵。W(k)和V(k)分别表示过程和测量的噪声。他们被假设成高斯白噪声(White Gaussian Noise)，他们的协方差分别为Q，R（这里我们假设他们不随系统状态变化而变化）。下面我们来用他们结合他们的协方差估算系统的最优化输出
我们先利用系统的过程模型，来预测下一状态的系统。假设现在的系统状态是k，根据系统的模型，可以基于系统的上一状态而预测出现在状态：
X(k|k-1)=A X(k-1|k-1)+BU(k)(5)
式(5)中，X(k|k-1)是利用上一状态预测的结果，X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0。到现在为止，我们的系统结果已经更新Байду номын сангаас，可是对应于X(k|k-1)的协方差还没更新。我们用P表示协方差：
线性滤波的认识及其研究现状
一、基本概念
滤波器：一个器件（硬件或软件），对混有噪音的数据序列过滤或估计，达到提取有用信息的目的。滤波器的三种基本信号处理模式为：滤波、平滑和预测。所谓线性滤波，就是指滤波器的输出（被滤波，平滑，预测的输出量）是其输入数据的线性加权。
二、线性滤波方法的提出背景
历史上最早考虑的是维纳滤波，是在1942年美国科学家N.维纳为解决对空射击的控制问题所建立。20世纪60年代又提出了卡尔曼滤波。卡尔曼在NASA埃姆斯研究中心访问时,发现他的方法对于解决阿波罗计划的轨道预测上很有用,后来阿波罗飞船的导航电脑使用了这种滤波器。随即1957~1966年美国通用公司应用于天线，为了抑制旁瓣而提出了自适应DF。自适应滤波器的奠基人是美国B.Windrow及Hoff：提出自适应DF算法，主要用于随机信号处理。20世纪50年代末Hemm ersley等人提出了基于贝叶斯采样估计得顺序重要采样滤波思想[1]，60年代以后粒子滤波技术得到了一定发展。直到20世纪90年代出，Gordan等人提出在递推过程中重新抽样的思想，奠定了粒子滤波实用性的基础[2]。
因而该系统实际上也就是对于s(n)的一种估计器。这种估计器的主要功能是利用当前的观测值x(n)以及一系列过去的观测值x(n-1)，x(n-2)，……来完成对当前信号的某种估计。维纳滤波是以最小均方误差作为计算准则的一种滤波。设信号的真值与其估计值分别为s(n)和 ，而它们之间的误差e(n)=s(n)- ,则称为估计误差。估计误差e(n)为可正可负的随机变量，用它的均方值描述误差的大小显然更为合理。而均方误差最小，也就是：
（19）
式中Pin为输入信号x(n)的功率。可以写出下列的收敛充分条件0<μ<(MPin)-1。
2)LMS算法加权矢量平均值的过渡过程为
（20）
其中 ，E[wi(n)]为E[w(n)]的第i个分量。即LMS算法的加权矢量分量的平均值按M个指数函数之和的规律。由初始值收敛到最佳值．而指数函数的时间函数与特征值成反比。最陡下降法中关于加权矢量过渡过程的其他结论亦适用于LMS算法加权矢量的平均值。即E[wi(n)]取决于最慢的一个指数过程。μ值对E[wi(n)]的收敛过程有很大影响。μ值必须选得满足收敛条件。并且．在收敛范围内。μ越大，E[wi(n)]收敛越快。
假定动态时变系统描述如下：
， （10）
若已知状态的初始概率密度函数为p(x0|z0)=p(x0)，则状态预测方程为
（11）
更新状态方程为：
（12）
其中 （13）
式（11）~（13）描述了最优贝叶斯估计的基本思想，但式（11）中的积分项仅对某些动态系统获得解解析[7]，对于非高斯非线性系统，由于SIS（基于贝叶斯采样估计得顺序重要采样）方法受到计算量的制约，始终没有较好的解决办法。
P(k|k)=（I-Kg(k) H）P(k|k-1)(9)
其中I为1的矩阵，对于单模型单测量，I=1。当系统进入k+1状态时，P(k|k)就是式子(6)的P(k-1|k-1)。这样，算法就可以自回归的运算下去。
图2卡尔曼滤波控制系统结构图
3、粒子滤波粒子滤波是指：通过寻找一组在状态空间中传播的随机样本对概率密度p(xk|zk)进行近似，以样本均值代替积分运算，从而获得状态最小方差估计的过程，这些样本即称为“粒子”。采用数学语言描述如下：对于平稳的随机过程，假定k-1时刻系统的后验概率密度为p(xk-1|zk-1)，依据一定原则选取n个随机样本点，k时刻获得测量信息后，经过状态和时间更新过程，n个粒子的后验概率密度可以近似为p(xk|zk)。随着粒子数目的增加，粒子的概率密度函数逐渐逼近状态的概率密度函数，粒子滤波估计即达到了最优贝叶斯估计的效果[6]。
卡尔曼滤波其在运算量上明显优于维纳滤波。最初提出的滤波理论只适用于线性系统。随后Bucy，Sunahara等人提出并研究的扩展卡尔曼滤波（EKF），是将卡尔曼滤波理论进一步应用到非线性领域。EKF的基本思想是将非线性系统进行线性化，然后进行卡尔曼滤波，因此EKF是一种次优滤波。卡尔曼滤波主要缺点：一是没有考虑到误差的分布情况而简单认为均值能够准确预测；二是认为状态误差可通过一个独立的线性系统产生。这在应用上造成了状态估计精度有时较低、且易出现滤波发散等情况。只能说，卡尔曼滤波方法是线性高斯假设条件下贝叶斯估计的解析形式，是线性高斯动态系统的最优滤波器，非高斯分布情况下性能表现不佳。
P(k|k-1)=A P(k-1|k-1) A’+Q(6)
式(6)中，P(k|k-1)是X(k|k-1)对应的协方差，P(k-1|k-1)是X(k-1|k-1)对应的协方差，A’表示A的转置矩阵，Q是系统过程的协方差。式子(5)，(6)就是对系统的预测。现在我们有了现在状态的预测结果，然后我们再收集现在状态的测量值。结合预测值和测量值，我们可以得到现在状态(k)的最优化估算值X(k|k)：
三、各线性滤波方法的算法
在实际的日常生活中，人们要接触很多图像、画面。而在景物成像这个过程里可能会出现模糊、失真或混入噪声，最终导致图像质量下降，这种现象称为图像“退化”[3]。因此我们可以采取一些技术手段来尽量减少甚至消除图像质量的下降。现针对以上提出的主要线性滤波方法维纳滤波、卡尔曼滤波、自适应滤波、粒子滤波简要介绍其算法。
E[e2(n)]=E[(s- )2] (4)
最小。利用最小均方误差作为最佳过滤准则比较方便，它不涉及概率的描述，而且以它导出的最佳线性系统对其它很广泛的一类准则而言也属最佳[4]。
图1维纳滤波器的一般结构
2、卡尔曼滤波[5]卡尔曼滤波是解决状态空间模型估计与预测的有力工具之一，它不需存储历史数据，就能够从一系列的不完全以及包含噪声的测量中，估计动态系统的状态。它的基本思想是：以最小均方误差为最佳估计准则，采用信号与噪声的状态空间模型，利用前一时刻的估计值和当前时刻的观测值来更新对状态变量的估计，求出当前时刻的估计值。其实质是由量测值重构系统的状态向量。它以“预测—实测—修正”的顺序递推，是一种递归的估计，因此不需要记录观测或者估计的历史信息。
四、四种线性滤波器图像处理效果图
图4原图图5加入高斯白噪声
图6维纳滤波效果图图7卡尔曼滤波效果图
图8粒子滤波效果图图9自适应滤波效果图
五、总结四种线性滤波优缺点及最佳线性滤波
维纳滤波只适用于平稳的随机信号，其公式是通过平稳过程的谱分解导出的，所以难以推广到较一般的非平稳过程和多维情形，因而应用范围受到限制。另一方面，它不仅需要当前观测值，还需要所有过去观测值来估计当前信号的估计值，所以在不断增加观测结果时，不易从已算出的滤波值及新的观测值较简单地求出新的滤波值，特别是不能满足在电子计算机上快速处理大量数据的需要，所以维纳滤波不是最佳线性滤波。
w(n+1)=w(n)+μk[-▽(n)]（17）
式中k是收敛因子。
LMS算法进行梯度估计的方法是以误差信号次迭代的瞬时平方值代替其均方值，并以此估计度。得出LMS算法的权系数递推公式：
w(n+1)=w(n)+2μe(n)x(n)（18）
图3 LMS算法的网络结构实现方式[8]
1)LMS算法加权矢量平均值的收敛条件为：当且仅当0<μ<l／max时。因此实用时 很少能够知道Rxx的各个特征值，还可用输入功率来确定收敛条件。实际上有max≤TrRxx,其中 TrRxx为Rxx的迹且
y(n)=w(n-1)x(n)(14)
e(n)=d(n)-y(n)(15)
w(n)=w(n-1)+2μe(n)x(n)(16)
其中y(n)为滤波器的输出，d(n)为期望信号，e(n)为误差信号，w(n)为滤波器的加权系数，μ为迭代步长。LMS算法一般采用牛顿法或最速下降法在性能表面上搜索，最终达到最小均方值和实现最佳权系数矢量，按照最速下降法。系统均方误差的梯度反方向求取权系数矢量。
4、自适应滤波最小均方(Least mean square，LMS)算法本质上是随机梯度法。它的稳定性、收敛性和稳态性能均与自适应滤波器的权系数矢量W(n)的系数数目和输入信号的功率有关，它不需要有关的相关函数和矩阵的求逆运算。LMS算法的基本思想是通过调整滤波器自身参数，使滤波器输出信号与期望信号之问的均方误差最小，这样系统输出的信号叫做最佳估计信号：
其中Kg为卡尔曼增益(Kalman Gain)：
Kg(k)= P(k|k-1) H’ / (H P(k|k-1) H’ + R)(8)
到现在为止，我们已经得到了k状态下最优的估算值X(k|k)。但是为了要令卡尔曼滤波器不断的运行下去直到系统过程结束，我们还要更新k状态下X(k|k)的协方差：
1、维纳滤波维纳滤波器自身是一个FIR或IIR滤波器，对于一个线性系统，如果其冲激响应为h(n),则当输入某一随机平稳信号x(n)时，它的输出可表示为：
（1）
这里的输入
（2）
式中s(n)代表信号，v(n)代表噪声，我们希望这种线性系统的输出是尽可能地逼近s(n)的某种估计，并用 表示，即：
y(n)= (3)
3)稳态误差及失调系数：由于LMS算法的加权矢量W(n)具有随机性，使得LMS算法的E[e2(n)]将高于最陡下降法的E[e2(n)]。特别是，对于LMS算法来说，在E[W(n)]收敛到最佳值Wopt后，由于加权矢量W(n)，继续按公式W(n+1)=W(n)+2μe(n)X(n)变化，其校正值2μe(n)X(n)不为零而是随机起伏，从而使W(n)继续随机起伏。这就使得LMS算法的E[W(n)]收敛到Wop后，均方误差e将大于维纳误差εmin。Widrow引入失调系数 来描述的稳态均方误差对维纳误差相对偏差[9]。
粒子滤波不需要对状态变量的概率密度做过多的约束，其算法可以作为解决SLAM问题的有效手段。研究人员认为在解决所有状态估计的滤波问题时获得滤波性能最好的方法就是粒子滤波算法，它甚至优于卡尔曼滤波方法。但作为抽样贝叶斯估计算法，其只是随着抽样粒子数的不断增大，逐渐趋向状态的后验概率密度，因此，能够有效地减少样本数量的自适应采样策略是该算法的重点，所以就理论基础而言，粒子滤波算法与EKF一样也是一种次优的滤波方法。另外，重采样阶段会造成样本有效性和多样性的损失，导致样本贫化现象。如何保持粒子的有效性和多样性，克服样本贫化，是该算法研究的另一重点。
自适应滤波算法可有效解决粒子滤波的计算量问题。其指导思想是构造迭代算法，该迭代算法在每获得新的输入数据的同时，按某一准则（例如最小均方误差准则）更新滤波器的参数。具有某种学习的能力。自适应滤波技术对干扰频率不敏感，在一些信号和噪声特性无法预知或其特征是随时间变化的情况下，通过自适应算法调整滤波器系数，使滤波器的特性随信号和噪声的变化而变化，达到最优的滤波效果，弥补了固定全系数的维纳滤波器和卡尔曼滤波器的不足[10]。
首先，我们先要引入一个离散控制过程的系统。该系统可用一个线性随机微分方程来描述：X(k)=A X(k-1)+B U(k)+W(k)，再加上系统的测量值：Z(k)=H·X(k)+V(k)。两式子中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量。A和B是系统参数，对于多模型系统，他们为矩阵。Z(k)是k时刻的测量值，H是测量系统的参数，对于多测量系统，H为矩阵。W(k)和V(k)分别表示过程和测量的噪声。他们被假设成高斯白噪声(White Gaussian Noise)，他们的协方差分别为Q，R（这里我们假设他们不随系统状态变化而变化）。下面我们来用他们结合他们的协方差估算系统的最优化输出
我们先利用系统的过程模型，来预测下一状态的系统。假设现在的系统状态是k，根据系统的模型，可以基于系统的上一状态而预测出现在状态：
X(k|k-1)=A X(k-1|k-1)+BU(k)(5)
式(5)中，X(k|k-1)是利用上一状态预测的结果，X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0。到现在为止，我们的系统结果已经更新Байду номын сангаас，可是对应于X(k|k-1)的协方差还没更新。我们用P表示协方差：
线性滤波的认识及其研究现状
一、基本概念
滤波器：一个器件（硬件或软件），对混有噪音的数据序列过滤或估计，达到提取有用信息的目的。滤波器的三种基本信号处理模式为：滤波、平滑和预测。所谓线性滤波，就是指滤波器的输出（被滤波，平滑，预测的输出量）是其输入数据的线性加权。
二、线性滤波方法的提出背景
历史上最早考虑的是维纳滤波，是在1942年美国科学家N.维纳为解决对空射击的控制问题所建立。20世纪60年代又提出了卡尔曼滤波。卡尔曼在NASA埃姆斯研究中心访问时,发现他的方法对于解决阿波罗计划的轨道预测上很有用,后来阿波罗飞船的导航电脑使用了这种滤波器。随即1957~1966年美国通用公司应用于天线，为了抑制旁瓣而提出了自适应DF。自适应滤波器的奠基人是美国B.Windrow及Hoff：提出自适应DF算法，主要用于随机信号处理。20世纪50年代末Hemm ersley等人提出了基于贝叶斯采样估计得顺序重要采样滤波思想[1]，60年代以后粒子滤波技术得到了一定发展。直到20世纪90年代出，Gordan等人提出在递推过程中重新抽样的思想，奠定了粒子滤波实用性的基础[2]。
因而该系统实际上也就是对于s(n)的一种估计器。这种估计器的主要功能是利用当前的观测值x(n)以及一系列过去的观测值x(n-1)，x(n-2)，……来完成对当前信号的某种估计。维纳滤波是以最小均方误差作为计算准则的一种滤波。设信号的真值与其估计值分别为s(n)和 ，而它们之间的误差e(n)=s(n)- ,则称为估计误差。估计误差e(n)为可正可负的随机变量，用它的均方值描述误差的大小显然更为合理。而均方误差最小，也就是：
（19）
式中Pin为输入信号x(n)的功率。可以写出下列的收敛充分条件0<μ<(MPin)-1。
2)LMS算法加权矢量平均值的过渡过程为
（20）
其中 ，E[wi(n)]为E[w(n)]的第i个分量。即LMS算法的加权矢量分量的平均值按M个指数函数之和的规律。由初始值收敛到最佳值．而指数函数的时间函数与特征值成反比。最陡下降法中关于加权矢量过渡过程的其他结论亦适用于LMS算法加权矢量的平均值。即E[wi(n)]取决于最慢的一个指数过程。μ值对E[wi(n)]的收敛过程有很大影响。μ值必须选得满足收敛条件。并且．在收敛范围内。μ越大，E[wi(n)]收敛越快。
假定动态时变系统描述如下：
， （10）
若已知状态的初始概率密度函数为p(x0|z0)=p(x0)，则状态预测方程为
（11）
更新状态方程为：
（12）
其中 （13）
式（11）~（13）描述了最优贝叶斯估计的基本思想，但式（11）中的积分项仅对某些动态系统获得解解析[7]，对于非高斯非线性系统，由于SIS（基于贝叶斯采样估计得顺序重要采样）方法受到计算量的制约，始终没有较好的解决办法。
P(k|k)=（I-Kg(k) H）P(k|k-1)(9)
其中I为1的矩阵，对于单模型单测量，I=1。当系统进入k+1状态时，P(k|k)就是式子(6)的P(k-1|k-1)。这样，算法就可以自回归的运算下去。
图2卡尔曼滤波控制系统结构图
3、粒子滤波粒子滤波是指：通过寻找一组在状态空间中传播的随机样本对概率密度p(xk|zk)进行近似，以样本均值代替积分运算，从而获得状态最小方差估计的过程，这些样本即称为“粒子”。采用数学语言描述如下：对于平稳的随机过程，假定k-1时刻系统的后验概率密度为p(xk-1|zk-1)，依据一定原则选取n个随机样本点，k时刻获得测量信息后，经过状态和时间更新过程，n个粒子的后验概率密度可以近似为p(xk|zk)。随着粒子数目的增加，粒子的概率密度函数逐渐逼近状态的概率密度函数，粒子滤波估计即达到了最优贝叶斯估计的效果[6]。
卡尔曼滤波其在运算量上明显优于维纳滤波。最初提出的滤波理论只适用于线性系统。随后Bucy，Sunahara等人提出并研究的扩展卡尔曼滤波（EKF），是将卡尔曼滤波理论进一步应用到非线性领域。EKF的基本思想是将非线性系统进行线性化，然后进行卡尔曼滤波，因此EKF是一种次优滤波。卡尔曼滤波主要缺点：一是没有考虑到误差的分布情况而简单认为均值能够准确预测；二是认为状态误差可通过一个独立的线性系统产生。这在应用上造成了状态估计精度有时较低、且易出现滤波发散等情况。只能说，卡尔曼滤波方法是线性高斯假设条件下贝叶斯估计的解析形式，是线性高斯动态系统的最优滤波器，非高斯分布情况下性能表现不佳。
P(k|k-1)=A P(k-1|k-1) A’+Q(6)
式(6)中，P(k|k-1)是X(k|k-1)对应的协方差，P(k-1|k-1)是X(k-1|k-1)对应的协方差，A’表示A的转置矩阵，Q是系统过程的协方差。式子(5)，(6)就是对系统的预测。现在我们有了现在状态的预测结果，然后我们再收集现在状态的测量值。结合预测值和测量值，我们可以得到现在状态(k)的最优化估算值X(k|k)：
三、各线性滤波方法的算法
在实际的日常生活中，人们要接触很多图像、画面。而在景物成像这个过程里可能会出现模糊、失真或混入噪声，最终导致图像质量下降，这种现象称为图像“退化”[3]。因此我们可以采取一些技术手段来尽量减少甚至消除图像质量的下降。现针对以上提出的主要线性滤波方法维纳滤波、卡尔曼滤波、自适应滤波、粒子滤波简要介绍其算法。
E[e2(n)]=E[(s- )2] (4)
最小。利用最小均方误差作为最佳过滤准则比较方便，它不涉及概率的描述，而且以它导出的最佳线性系统对其它很广泛的一类准则而言也属最佳[4]。
图1维纳滤波器的一般结构
2、卡尔曼滤波[5]卡尔曼滤波是解决状态空间模型估计与预测的有力工具之一，它不需存储历史数据，就能够从一系列的不完全以及包含噪声的测量中，估计动态系统的状态。它的基本思想是：以最小均方误差为最佳估计准则，采用信号与噪声的状态空间模型，利用前一时刻的估计值和当前时刻的观测值来更新对状态变量的估计，求出当前时刻的估计值。其实质是由量测值重构系统的状态向量。它以“预测—实测—修正”的顺序递推，是一种递归的估计，因此不需要记录观测或者估计的历史信息。
四、四种线性滤波器图像处理效果图
图4原图图5加入高斯白噪声
图6维纳滤波效果图图7卡尔曼滤波效果图
图8粒子滤波效果图图9自适应滤波效果图
五、总结四种线性滤波优缺点及最佳线性滤波
维纳滤波只适用于平稳的随机信号，其公式是通过平稳过程的谱分解导出的，所以难以推广到较一般的非平稳过程和多维情形，因而应用范围受到限制。另一方面，它不仅需要当前观测值，还需要所有过去观测值来估计当前信号的估计值，所以在不断增加观测结果时，不易从已算出的滤波值及新的观测值较简单地求出新的滤波值，特别是不能满足在电子计算机上快速处理大量数据的需要，所以维纳滤波不是最佳线性滤波。
w(n+1)=w(n)+μk[-▽(n)]（17）
式中k是收敛因子。
LMS算法进行梯度估计的方法是以误差信号次迭代的瞬时平方值代替其均方值，并以此估计度。得出LMS算法的权系数递推公式：
w(n+1)=w(n)+2μe(n)x(n)（18）
图3 LMS算法的网络结构实现方式[8]
1)LMS算法加权矢量平均值的收敛条件为：当且仅当0<μ<l／max时。因此实用时 很少能够知道Rxx的各个特征值，还可用输入功率来确定收敛条件。实际上有max≤TrRxx,其中 TrRxx为Rxx的迹且
y(n)=w(n-1)x(n)(14)
e(n)=d(n)-y(n)(15)
w(n)=w(n-1)+2μe(n)x(n)(16)
其中y(n)为滤波器的输出，d(n)为期望信号，e(n)为误差信号，w(n)为滤波器的加权系数，μ为迭代步长。LMS算法一般采用牛顿法或最速下降法在性能表面上搜索，最终达到最小均方值和实现最佳权系数矢量，按照最速下降法。系统均方误差的梯度反方向求取权系数矢量。
4、自适应滤波最小均方(Least mean square，LMS)算法本质上是随机梯度法。它的稳定性、收敛性和稳态性能均与自适应滤波器的权系数矢量W(n)的系数数目和输入信号的功率有关，它不需要有关的相关函数和矩阵的求逆运算。LMS算法的基本思想是通过调整滤波器自身参数，使滤波器输出信号与期望信号之问的均方误差最小，这样系统输出的信号叫做最佳估计信号：