数学专业外文文献翻译

第3章最小均方算法

3．1 引言

最小均方(LMS,least-mean-square)算法是一种搜索算法，它通过对目标函数进行适当的调整[1]—[2],简化了对梯度向量的计算。由于其计算简单性，LMS算法和其他与之相关的算法已经广泛应用于白适应滤波的各种应用中[3]-[7]。为了确定保证稳定性的收敛因子范围，本章考察了LMS算法的收敛特征。研究表明，LMS算法的收敛速度依赖于输入信号相关矩阵的特征值扩展[2]—[6]。在本章中，讨论了LMS算法的几个特性，包括在乎稳和非平稳环境下的失调[2]—[9]和跟踪性能[10]-[12]。本章通过大量仿真举例对分析结果进行了证实。在附录B的B．1节中，通过对LMS算法中的有限字长效应进行分析，对本章内容做了补充。

LMS算法是自适应滤波理论中应用最广泛的算法，这有多方面的原因。LMS算法的主要特征包括低计算复杂度、在乎稳环境中的收敛性、其均值无俯地收敛到维纳解以及利用有限精度算法实现时的稳定特性等。

3．2 LMS算法

1 / 29

2 / 29

在第2章中，我们利用线性组合器实现自适应滤波器，并导出了其参数的最优解，这对应于多个输入信号的情形。该解导致在估计参考信号以d()k 时的最小均方误差。最优(维纳)解由下式给出：

1

0w R p -=(3.1)

其中，R=E[()x ()]T x k k 且p=E[d()x()] k k ，假设d()k 和x()k 联合广义平稳过程。

如果可以得到矩阵R 和向量p 的较好估计，分别记为()R k ∧

和

()p k ∧

，则可以利用如下最陡下降算法搜索式(3．1)的维纳解： w(+1)=w()-g ()w k k k μ∧

w()(()()w())k p k R k k μ∧∧

=-＋２(3.2)

其中，k ＝0，1，2，…,g ()w k ∧

表示目标函数相对于滤波器系数的梯度向量估计值。

一种可能的解是通过利用R 和p 的瞬时估计值来估计梯度向量，即

()x()x ()T R k k k ∧

= ()()x()p k d k k ∧=(3.3)

得到的梯度估计值为

3 / 29

()2()x()2x()x ()()T w g k d k k k k w k ∧

=-+

2x()(()x ()())T k d k k w k =-+

2()x()e k k =-(3.4)

注意，如果目标函数用瞬时平方误差2()e k 而不是MSE 代替，则上面的梯度估计值代表了真实梯度向量，因为

2

010()()()()2()2()2()()()()T

e k e k e k e k e k e k e k w w k w k w k ⎡⎤

∂∂∂∂=⎢⎥∂∂∂∂⎣⎦L

2()x()e k k =- ()w g k ∧

=(3.5)

由于得到的梯度算法使平方误差的均值最小化．因此它被称为

LMS 算法，其更新方程为

(1)()2()x()w k w k e k k μ+=+(3.6)

其中，收敛因子μ应该在一个范围内取值，以保证收敛性。 图3．1表示了对延迟线输入x()k 的LMS 算法实现。典型情况是，

LMS 算法的每次迭代需要N+2次乘法(用于滤波器系数的更新)，

而且还需要N+1次乘法(用于产生误差信号)。

LMS 算法的详细描述见算法3．1

图3．1LMS自适应RH滤波器

算法3．1 LMS算法

4 / 29

5 / 29

Initialization

x(0)(0)[000]T w ==L

Do for 0k ≥

()()x ()()T e k d k k w k =-

(1)()2()x()w k w k e k k μ+=+

需要指出的是，初始化并不一定要像在算法3.1小那样将白适应滤波器的系数被创始化为零：比如，如果知道最优系数的粗略值，则可以利用这些值构成w(0)，这样可以减少到达0w 的邻域所需的迭代次数。 3．3 LMS 算法的一些特性

在本节中，描述丁在平稳环境下与LMS 算法收敛特性相关的主要特性。这里给出的信息对于理解收敛因子μ对LMS 算法的各个收敛方面的影响是很重要的。 3．3．1 梯度特性

正如第2章中所指出的(见式(2.79))，在MSE 曲面上完成搜索最优系数向量解的理想梯度方向为

()2{[x()x ()]()[()x()]}

T w g k E k k w k E d k k =-

2[()]Rw k p =-(3.7)

在LMS 算法中，利用R 和p 的瞬时估计值确定搜索方向，即

6 / 29

()2[x()x ()()()x()]T w g k k k w k d k k ∧

=-(3.8)

正如所期望的，由式(3．8)所确定的方向与式(3.7)所确定的方向很不同。因此，当通过利用LMS 算法计算更加有效的梯度方向时，收敛特性与最陡下降算法的收敛特性并不相同。

从平均的意义上讲，可以说LMS 梯度方向具有接近理想梯度方向的趋势，因为对于固定购系数向量w ，有

[()]2{[x()x ()][()x()]}T w E g k E k k w E d k k ∧

=-

w g =(3.9)

因此，向量g ()w k ∧

可以解释为w g 的无偏瞬时估计值。在具有遍历件的环境中，如果对于一个固定的w ，利用大量的输入和参考信号来计算向量g ()w k ∧

，则平均方向趋近于w g ，即

1

1lim ()M

w

w

M i g

k i g M

∧

→∞=+→∑(3.10)

3．3．2 系数向量的收敛特性

假设一个系数向量为w 。的未知FIR 滤波器，被一个具备相同阶数的白适应FIR 滤波器利用LMS 算法进行辨识。在未知系统输出令附加了测量白噪声n(k)，其均值为零，方差为2n σ。

在每一次迭代中，自适应滤波器系数相对于理想系数向量0w ，的误差由N+1维向量描述：