LMS算法原理及推导[1]

（8-1-6）
和自相关函数矩阵
{ } RXX = E X (k)X T (k)
（8-1-7）
则均方误差（8-1-5）式可表述为
{ } { } E ε 2 (k) = E d 2 (k) − 2RxTdW + W T RXXW
（8-1-8）
这表明，均方误差是权系数向量 W 的二次函数，它是一个中间向上凹的抛物形曲面，是具 有唯一最小值的函数。调节权系数使均方误差为最小，相当于沿抛物形曲面下降找最小值。 可以用梯度来求该最小值。
ε (k) = d(k) − y(k)
M
= d (k) − ∑Wi X (k − i) i =1
式（8-1-3）写成向量形式
（8-1-2） （8-1-3）
ε (k) = d(k) − W T X (k) = d (k) − X T (k)W
误差平方为 ε 2 (k) = d 2 (k) − 2d (k) X T (k)W + W T X (k) X T (k)W
M
y(k) = ∑Wi x(k − i) i =1
（8-1-1）
图 8-1 自适应线性组合器 定义权向量W = [W1,W2 ,W3 ,LWm ]T ，且
X (k) = [X ((k −1)T ),L, X ((k − M )T )]T 在图 8-1 中，令 d (k) 代表“所期望的响应”，并定义误差信号
E{W (1)} = (I − 2μ RXX )E{W (o)} + 2μ RXd
对于 k = 1 ，利用上式结果，则有
起始时，
E{W (2)} = (I − 2μ RXX )E{W (1)} + 2μ Rxd
1
∑ = (I − 2μ RXX )2 E {W (0)} + 2μ (I − 2μRXX )i RXd i=0
（8-1-21c）
(4)
R−1 XX
= Q ∑−1 Q−1
将式（8-1-21a）~（8-1-21d）代入式（8-20），结果有
(8-1-21d)
E {W (k + 1)} = Q ∑−1 Q−1RXd
=
R−1 XX
RXd
= Wopt
（8-1-22）
由此可见，当迭代次数无限增加时，权系数向量的数学期望值可收敛至 Wiener 解，其条件
（8-1-21a）
（2）
k
∞
∑ ∑ lim (I − 2μQ ∑ Q−1)i = Q(I − 2μ ∑)Q−1
k→∞ i=0
i=0
= Q[(2μ ∑)−1]Q−1
（8-1-21b）
（3）假定所有的对角元素的值均小于 1（这可以通过适当选择 μ 实现），则
lim(I − 2μ ∑)k+1 = 0
k →∞
(8-1-9) （8-1-10）
它恰好是第五章研究 Wiener 滤波器遇到过的 Wiener- Hopf 方程。因此，最佳权系数向量Wopt
通常也叫作 Wiener 权系数向量。将Wopt 代入式（8-1-8）得最小均方误差
{ } { } E
ε 2 (k) = E min
d 2 (k)
− RxTdWopt
上式两边取数学期望后，得均方误差
{ } { } { } { } E ε 2 (k) = E d 2 (k) − 2E d(k)X T (k) W + W T E X (k)X T (k) W
（8-1-4） （8-1-5）
定义互相关函数行向量 RxTd ：
{ } RxTd = E d (k)X T (k)
E{W (0)} = W (0)
故
1
∑ E {W (2)} = (I − 2μ RXX )2W (0) + 2μ (I − 2μRXX )i RXd i=0
重复以上迭代至 k + 1 ，则有
k
∑ E {W (k + 1)} = (I − 2μ RXX )k+1W (0) + 2μ (I − 2μ RXX )i RXd i=0
由于 RXX 是实值的对称阵，我们可以写出其特征值分解式
（8-1-17） （8-1-18)
RXX = Q ∑ QT = Q ∑ Q−1
（8-1-19）
这里，我们利用了正定阵 Q 的性质 Q−1 = QT ，且 ∑ = diag(λ1,L, λM ) 是对角阵，其对角元素 λi 是 RXX 的特征值。将式（8-1-19）代入式（8-1-18）后得
（8-1-25） （8-1-26）
其中
eo
(k)
=
x(k)
−
WT opt
(k)
X
(k)
（8-1-27）
V (k −1) = W (k + 1) − Wopt (k) 且 T (k) 是 LMS 滤波器试图“学习”的最佳滤波器的时间变化，定义为
(8-1-28)
T (k) = Wopt (k + 1) − Wopt(k)
常用的自适应滤波技术有：最小均方（LMS）自适应滤波器、递推最小二乘（RLS）滤 波器、格型滤波器和无限冲激响应（IIR）滤波器等。这些自适应滤波技术的应用又包括： 自适应噪声抵消、自适应谱线增强和陷波等。现在，已经有许多信号处理书籍全面介绍了自 适应滤波技术。考虑到生物医学工程专业大三本科生的学习基础，本章首先介绍最小均方 （LMS）自适应滤波器原理，在此基础上介绍自适应噪声抵消器及其生物医学应用，这样 安排更能够突出本教材的宗旨。
（8-1-11）
利用式（8-1-10）求最佳权系数向量的精确解需要知道 RXX 和RXd 的先验统计知识，而且还需 要进行矩阵求逆等运算。Widrow and Hoff (1960)提出了一种在这些先验统计知识未知时求 Wopt 的近似值的方法，习惯上称为 Widrow and Hoff LMS 算法。这种算法的根据是最优化方
法中的最速下降法。根据最速下降法，“下一时刻”权系数向量W (k + 1) 应该等于“现时刻”
权系数向量W (k) 加上一个负均方误差梯度 −∇(k) 的比例项，即
W (k + 1) = W (k) − μ∇(k)
（8-1-12）
式中， μ 是一个控制收敛速度与稳定性的常数，称之为收敛因子。
不难看出，LMS 算法有两个关键：梯度 ∇(k) 的计算以及收敛因子 μ 的选择。
和，即
V (k) = V n (k) +V l (k)
（8-1-24）
噪声离差V n (k) 和滞后离差V l (k) 具有以下递推式：
V n (k) = [I − 2μ X (k)X T (k)]V n (k −1) + μ X T (k)eo (k) V l (k) = [I − 2μ X (k)X T (k)]V l (k −1) − T (k)
∇[ε (k)] = ∇[d (k) − W T (k)X (k)] = − X (k) 将式（8-1-14）代入式（8-1-13）中，得到梯度估值
∇ˆ (k) = −2ε (k) X (k) 于是，Widrow – Hoff LMS 算法最终为
W (k + 1) = W (k) + 2με (k) X (k) 式（8-1-15）的实现方框图如图 8-2 所示
（8-1-13） （8-1-14）
（8-1-15）
图 8-2 LMS 算法的实现方框图
下面分析梯度估值 ∇ˆ (k) 的无偏性。 ∇ˆ (k) 的数学期望为
{ } E ∇ˆ (k) = E{−2X (k)ε (k)}
{ } = −2E X (k)[d(k) − X T (k)W (k)]
= −2[RXd − RXXW (k )]
E {W (k + 1)} = (I − 2μQ ∑ Q−1)k+1W
注意到以下恒等式及关系式：
k
∑ +2μ (I − 2μQ ∑ Q−1)i RXd i=0
（8-1-20）
（1）
(I − 2μQ ∑ Q−1)i = (QQ−1 − 2μQ ∑ Q−1)i = [Q(I − 2μ ∑)Q−1]i = Q(I − 2μ ∑)Q−1 LQ(I − 2μ ∑)i Q−1 = Q(I − 2μ ∑)i Q−1
（8-1-29）
如果 k 足够大，使得算法可以在稳态考虑，那么，式（8-1-25）和（8-1-26）的初始值
就可以置为零。
下面假定：V n (k −1) 的扰动与在向量 X (k) 中包含的所有过去的样本值独立。且还需要
假定：V l (k −1) 与 X (k) 独立，这在本质上意味着序列 X (k) 是独立的。这一假定尽管不现实，
长的时间才会收敛到最佳权值。克服这一困难的方法之一是产生正交数据。
基本 LMS 自适应算法如下：
初始化：
W (0) = 0;
R(0) = I;
选择 μ : 0 < μ < 1 λmax
For k = 1 to n final do :
W (k) = W (k −1) + 2μ[x(k) − W T (k −1)X (k)]X (k)
LMS 自适应滤波器如图 8-3 所示。
图 8 – 3 LMS 自适应滤波器
8.1.2 基本 LMS 算法的性能
LMS 自适应滤波器的性能通常用所谓的“失调量”进行评估。失调 M（k）定义为
{ } M (k) E 1V (k −1)T X (k) /2
式中，V (k) 是自适应滤波器与最佳滤波器的离差。 根据 Macchi(1986)的分析，LMS 滤波器与最佳权的离差V (k) 可以写成两个离差分量之
（一） ∇(k) 的近似计算
精确计算梯度 ∇(k) 是十分困难的，一种粗略的但是却十分有效的计算 ∇(k) 的近似方法