自适应信号处理办法方式第六章一些改进自适应算法

1)
]
(6-1-8)
自适应信号处理办法方式第六章一些改进自适应算法
从每次迭代运算所需乘法来看，上式计 算 Rˆ1(n) 的运算量为O(Ν 2 ),低于直计算Rˆ (n)的逆 的运算量O( Ν).3
如果在式(6-1-5)中用LMS算法来估计梯度矢量， 则LMS牛顿算法的滤波权系数更新公式将如下式：
w(n 1) w(n) e(n)Rˆ 1(n)x(n)
X(n)换成新矢量
，即有
b(n) [b0 (n) b1(n)bM 1(n))]Tb(nBiblioteka =Lx(n)(6-1-12)
自适应信号处理办法方式第六章一些改进自适应算法
式中，L为下三角矩阵，它由预测器系数 ai, j
表示其元素，这里 ai, j 为第i阶预测器的第j个系 数，三角矩阵L的形式是
1
0
0 ... 0 0
第六章 改进的自适应LMS算法
• 6.1 LMS • 6.2 LMS算法 • 6.3 变换域LMS算法 • 6.4 频域LMS算法 • 6.5 LMS算法自适应滤波器
自适应信号处理办法方式第六章一些改进自适应算法
6.1 LMS牛顿算法
自适应信号处理办法方式第六章一些改进自适应算法
当滤波器的输入信号为有色随机过程时，特别是 输入信号为高度相关的情况，大多数自适应滤波算法 的收敛速度都要下降，对于典型的LMS算法，此问题 更加突出。LMS牛顿算法可以很好地解决这个问题。 它不仅可以提高收敛速度也不会太增加计算复杂度.
(n 1) (n) H (n)[w(n 1) w(n)]
[w(n 1) w(n)]H R[w(n 1) w(n)]
(6-1-2)
式中，▽(n)=-2P+2Rw(n) 是均方误差MSE曲面上
相当于滤波系数w(n)点的梯度矢量。而ξ(n)表示自适
应滤波系数w(n)点的均方误差值 。
自适应信号处理办法方式第六章一些改进自适应算法
LMS牛顿算法公式推导：
自适应横向滤波器的滤波系数矢量的二次方函 数所构成的均方误差曲面，可由其均方误差ξ(n+1) 描述滤波特性，
(n
1)
2 d
2wH
(n
1)P
wH
(n
1)Rw(n
1)
（6-1-1）
自适应信号处理办法方式第六章一些改进自适应算法
将(6-1-1)式和相应的ξ(n)关系式相减，可以得到
e(n) d (n) xH (n)w(n)
(6-1-9) (6-1-10)
自适应信号处理办法方式第六章一些改进自适应算法
初始条件选取为： δ为小的正数
R1(1) I
w(0) x(1) [0...0]T
(6-1-11)
式(6-1-8)~(6-1-11)组成了LMS牛顿算法。
小结：LMS梯度方向趋向于理想梯度方向， 类似地，由 Rˆ1(n) 相乘所生成的矢量的方向接近 于牛顿的方向，所以LMS牛顿算法朝均方误差曲 面最小点方向的路径收敛。而且算法的收敛特性 表明与相关矩阵R的特征值扩张无关.
自适应信号处理办法方式第六章一些改进自适应算法
(6-1-7)
其中，A和C为非奇异矩阵.
如果我们选用 A (1 )Rˆ(n 1), B DT x(n),,C可以 导
出 的计Rˆ 算1(n)公式：
Rˆ 1(n)
(1/
1
)[
Rˆ
1
(n 1) (1 /
Rˆ
1(n 1)x(n)xT ) xT (n)Rˆ 1(n
(n)Rˆ 1(n 1)x(n)
后就得最佳解，即：
w(n 1) R1P w0
(6-1-4)
自适应信号处理办法方式第六章一些改进自适应算法
实际应用中，仅有效地估计自相关矩阵R和梯度 矢量，这也适应LMS算法的基本思想和原则，所以 把 和Rˆ 的ˆ (n估) 计值用到类似牛顿方法迭代计算公 式中，如下式
w(n 1) w(n) Rˆ 1(n)ˆ ((6n-1)-5)
由于滤波器的均方误差可以写成：
(n) minwH (n)Rw(n)
两边分别对w(n+1)的瞬时(n+1)值求偏导数，并令其等于零， 经整理后，得到
w(n 1) w(n) 1/ 2R1(n)
(6-1-3)
这就是牛顿方法迭代计算公式。在理想情况下，R和▽(n)
精确已知，此算法可达最佳滤波结果，且在一次简单迭代运算
Rˆ 1 (n) X (n) LT Rbb1b(n) 可得到 Rbb E[b(n)bT (n)] E[LX (n){LX (n)}T ] E[LX (n) X T (n)LT ] LR(n)LT 这是一种快速LMS牛顿算法.
(6-1-14)
自适应信号处理办法方式第六章一些改进自适应算法
6.2 归一化LMS
自适应信号处理办法方式第六章一些改进自适应算法
一种快速LMS牛顿算法
直接计算式(6-1-9)中的 Rˆ 1(n)x来(n实) 现LMS牛顿算法。 算法的基本思想是用自回归（AR）模型来做输入信号矢量
X (n) [x(n) x(n 1) x(n M 1)]T
的建模，即用阶为0到M-1的预测器的反向预测误差把矢量
因为估值的数学期望为
n
E[Rˆ (n)] (1/ n 1) E[x(i)xT (i)] R i0
因此是无偏的。当然，还有其他相关矩阵估计方法， 这里不再赘述了.
自适应信号处理办法方式第六章一些改进自适应算法
为了避免求 Rˆ(的n) 逆，我们可以利用下列矩阵反 演引理公式：
[ A BCD]1 A1 A1B[DA1B C 1]1 DA1
这里,0<μ<1,应用收敛因子μ是为了保证R与 ▽(n)的噪化估计也能使算法收敛.
自适应信号处理办法方式第六章一些改进自适应算法
当输入信号为平稳随机过程时，R的无偏估计值等于
Rˆ (n) 1
n
x(i)xT (i)
n 1 i0
n Rˆ (n 1) 1 x(n)xT (n)
n 1
n 1
(6-1-6)
a1,1
1
0
... 0 0
L
a2,2
a2,1
1
...
0
0
(6-1-13)
aM 1,M 1 aM 1,M 2 aM 1,M 3 ... aM 1,1 1
自适应信号处理办法方式第六章一些改进自适应算法
我们可以认为， b0 (n),b1(n),...bM 1(n) 都是互不
相关的，这意味着它们的相关矩阵 Rbb是一个对角 线矩阵，所以求它的逆矩阵比较容易，即