最小二乘自适应滤波器

第四章 最小二乘自适应滤波器

前面所研究的自适应滤波算法根据的最佳准则为最小均方误差准则。自适应算法的目标在于，使滤波器输出与需要信号的误差的平方的统计平均值最小。这个准则根据输入数据的长期统计特性寻求最佳滤波。然而，我们通常已知的仅是一组数据，因而只能对长期统计特性进行估计或近似。LMS 算法、格形梯度算法都是这样。能否直接根据一组数据寻求最佳呢？最小二乘算法就可解决这个问题。换句话说，根据最小均方误差准则得到的是对一类数据的最佳滤波器，而根据最小二乘法得到的是对一组已知数据的最佳滤波器。对同一类数据来说，最小均方误差准则对不同的数据组导出同样的“最佳”滤波器；而最小二乘法对不同的数据组导出不同的“最佳”滤波器。因而常说最小二乘法导出的最佳滤波器是“精确”的。 本章首先叙述最小二乘法的基础，并推导递推最小二乘(RLS)算法；然后介绍线性空间的概念，并在此基础上讨论两种重要的最小二乘自适应算法——最小二乘格形(LSL)算法和快速横式滤波器(FTT)算法。

§4.1 最小二乘滤波器

4.1.1 最小二乘滤波方程

设已知n 个数据x (1), …, x (i ), …, x (n )，我们要根据这些数据，利用图4.1的m 阶线性滤波器来估计需要信号d (1) , …, d (i ), …, d (n )。对d (i )的估计式可表为

∑=+-=m

k mk

k i x n w i d 1

)1()()(ˆ (4.1.1)

估计误差

∑=+--=-=m

k mk

k i x n w i d i d i d i e 1

)1()()()(ˆ)()( (4.1.2)

若假设i <1及i

⎪⎪

⎪

⎪

⎪⎭

⎪

⎪

⎪⎪⎪⎬⎫-=-++----=---=--=-=)()()()1()()()()()()1()()()()()()1()()2()()2()2()

1()()1()1(11211n x n w m n e m n x n w n x n w n d n e x n w m x n w m d m e x n w x n w d e x n w d e mm mm m mm m m m m

(4.1.3)

其余的e (i )均为零。

根据最小二乘法，w mk (n )的最佳值应使下列累计平方误差性能函数为最小

∑-=i

i n i e n )()(2λξ

(4.1.4) 其中

10≤≤λ

(4.1.5)

为加重新数据影响的加权因子。式(4.1.4)中的i 的变化范围有下列四种取法：

)

( )()( 1 )()

(1 )()

( 11 )(方差法后加窗法前加窗法相关法n i m d m n i m c n i b m n i a ≤≤-+≤≤≤≤-+≤≤

之所以上列方法获得相应的名称，是因为方差法对已知数据x (1), …, x (n )之外的数据

未作任何假定，它的处理仅利用已知数据。前加窗法假定当i <1时，x (i )=0；后加窗法假定当i >n 时，x (i )=0；而相关法即前后窗法则假定i <1及i>n 时，x (i )=0。相关法的相关矩阵是对称的和Toeplitz 的，其余三个取法的相关矩阵是对称的但非Toeplitz 。但是后三种方法的起动特性比相关法好，因而受到相当的重视。本书将以前加窗法为例来讨论最小二乘自适应滤波器。而且，我们仅限于讨论信号的情况，然而不难将结果推广到复信号情况。 对于前加窗法，我们只利用式(4.1.3)的前n 个误差。令m 维矢量 []T mm m m n w n w n )( , ),()(1 =ω

(4.1.6)

[]T

m m i x i x i x )1( , ),()(+-=

(4.1.7) 且有

1 0)(<=i i x

(4.1.8)

这样，前加窗法的n 个误差(即式(4.1.3)的前n 项)可写成

⎪⎪

⎭

⎪

⎪⎬⎫

-=-=-=)()()()()()2()2()2()()1()1()1(n n x n d n e n x d e n x d e m T

m m T

m m T m ωωω

(4.1.9)

引入n 维矢量 []T n e e n e )( , ),1()( =

(4.1.10)

[]T

n d d n d )( , ),1()( =

(4.1.11)

及n m ⨯维矩阵

[])( , ,)1()(n x x n X m m m =

(4.1.12)

则式(4.1.9)可写成

)()()()(n n X n d n e m T

m ω-=

(4.1.13)

前加窗法最小二乘性能函数为

∑=-Λ==n

i T n n e n n e i e n 1

21)()()()()(λξ

(4.1.14) 其中

)1 , ,()(1，λλ -=Λn Diag n

(4.1.15)

而求)(n m ω的最佳值问题归结为

{}

)()()()(n e n n e n Min T m

Λ=ξω

(4.1.16)

为求解此问题，将式(4.1.13)代入式(4.1.14)得 [])()()()(2)()()()(n d n n X n n d n n d n m T m T Λ-Λ=ωξ

[]

)()()()()(n n X n n X n m T

m m T m ωωΛ+

(4.1.17)

引入m 维矢量

∑=-=Λ=n

i m i n m m i x i d n d n n X n r 1

)()()()()()(λ

(4.1.18)

及m m ⨯维矩阵

∑=-=Λ=n

i T

m m i n T

m

m m i x i x n X n n X n R 1)()()()()()(λ

(4.1.19)

式(4.1.17)可表为

)()()()()(2)()()()(n n R n n r n n d n n d n m m T

m m T m T ωωωξ+-Λ=

(4.1.20)

)(n m ω的最佳值满足方程

0)()(=∇n n m ξω

(4.1.21) 从而有 0)()(2)(2=+-n n R n r m m m ω (4.1.22) 这就得到 )()()(n r n n R m m m =ω (4.1.23) 即 )()()(1n r n R n m m m -=ω

(4-.1.24a )

或写成

[][])()()()()()()(1

n d n n X n X n n X n m T m m m ΛΛ=-ω

(4.1.24b )

式(4.1.23)和式(4.1.24)就是最小二乘算法的正规方程。式(4.1.24)要求R m (n )为满秩。这对大多

数应用来说的成立的。若对某应用的R m (n )为降秩，则式(4.1.24)可理解为采用了伪可逆矩阵。 根据已知x (i )和d (i )，1≤i ≤n ，利用式(4.1.24)即可求出)(n m ω的最佳值。这就是最小二乘批处理算法。这种算法需要进行矩阵求逆，其运算量为O(m 3)，因而一般不适于实时