自适应滤波器原理 第四讲-NLMS算法..
自适应滤波器算法综述以及代码实现
⾃适应滤波器算法综述以及代码实现作者:凌逆战⽂章地址:并不是每个⾃适应滤波器的的代码我都实现了,我需要⼀定的时间,⼀有时间我就会来更新代码,记得关注我,如果有问题记得反馈另外科研严谨,搞科研的建议多看论⽂,因为我是业余的,写这领域的博客主要是因为感兴趣爱好,博客也难免会有错误,所以不要以我为准,可以做个参考,如果能够帮到你,我会很欣慰。
⾃适应回声消除原理 声学回声是指扬声器播出的声⾳在接受者听到的同时,也通过多种路径被麦克风拾取到。
多路径反射的结果产⽣了不同延时的回声,包括直接回声和间接回声。
直接回声是指由扬声器播出的声⾳未经任何反射直接进⼊麦克风。
这种回声的延时最短,它同远端说话者的语⾳能量,扬声器与麦克风之间的距离、⾓度 ,扬声器的播放⾳量,麦克风的拾取灵敏度等因素直接相关;间接回声是指由扬声器播出的声⾳经过不同的路径 (如房屋或房屋内的任何物体 )的⼀次或多次反射后进⼊麦克风所产⽣的回声的集合。
房屋内的任何物体的任何变动都会改变回声的通道。
因此,这种回声的特点是多路径的、时变的。
⾃适应回声消除的基本思想是估计回⾳路径的特征参数,产⽣⼀个模拟的回⾳路径,得出模拟回⾳信号,从接收信号中减去该信号,实现回⾳抵消。
其关键就是得到回声路径的冲击响应$\hat{h}(n)$,由于回⾳路径通常是未知的和时变的,所以⼀般采⽤⾃适应滤波器来模拟回⾳路径。
⾃适应回⾳消除的显著特点是实时跟踪,实时性强。
回声消除原理框图 图中$ y(n)$代表来⾃远端的信号 , $r(n)$是经过回声通道⽽产⽣的回声,$x(n)$是近端的语⾳信号。
D端是近端麦克风,麦克风采集到的房间叠加的回声和近端说话⼈的语⾳。
对回声消除器来说,接收到的远端信号作为⼀个参考信号,回声消除器根据参考信号由⾃适应滤波器产⽣回声的估计值$\hat{r}(n)$,将$\hat{r}(n)$从近端带有回声的语⾳信号减去,就得到近端传送出去的信号。
在理想情况下,经过回声消除器处理后,残留的回声误差$e(n)=r(n)-\hat{r}(n)$将为0,从⽽实现回⾳消除。
自适应滤波算法研究及应用
自适应滤波算法研究及应用滤波是在信号处理中非常常见的一个概念。
它可以用于去除噪声、增强信号等方面。
而自适应滤波算法则是一种根据输入数据变化自动调节滤波器参数的方法。
在实际应用中,自适应滤波算法有着广泛的应用。
本文将会对自适应滤波算法的基础原理、算法分类以及实际应用展开讨论。
一、自适应滤波算法基础原理自适应滤波算法利用了滤波器的调节机制,记录这些调节机制的参数并不断微调,最终实现数据处理的目标。
传统的滤波器是基于固定参数进行滤波处理的,而自适应滤波算法则将固定的参数改变为动态变化的参数,根据输入信号实时调整。
因此,自适应滤波算法可以适用于不断变化的输入信号,并且可以实现更准确的数据处理。
二、自适应滤波算法分类1. LMS算法LMS(Least Mean Squares)算法是一种广泛应用在自适应滤波算法中的最小均方误差算法。
该算法基于梯度下降法,通过对滤波器的权重进行调整,以实现对信号的更好处理。
由于LMS算法简单易用,在不同领域中有着广泛的应用,比如语音识别、信号处理等。
2. RLS算法另一种常见的自适应滤波算法是递推最小二乘算法(RLS,Recursive Least Squares)。
该算法和LMS算法的核心思想类似,但它更具记忆性。
与LMS算法相比,RLS算法在计算过程中需要注意一些细节,因此更加复杂。
但它的高计算精度和准确性使其在某些领域中应用广泛,如通信领域、音频处理等。
三、自适应滤波算法应用自适应滤波算法在现实应用中有着广泛的应用。
以下几个方面是它的典型应用:1. 语音处理语音信号本身就很容易受到外界干扰,使用自适应滤波算法可以有效地降低噪声干扰,并且可以保留有用的信息。
因此,在语音合成、音频增强等领域中,使用自适应滤波算法可以取得很好的效果。
2. 图像处理图像处理和语音处理类似,也经常受到外界噪声的影响,自适应滤波算法同样可以用于降噪和提高图像质量。
在数字摄像机、图像传感器、医学图像处理等领域中都有应用。
LMS自适应滤波器的原理和分析
1 LMS自适应滤波器1.1 LMS算法最小均方误差(LMS)算法具有计算量小、易于实现等优点,因此,在实践中被广泛应用。
LMS算法的基本思想是调整滤波器自身的参数,使滤波器的输出信号与期望输出信号之间的均方误差最小,并使系统输出为有用信号的最佳估计。
实质上,LMS可以看成是一种随机梯度或者随机逼近算法,可以写成如下的基本迭代方程:其中,μ为步长因子,是控制稳定性和收敛速度的参量。
从上式可以看出,该算法结构简单、计算量小且稳定性好,但固定步长的LMS算法在收敛速度、跟踪速率及权失调噪声之间的要求相互制约。
为了克服这一缺点,人们提出了各种变步长的LMS改进算法,主要是采用减小均方误差或者以某种规则基于时变步长因子来跟踪信号的时变,其中有归一化LMS算法(NLMS)、梯度自适应步长算法、自动增益控制自适应算法、符号一误差LMS算法、符号一数据LMS算法、数据复用LMS算法等。
1.2 LMS自适应滤波器的结构原理自适应滤波是在部分信号特征未知的条件下,根据某种最佳准则,从已知的部分信号特征所决定的初始条件出发,按某种自适应算法进行递推,在完成一定次数的递推之后,以统计逼近的方式收敛于最佳解。
当输入信号的统计特性未知,或者输入信号的统计特性变化时。
自适应滤波器能够自动地迭代调节自身的滤波器参数.以满足某种准则的要求,从而实现最优滤波。
因此,自适应滤波器具有自我调节和跟踪能力。
在非平稳环境中,自适应滤波在一定程度上也可以跟踪信号的变化。
图1 为自适应滤波的原理框图。
2 LMS滤波器的仿真与实现2.1 LMS算法参数分析传统的LMS算法是最先由统计分析法导出的一种实用算法.它是自适应滤波器的基础。
通过Matlab仿真对LMS算法中各参数的研究,总结出其对算法的影响。
现针对时域LMS算法的各参数进行一些讨论。
(1)步长步长μ是表征迭代快慢的物理量。
由LMS算法可知:该量越大,自适应时间μ越小,自适应过程越快,但它引起的失调也越大,当其大于1/λmax时,系统发散;而该值越小,系统越稳定,失调越小,但自适应过程也相应加长。
自适应滤波器介绍及原理
关于自适应滤波的问题:自适应滤波器有4种基本应用类型:1) 系统辨识:这时参考信号就是未知系统的输出,当误差最小时,此时自适应滤波器就与未知系统具有相近的特性,自适应滤波器用来提供一个在某种意义上能够最好拟合未知装置的线性模型2) 逆模型:在这类应用中,自适应滤波器的作用是提供一个逆模型,该模型可在某种意义上最好拟合未知噪声装置。
理想地,在线性系统的情况下,该逆模型具有等于未知装置转移函数倒数的转移函数,使得二者的组合构成一个理想的传输媒介。
该系统输入的延迟构成自适应滤波器的期望响应。
在某些应用中,该系统输入不加延迟地用做期望响应。
3) 预测:在这类应用中,自适应滤波器的作用是对随机信号的当前值提供某种意义上的一个最好预测。
于是,信号的当前值用作自适应滤波器的期望响应。
信号的过去值加到滤波器的输入端。
取决于感兴趣的应用,自适应滤波器的输出或估计误差均可作为系统的输出。
在第一种情况下,系统作为一个预测器;而在后一种情况下,系统作为预测误差滤波器。
4) 干扰消除:在一类应用中,自适应滤波器以某种意义上的最优化方式消除包含在基本信号中的未知干扰。
基本信号用作自适应滤波器的期望响应,参考信号用作滤波器的输入。
参考信号来自定位的某一传感器或一组传感器,并以承载新息的信号是微弱的或基本不可预测的方式,供给基本信号上。
这也就是说,得到期望输出往往不是引入自适应滤波器的目的,引入它的目的是得到未知系统模型、得到未知信道的传递函数的倒数、得到未来信号或误差和得到消除干扰的原信号。
1 关于SANC (自适应消噪)技术的问题自适应噪声消除是利用winer 自适应滤波器,以输入信号的时延信号作为参考信号来进行滤波的,其自适应消噪的原理说明如下:信号()x n 可分解为确定性信号分量()D x n 和随机信号分量()R x n ,即:()()()D R x n x n x n =+ (1.1)对于旋转机械而言,确定性信号分量()D x n 通常可表示为周期或准周期信号分量()P x n ,即:()()()P R x n x n x n =+1.2对信号()x n 两个分量()P x n 和()R x n ,有两个基本假设: (1) ()P x n 和()R x n 互不相关;(2) ()P x n 和()R x n 的自相关函数具有下述特性:()0P P x x R m ≈,N m M ≥;()0R R x x R m ≈,B m M ≥;N B M M ≥。
llms训练原理
llms训练原理
LLMS(迫近最小二乘法)是一种在线性逆滤波中常用的算法,它是将观测数据与滤波器的输出之间的误差最小化来得到一个最佳的滤波器。
它的训练原理可以简单概括为以下几个步骤:
1. 将训练数据集分为输入和目标输出两部分。
输入通常是一组特征值,目标输出则是对应的真实值或标签。
2. 初始化滤波器的权重参数,将输入数据通过滤波器进行计算,得到滤波器的输出值。
3. 计算滤波器输出值与目标输出之间的误差,根据误差调整滤波器的权重参数。
这里使用的是迭代更新的方式,即每次训练通过更新滤波器的权重参数来减小误差。
4. 重复步骤2和步骤3,直到滤波器输出的误差达到一个可接
受的范围,或者达到最大迭代次数停止训练。
LLMS算法在处理复杂的非线性问题时效果并不理想,因为它
只能处理线性关系。
因此,在实际应用中,通常需要使用一些更加复杂的算法,如神经网络等来处理非线性问题。
(完整word版)自适应滤波器(LMS算法)
用于消除工频干扰自适应滤波器的设计与仿真一、背景及意义脑科学研究不仅是一项重要的前沿性基础研究,而且是一项对人类健康有重要实际意义的应用研究。
随着社会的发展、人类寿命的延长,因脑衰老、紊乱或损伤而引起的脑疾患,对社会财富消耗和家庭的负担日益增大。
许多国家纷纷将脑科学的研究列入国家规划,并且制订长远的研究计划。
人们把21 世纪看成是脑科学研究高潮的时代。
在脑电信号的实际检测过程中,往往含有心电、眼动伪迹、肌电信号、50Hz工频干扰以及其它干扰源所产生的干扰信号,这给脑电分析以及脑电图的临床应用带来了很大的困难。
因此如何从脑电中提取出有用的信息是非常具有挑战性,且又很有学术价值、实用价值的研究课题。
本论文从信号处理的角度出发,采集脑电波,使得在强干扰背景下的脑电信号得以提取,还原出干净的脑电波,用于临床医学、家庭保健等。
医生可以利用所采集到的脑电波来进行对病人神经松弛训练,通过脑电生物反馈技术实现自我调节和自我控制。
运用生物反馈疗法,就是把求治者体内生理机能用现代电子仪器予以描记,并转换为声、光等反馈信号,因而使其根据反馈信号,学习调节自己体内不遂意的内脏机能及其他躯体机能、达到防治身心疾病的目的。
这种反馈疗法是在一定程度上发掘人体潜能的一种人—机反馈方法。
有研究表明脑电生物反馈对多种神经功能失调疾病有明显疗效。
对于有脑障碍或脑疾病的人,也可以随时监测其脑电信号,及早地发现问题,避免不必要的损失。
二、脑电数字信号处理的研究现状脑电的监护设备在国内外品种繁多,高新技术含量高,技术附加值高,相比而言,我国的产品较国际高水平产品落后10-15 年。
但近年来,国内产品也逐步利用高新技术使产品向自动化、智能化、小型化、产品结构模块化方向发展。
国内产品在抗干扰、数字处理、实时传输数据等方面已有很大进展,使脑电检测不再是只能在屏蔽室进行。
目前,脑电信号的数字滤波从原理上来看,主要有FIR滤波器和IIR滤波器。
FIR滤波器可以提供线性滤波,但存在阶数较高,运算较为复杂的缺点[11];而IIR滤波器是一种非线性滤波器,它可以用较少的阶数实现性能良好的滤波,是目前运用较广泛的一种滤波器[10]。
NLMS算法相关
E{e(n). X N (n)} e(n) X N (n)
这样就可以得到 LMS 的算法迭代式:
WN (n 1) WN (n) e(n). X N (n)
这就是 LMS 算法的迭代式.它虽然是一个近似式,却能够在一定程度反映输入数据的统计 特性随着时间的变化(非平稳性). 且波动瞬间时值随输入信号的不同而异.由于 LMS 算法采 用瞬时值代替期望值,因而带来了解的随机波动,这种方法可以看作最陡梯度法的一种近似. 由于它迭代的计算量小,所需的存储器也小,因而在实践中被大量应用.
1 N
x ( k n)
2 k 0
N 1
[2]
;N 是噪声消除器和回波抵消器的长度, (常
取为 256,512,或 1024 阶) ; 是可变的收敛步长因子。 NLMS 算法仍保留了算法简单,运算量小,易于实现的优点并且从 20 世纪 70 年代后期, 就成为商业化回波抵消器常采用的算法。但它的最大缺点仍是对冲击 响应通道比较长的应用,收敛速度较慢;而且在强相关语音信号输入的情况下, 误差信号的收敛性能会急剧恶化,为使其更适合网络回波抵消器的要求,必须对 其进行进一步的改进。
4. 信号源的 MATLAB 仿真 本文所讨论的是在没有近端语音的情况下,即 s(n)= r(n)。因此,输入信 号有两组:远端语音信号 d(n)作为参考信号,另一组是参考信号 d(n)的回波 x(n)。 我们将人的话音预先从麦克风中输入,存成 wav 文件。然后用 Matlab 对该 wav 文件进行采样处理。首先用 fopen 函数打开 wav 文件,然后用 fread 将该音 频以 16bit 位的方式读取 850 个点, 最后将这 850 个点输出, 这样参考信号 d(n) 就产生了。 回波信号在信道中有一定的衰减,一般来说在电话通信系统中至少要 有 6dB 的回波损耗,我们这里选择了 10dB 的回波损耗。 这里给出 Matlab 实现的关键程序如下: 产生输入信号 x(n): fid=fopen('echo.wav','r'); %打开声音文件 echo.wav
自适应滤波器原理 第四讲-NLMS算法
( n ) w ( n ) k k
D (n ) MD
K 0
k 0,1,2,3... ., M D 1
k
将自适应滤波器趋向均匀地将加权误差向量扩展到它的 M个抽头上。将均方 2 M D 1 偏差近似为 M
2019/2/13
w
(n )
自适应信号处理
18
本地激励引起的误差信号e(n)增大时,步长参数减小,稳定。 系统卡滞,阻断了滤波器的自适应和延迟系数。用LEM的附加检 测器来解决
从而得到简化的最优步长
E [ u ( n ) e ( n )] opt 2
E [ e( n )]
假设二:无干扰误差信号与期望响应d(n)的多重回归模型干扰(噪声)v(n)无关 第五章中,干扰信号e(n)与无干扰信号有关。
e ( n ) u ( n ) v ( n ) E [ u ( n ) e ( n )] E [ u ( n )( u ( n ) v ( n ))] 2 E [ u ( n )]
2
最优步长参数为
Re E [ u ( n ) e * ( n ) /u ( n )] opt 2 2 E [ e ( n ) /u ( n )]
2
0
u
2019/2/13
自适应信号处理
11
特殊情况:复数据
实数据
2
Re E [ u ( n ) e * ( n ) /u ( n )] opt 2 2 E [ e ( n ) /u ( n )]
3.实数据的估计误差e(n)或复数据估计误差e*(n)(n次迭代计算的结果)
自适应滤波器原理文档
自适应滤波器原理文档自适应滤波器的基本原理是根据输入信号的统计特性来不断调整滤波器的参数,以使得输出信号的质量得到改善。
其核心思想是通过对输入信号进行预测,然后通过对预测误差的分析来调整滤波器。
通常情况下,自适应滤波器是通过最小均方误差准则进行调整的。
具体而言,自适应滤波器包括以下几个关键步骤:1.预测:首先,自适应滤波器通过使用一组权重系数对当前输入信号进行预测。
预测的方法通常是线性组合,即将输入信号的各个样本与对应的权重系数相乘后求和。
2.误差计算:通过将预测输出与真实输出进行比较,可以计算出预测误差。
预测误差是自适应滤波器调整的关键指标,通过最小化预测误差可以提高输出信号的质量。
3.参数调整:为了最小化预测误差,自适应滤波器需要不断地调整权重系数。
一种常用的调整方法是使用最小均方误差准则。
最小均方误差是预测误差的平方和的期望值,通过最小化最小均方误差,可以得到最优的权重系数。
4.更新权重系数:根据最小均方误差准则,可以通过对权重系数进行微小的调整来实现预测误差的最小化。
更新权重系数的方法通常是基于梯度的优化算法,例如最速下降法等。
5.输出信号:通过对权重系数进行调整,自适应滤波器可以得到经过滤波后的输出信号。
这个输出信号与预测输出之间的误差将会被用于下一次权重系数的调整。
自适应滤波器在信号处理领域有着广泛的应用。
其中,最常见的应用是降噪处理。
在很多情况下,信号会受到噪声的干扰,可能会造成信号质量的下降。
通过使用自适应滤波器,可以根据输入信号的特点对噪声进行估计和预测,从而实现对噪声的抑制,提高信号的质量。
此外,自适应滤波器还可以应用于信号的预测、滤波以及模型识别等领域。
例如,自适应滤波器可以用于语音识别中,通过对输入语音信号进行预测,并实现对噪声的抑制,提高语音识别的准确性。
在图像处理中,自适应滤波器可以用于图像的去噪处理,提高图像的清晰度。
综上所述,自适应滤波器是一种能够根据输入信号的特征自动调整滤波参数的滤波器。
自适应滤波器(终)
Company Logo
仿真结论
µ的增大加快 的增大加快 收敛速度, 稳态误差。 收敛速度,增大稳态误差。
收敛速度与稳 态误差相互矛 盾,为使算法 最优,要寻找 平衡点
阶数的增大加快收敛速度,增大稳态误差 阶数的增大加快收敛速度,增大稳态误差
四、自适应滤波器的应用
1、自适应噪声抵消器 、
原 输 S(n) +V0 (n) 始 入
信号源
+ ˆ V0 (n)
e(n)
ˆ s(n)
噪声源
V1 (n)
自适应滤波
Company Logo
2、电网谐波电流预测 、 目前, 目前,提高电网电能质量的趋势是采用有源电 力滤波器(APF),但数字计算过程不可避免地 力滤波器( ),但数字计算过程不可避免地 ), 引入延时,造成APF补偿信号的相位滞后,影响 补偿信号的相位滞后, 引入延时,造成 补偿信号的相位滞后 其优良性能的发挥。 其优良性能的发挥。 自适应滤波器通过改进的LMS算法可以根据 自适应滤波器通过改进的 算法可以根据 输入数据的大小, 输入数据的大小,自动地取较大或较小的收敛因 这种方法改善了因延迟造成的APF补偿信号 子。这种方法改善了因延迟造成的 补偿信号 的相位滞后问题,而且该方法算法简单, 的相位滞后问题,而且该方法算法简单,便于数 字化实现。 字化实现。
基于LMS算法的自适应滤波器的 研究与应用
主讲人:贺鹏
14小组成员:范莹 郭静 高春杰
主要内容
一、自适应滤波器 二、LMS算法 LMS算法 三、改进的LMS算法 改进的LMS算法 四、自适应滤波器的应用
Company Logo
一、自适应滤波器
自 适 应 滤 波 器
自适应滤波:最小均方误差滤波器(LMS、NLMS)
⾃适应滤波:最⼩均⽅误差滤波器(LMS、NLMS)作者:桂。
时间:2017-04-02 08:08:31链接:声明:欢迎被转载,不过记得注明出处哦~【读书笔记08】前⾔西蒙.赫⾦的《⾃适应滤波器原理》第四版第五、六章:最⼩均⽅⾃适应滤波器(LMS,Least Mean Square)以及归⼀化最⼩均⽅⾃适应滤波器(NLMS,Normalized Least Mean Square)。
全⽂包括: 1)LMS与维纳滤波器(Wiener Filter)的区别; 2)LMS原理及推导; 3)NLMS推导; 4)应⽤实例;内容为⾃⼰的读书记录,其中错误之处,还请各位帮忙指出!⼀、LMS与维纳滤波器(Wiener Filter)的区别这⾥介绍的LMS/NLMS,通常逐点处理,对应思路是:随机梯度下降;对于Wiener Filter,给定准则函数J,随机/批量梯度都可以得出最优解;LMS虽然基于梯度下降,但准则仅仅是统计意义且通常引⼊误差,可以定义为J_0,简⽽⾔之J通常不等于J_0,得出的最优解w_o⾃然也通常不等于维纳最优解;分析LMS通常会分析稳定性,稳定性是基于Wiener解,。
但LMS是Wiener解的近似,所以:迭代步长的稳定性,严格适⽤于Wiener 解,对于LMS只是⼀种近似参考,并没有充分的理论依据。
下⽂的分析仍然随机梯度下降的思路进⾏。
⼆、LMS原理及推导LMS是时间换空间的应⽤,如果迭代步长过⼤,仍然有不收敛的问题;如果迭代步长过⼩,对于不平稳信号,还没有实现寻优就⼜引⼊了新的误差,屋漏偏逢连夜⾬!所以LMS系统是脆弱的,信号尽量平稳、哪怕短时平稳也凑合呢。
给出框图:关于随机梯度下降,可以。
这⾥直接给出定义式:利⽤梯度下降:- \nabla J = {\bf{x}}{\left( {{{\bf{w}}^T}{\bf{x}} - {d}} \right)^T}给出LMS算法步骤:1)给定\bf{w}(0),且1<\mu<1/\lambda_{max};2)计算输出值:y\left( k \right) = {\bf{w}}{\left( k \right)^T}{\bf{x}}\left( k \right);3)计算估计误差:e\left( k \right) = d\left( k \right) - y\left( k \right);4)权重更新:{\bf{w}}\left( {k + 1} \right) = {\bf{w}}\left( k \right) + \mu e\left( k \right){\bf{x}}\left( k \right)三、NLMS推导看到Normalized,与之联系的通常是约束条件,看到约束不免想起拉格朗⽇乘⼦。
NLMS,LMS算法介绍参考
CO N T E N T改进的LMS算法——NLMS算法LMS算法原理两种算法性能分析总结LMS(最小均方误差)算法是基于梯度的算法,应用准则是均方误差函数(MSE )最小化原则,它在迭代运算中不断地调整滤波器权系数,直到MSE 达到最小值为止。
设计自适应滤波器的最常用的结构就是横向滤波器结构,输出信号y n 为:y n =w T n ∗x n = i=0N−1w i n x(n −i)N 为滤波器阶数,w T n 为权系数的转置。
FIR 自适应滤波器输出的形式可以看做是x n 与w n 两个矩阵的卷积,误差信号为参考输入信号与实际输出信号的差值e n =d n −y n =d n −w T n ∗x(n)1LMS算法的基本思想是利用e n与x(n)的某种关系,来不断更新自适应滤波器的权系数,从而使均方误差达到最小值,达到最优滤波效果。
均方误差J n为:J n=E e2n=E[d2n−2d n w T n∗x n+w T n∗x n2]通过对J n求导来得到使取得最小值的滤波器权系数,得到使代价函数最小的滤波器系数值:w=R−1∗P其中P=E d n∗x n为输入信号和参考信号的互相关矩阵R=E[x n∗x T n]为输入信号的自相关矩阵将均方误差E e2n对各w i矢量求导,获得均方误差梯度∇n为:∇n=ðE[e2(n)]ðw i⋮ðE[e2(n)]ðw n1设w n +1表示n +1时刻的滤波器系数权矢量,根据最陡下降法,滤波器权系数递归迭代公式表示为:w n +1=w n +μx n ∗e(n)其中μ为自适应步长,用来控制滤波器算法收敛性和稳定性。
对于LMS 算法为了保证收敛,μ的取值范围为:0<μ<2λmax输入信号为加了高斯噪声后的随机信号,取μ=1,α=0.001,μ= 0.2得到两种算法的误差曲线如下图所示:下降曲线的斜率反应了算法的收敛速度,稳定后的误差反映了算法的精度。
LMS,APA,NLMS,FRLS算法分析
快速算法,主要有两类:快速格型算法(FLA),快速横向滤波器算法(FTF)
FTF包括四个分离的N阶横向滤波器:最小二乘预测滤波器h,前向预测误差滤波器a,后向预测误差滤波器b,增益横向滤波器k
4、自适应滤波算法
RLS:计算复杂度很高,所需的存储量极大,不利于实时实现,倘若被估计的自相关矩阵的逆失去了正定特性,还将引起算法发散
FRLS算法,计算复杂度低于RLS算法,但是它们都存在数值稳定性问题
APA是NLMS算法的推广,算法复杂度比NLMS算法高很多,FAP的计算复杂度
FTF算法的突出优点是它的收敛速度对数据的相关性不敏感
2、RLS遗忘因子选取0.99
AP,NLMS步长取1
相同遗忘因子下,RLS算法的收敛速度明显比LMS算法自适应滤波快
3、APA算法的收敛速度比LMS算法、NLMS算法要快,但是计算量略大于LMS算法和NLMS算法
LMS算法及NLMS算法结构简单但是收敛速度较慢,RLS算法收敛速度快但是算法复杂,APA是性能和运算量பைடு நூலகம்于NLMS算法和RLS算法之间的一种选择
1、FastKalman及FAEST等快速横向滤波器算法,与传统的LMS算法相比,以其收敛速度快.精确度高的特点.受到广泛的重视及应用
RLS准则下的自适应滤波算法的研究方法有矩阵法和投影算子法
FTF(Fast Transversal Filter)算法为FAEST(Fast A Posterior Error Sequential)算法,是一种后验型算法,找出并且利用了先验误差和后验误差的关系,比Fast Kalman算法具有更小的计算量
自适应滤波算法综述
第1卷 第2期 2002年 3月广州大学学报(自然科学版)JOURNA L OF G UANG ZH OU UNI VERSITY (Natural Science Edition )V ol.1 N o 12 Mar. 2002 文章编号:1671-4229(2002)02-0044-07自适应滤波算法综述邹艳碧,高 鹰(广州大学信息与机电工程学院,广东广州 510405)摘 要:基于二阶统计量即相关函数的自适应滤波算法在自适应信号处理中有着广泛的应用,本文就国内外对这些算法的研究进行了综述.关键词:自适应滤波算法;LMS 算法;R LS 算法;变换域算法;仿射投影算法;子带分解算法;QR 分解算法中图分类号:T N 911.72 文献标识码:A1 自适应滤波算法基本原理自适应滤波器是近30年来发展起来的关于信号处理方法和技术的滤波器,其设计方法对滤波器的性能影响很大.维纳滤波器等滤波器设计方法都是建立在信号特征先验知识基础上的.遗憾的是,在实际应用中常常无法得到信号特征先验知识,在这种情况下,自适应滤波器能够得到比较好的滤波性能.当输入信号的统计特性未知,或者输入信号的统计特性变化时,自适应滤波器能够自动地迭代调节自身的滤波器参数,以满足某种准则的要求,从而实现最优滤波.因此,自适应滤波器具有“自我调节”和“跟踪”能力.自适应滤波器可以分为线性自适应滤波器和非线性自适应滤波器.非线性自适应滤波器包括Volterra 滤波器和基于神经网络的自适应滤波器.非线性自适应滤波器具有更强的信号处理能力.但是,由于非线性自适应滤波器的计算较复杂,实际用得最多的仍然是线性自适应滤波器.本文只讨论线性自适应滤波器及其算法.图1为自适应滤波器原理框图.图1 自适应滤波器原理图Fig.1 Adaptive filter scheme 自适应滤波算法广泛应用于系统辨识、回波消除、自适应谱线增强、自适应信道均衡、语音线性预测、自适应天线阵等诸多领域中.W (n )表示自适应滤波器在时刻n 的权矢量,x (n )=[x (n ),x (n -1),…,x (n -L +1)]T 为时刻n 的输入信号矢量,d (n )为期望输出值,v (n )为干扰信号,e (n )是误差信号,L 是自适应滤波器的长度.根据自适应滤波算法优化准则的不同,自适应滤波算法可以分为两类最基本的算法[1]:最小均方误差(LMS )算法和递推最小二乘(R LS )算法.基于最小均方误差准则,LMS 算法使滤波器的输出信号与期望输出信号之间的均方误差E[e 2(n )]最小.基于最小二乘准则,R LS 算法决定自适应滤波器的权系数向量W (n )使估计误差的加权平方和J (n )=∑ni =1λn -i ・|e (i )|2最小.其中λ为遗忘因子,且0<λ≤1.由此两准则衍生出许多不同的自适应滤波算法,本文就国内外对这些算法的研究作一综述.2 自适应滤波算法种类2.1 变步长自适应滤波算法由Widrow 和H off 提出的最小均方误差(LMS )算法,因其具有计算量小、易于实现等优点而在实践中被广泛采用.基于最速下降法的最小均方误差(LMS )算法的迭代公式如下:e (n )=d (n )-X T(n )W (n ),W (n +1)=W (n )+2μe (n )X (n ).收稿日期:2001-10-08; 修订日期:2001-12-07作者简介:邹艳碧(1957-),女,工程师;主要研究方向:电子与通信、自适应信号处理、多媒体技术.其中:W(n)为自适应滤波器在时刻n的权矢量, X(n)为时刻n的输入信号矢量,d(n)为期望输出值,v(n)为干扰信号,e(n)是误差信号,L是自适应滤波器的长度,μ是步长因子.LMS算法收敛的条件为:0<μ<1/λmax,λmax是输入信号自相关矩阵的最大特征值.初始收敛速度、时变系统跟踪能力及稳态失调是衡量自适应滤波算法优劣的三个最重要的技术指标.覃景繁等[1,2]分析了最小均方误差(LMS)算法的收敛性能.由于主输入端不可避免地存在干扰噪声,自适应滤波算法将产生参数失调噪声.干扰噪声v(n)越大,则引起的失调噪声就越大.减少步长因子μ可减少自适应滤波算法的稳态失调噪声,提高算法的收敛精度.然而步长因子μ的减少将降低算法的收敛速度和跟踪速度.因此,固定步长的自适应滤波算法在收敛速度、时变系统跟踪速度与收敛精度方面对算法调整步长因子μ的要求是相互矛盾的.为了克服这一矛盾,人们提出了许多变步长自适应滤波算法.R.D.G itlin[3]曾提出了一种变步长自适应滤波算法,其步长因子μ(n)随迭代次数n的增加而逐渐减小.Y asukawa等[4]提出了使步长因子μ正比于误差信号e(n)的大小.而G itlin等[5]提出了一种时间平均估值梯度的自适应滤波算法.叶华等[6]提出了另一种变步长自适应滤波算法,步长因子μ与e(n)和x(n)的互相关函数的估值成正比.吴光弼等[7]通过对误差信号的非线性处理,得到了L.E-LMS变步长自适应滤波算法,该算法较为复杂.在分析了上述变步长自适应滤波算法之后,文[7]提出了变步长自适应滤波算法的步长调整原则.即在初始收敛阶段或未知系统参数发生变化时,步长应比较大,以便有较快的收敛速度和对时变系统的跟踪速度;而在算法收敛后,不管主输入端干扰信号v(n)有多大,都应保持很小的调整步长以达到很小的稳态失调噪声.根据这一步长调整原则,该文给出了Sigm oid函数变步长LMS算法(S VS LMS),其变步长μ是e(n)的Sigm oid函数:μ(n)=β(1/(1+exp(-α|e(n)|))-0.5).该算法能同时获得较快的收敛速度、跟踪速度和较小的稳态误差.然而,该Sigm oid函数过于复杂,且在误差e(n)接近零处变化太大,不具有缓慢变化的特性,使得S VS LMS算法在自适应稳态阶段仍有较大的步长变化,这是该算法的不足.高鹰等[8]给出了另一满足步长调整原则的函数,即变步长μ是e(n)的如下函数:μ(n)=β(1-exp(-α|e(n)|2)), 其中,参数α>0控制函数的形状,参数β>0控制函数的取值范围.该函数比Sigm oid函数简单,且在误差e(n)接近零处具有缓慢变化的特性,克服了Sigm oid函数在自适应稳态阶段步长调整过程中的不足.该算法的收敛性能优于文[2,6,7]所提出的算法.2.2 R LS自适应滤波算法LMS算法的优点是结构简单,鲁棒性强,其缺点是收敛速度很慢.基于最小二乘准则,R LS算法决定自适应滤波器的权系数向量W(n)使估计误差的加权平方和J(n)=∑ni=1λn-i|e(i)|2最小.R LS 算法对输入信号的自相关矩阵R xx(n)的逆进行递推估计更新,收敛速度快,其收敛性能与输入信号的频谱特性无关.但是,R LS算法的计算复杂度很高,所需的存储量极大,不利于适时实现;倘若被估计的自相关矩阵R xx(n)的逆失去了正定特性,这还将引起算法发散[1].为了减小R LS算法的计算复杂度,并保留R LS算法收敛速度快的特点,许多文献提出了改进的R LS算法.如快速R LS(Fast R LS)算法[9,10],快速递推最小二乘格型(Fast Recur2 sive Least Squares Lattice)算法[11]等.这些算法的计算复杂度低于R LS算法,但它们都存在数值稳定性问题.改进的R LS算法着重于用格型滤波器的R LS算法,快速R LS算法就是在R LS格型算法基础上得到的.格型滤波器与直接形式的FIR滤波器可以通过滤波器系数转换相互实现.格型参数称为反射系数,直接形式的FIR滤波器长度是固定的,一旦长度改变则会导致一组新的滤波器系数,而新的滤波器系数与旧的滤波器系数是完全不同的.而格型滤波器是次序递推的,因此,它的级数的改变并不影响其它级的反射系数,这是格型滤波器的一大优点.R LS格型滤波器算法就是将最小二乘准则用于求解最佳前向预测器系数、最佳后向预测器系数,进行时间更新、阶次更新及联合过程估计.格型R LS算法的收敛速度基本上与常规R LS算法的收敛速度相同,因为二者都是在最小二乘的意义下求最佳.但格型R LS算法的计算复杂度高于常规R LS 算法.格型R LS算法的数字精度比常规R LS算法的精度高,对舍入误差的不敏感性甚至优于LMS 算法.高鹰[11]为避免R LS类算法递推估计更新自相关矩阵的逆的不足,基于最小二乘准则T(n),利用最陡下降法,得到一种新的梯度型自适应滤波算法,该算法计算复杂度较低,收敛性能良好.54 第2期 邹艳碧等:自适应滤波算法综述2.3 变换域自适应滤波算法对于强相关的信号,LMS算法的收敛性能降低,这是由于LMS算法的收敛性能依赖于输入信号自相关矩阵的特征值发散程度.输入信号自相关矩阵的特征值发散程度越小,LMS算法的收敛性能越好.经过研究发现,对输入信号作某些正交变换后,输入信号自相关矩阵的特征值发散程度会变小.于是,Dentino等1979年首先提出了变换域自适应滤波的概念[12],其基本思想是把时域信号转变为变换域信号,在变换域中采用自适应算法. Narayan等[13]对变换域自适应滤波算法作了全面的总结.变换域自适应滤波算法的一般步骤是:1)选择正交变换,把时域信号转变为变换域信号.2)变换后的信号用其能量的平方根归一化.3)采用某一自适应算法进行滤波.设输入信号为:x(n)=[x(n),x(n-1),…, x(n-N+1)]T,经过T变换后为:X(n)=T・x(n),T是N×N正交变换矩阵,常用的正交变换[14]有离散余弦变换、离散傅立叶变换、离散Hartly变换及Walsh-Hadamard变换等.自适应滤波器的权系数向量定义为:W(n)= T w(n);滤波器的输出信号为:y(n)=W T(n)・X(n);误差信号为:e(n)=d(n)-y(n);权系数向量的迭代方程为:W(n+1)=W(n)+2μe(n)p-1(n)X(n),P(n)=diag[P(n,0)P(n,1)…P(n,N-1)],P(n,l)=βP(n-1,l)+(1-β)X T(n,l)・X(n,l) l=0,1,…,N-1.若令Λ2=P(n),则权系数向量的迭代方程为:W(n+1)=W(n)+2μe(n)Λ-2X(n).一些快速的变换域自适应算法[15]也已提出.最近,小波变换也被用于变换域自适应滤波,在小波变换自适应滤波[16~21]中,通常采用两种形式:一是小波子带自适应滤波[19,20],它相当于把输入信号和期望响应信号在多分辨率空间进行自适应滤波后,再变换为时域输出信号;另一种是小波变换域自适应滤波[16~18,21],它是把输入信号用小波的多分辨率空间的信号来表示,作为自适应滤波器的输入,而期望响应信号并不作小波变换.2.4 仿射投影算法仿射投影算法最早由K.Ozeki和T.Umeda[21]提出,它是能量归一化最小均方误差(N LMS)算法的推广.仿射投影算法的性能介于LMS算法和R LS 算法之间,其计算复杂度比R LS算法低.能量归一化最小均方误差(N LMS)算法是LMS算法的一种改进算法,N LMS算法可以看作是一种时变步长因子的LMS算法,其收敛性能对输入信号的能量变化不敏感.仿射投影算法是N LMS算法的多维推广,假定P为投影阶数,仿射投影算法中权系数向量的修正量由下述方程组的最小二范解决定:Y(k)=X T(k)[W(k-1)+ΔW(k-1)],其中:Y(k)=[y(k),y(k-1),…,y(k-P+1)];X(k)=[x(k),x(k-1),…,x(k-P+1)].利用矩阵的广义逆可求得ΔW(k-1),因此,仿射投影算法[22,23]可表示为:e(k)=Y(k)-X T(k)W(k-1);g(k)=[X T(k)X(k)+δI]-1e(k);W(k)=W(k-1)+μΔW(k-1)=W(k-1)+μX(k)g(k).仿射投影算法的计算复杂度为(P+1)N+ O(P3)量级,比R LS算法低一个数量级,但比N LMS 算法高很多.G ay等[24,25]提出的快速仿射投影算法大大降低了仿射投影算法的计算复杂度.在快速仿射投影算法中,采用滑动窗快速横向滤波器算法[26]计算预滤波向量,避免了矩阵求逆运算.快速仿射投影算法的计算复杂度虽然降低了,但其内嵌的滑动窗快速横向滤波器算法的实现相对复杂,并且存在数值稳定性问题.为解决快速仿射投影算法的数值稳定性问题,Douglas等[27]提出了正交变换的快速仿射投影算法的近似算法,避免了采用复杂的滑动窗快速横向滤波器算法,改善了快速仿射投影算法在有限精度运算时的数值稳定性.2.5 共轭梯度算法虽然R LS算法收敛速度快,但其计算复杂度很高,它需要估计逆矩阵.假如被估计的逆矩阵失去正定性,就会引起算法发散[2];而且,为实现算法所需的存储量极大,不利于适时实现.一些快速R LS算法虽降低了R LS算法的计算复杂度,但都存在数值稳定性问题.共轭梯度自适应滤波算法[28]不含有R LS算法中的矩阵运算,也没有某些快速R LS算法存在数值稳定性问题,它保留了R LS算法收敛速度快的特点.Alan等[29]提供和分析了共轭梯度法在自适应滤波中的两个实现方法,这两个方法对原始的共轭梯度法作了一些修改,并且对这两个算法的收敛率和失调作了比较,建立了算法的稳定范围.2.6 基于子带分解的自适应滤波算法子带分解技术用于自适应滤波算法主要是基64 广州大学学报(自然科学版) 第1卷 于以下考虑:对于强相关输入信号,自相关矩阵R (n )的特征值发散程度很大,使得所采用的自适应滤波算法的收敛速度和跟踪速度都很慢,且权值极多的自适应滤波器的计算量很高.基于子带分解的自适应滤波[30~33]在提高收敛性能的同时又节省了一定的计算量,因而近年来倍受关注,已得到一些有意义的结果[34,35].基于子带分解自适应滤波的基本原理是:首先将输入信号与参考信号经过分解滤波器组抽取进行子带分解,将信号按频带划分,然后在各个子带上分别进行自适应滤波,再将子带信号内插后通过合成滤波器组得到最后的合成信号.其中,由于对信号的抽取,使完成自适应滤波所需的计算量得以减小;而在子带上进行自适应滤波使收敛性能又有所提高.在信号的子带分解中,存在着由于分解滤波器组的非理想特性引起的子带信号混叠的问题.为了避免混叠对自适应滤波的影响,G illoire [30,31]采用加入子带间滤波的方法,而Peraglia 等[33]采取在抽取时过采样的方法.这两种方法都使计算量有所上升.后一种必须是在多带分解的情况下,如抽取比率较低,可以认为不存在混叠,但代价是计算量增加很多.一般来说,信号的子带分解处理有如下优点:采样间隔增大引起滤波器抽头数目减少,减小了计算复杂性;采样间隔扩大后,输入信号本身的自相关也减弱,可以提高算法的收敛性能.研究发现,信号的子带分解处理涉及多速率数字信号处理[36],子带小波变换域自适应滤波算法的收敛性能与子带分解的方式及子带低通滤波器的正则性相关.为了提高信号子带分解自适应滤波器的收敛速度,Deleon 等[36]认为,经子带分解后,抽取引起部分信号的浪费,采用Multirate Reoeating Method 可以利用那些被浪费的信号成分,通过增加单位时间内对权值的更新次数,获得更快的收敛速度.近年来又出现了小波子带分解自适应滤波[37].小波子带分解自适应滤波能加快自适应收敛速度,同时便于并行处理,带来一定的灵活性.2.7 基于QR 分解的自适应滤波算法[2]矩阵的QR 分解是信号处理中常用的一种矩阵分解.QR 分解中的Q 表示一个酉矩阵,R 表示一个上三角矩阵.基于QR 分解的递推最小二乘自适应滤波算法首先采用G ivens 旋转变换把加权输入信号矩阵变换为上三角矩阵,然后再利用回代求解三角矩阵方程,计算自适应滤波器权系数向量.QR 分解类自适应滤波算法有以下三种:1)QR-R LS 算法;2)Extended QR-R LS 算法;3)Inverse QR-R LS 算法.基于QR 分解的自适应滤波算法对输入信号矩阵直接进行更新,因此在有限精度运算条件下,具有良好的数值稳定性.各种QR 分解的快速自适应滤波算法直接计算估计误差,并不需要更新权系数向量.而基于逆QR 分解的递推最小二乘自适应滤波算法可以直接更新权系数向量,并且避免了复杂的回代运算.2.8 其它一些自适应滤波算法除了上面介绍的自适应滤波算法之外,还有一些其它的算法,如:系数部分更新自适应滤波算法[38~40]、LMF (R LF )算法[41,42]、Leaky -LMS 算法[43,44]等.在一些自适应滤波应用中,即使简单的LMS (N LMS )算法实现起来也显复杂,为此,系数部分更新自适应滤波算法[38~40]被提出,其主要思想是在自适应滤波算法的每次迭代中,仅仅自适应滤波器的部分系数被更新,这使得整个自适应滤波算法的计算量有所降低.这类算法主要有:Periodic LMS 算法[38],M -Max N LMS 算法[39]和Max N LMS 算法[40].它们的自适应滤波器的系数分别更新如下:Periodic LMS 算法:W i (n +1)=W i (n )+μe l x l -i +1 (n +i )m od =O and l =N[n |N ]W i (n ) otherwiseM -M ax N LMS 算法:W i (n +1)=W i (n )+μe (n )x (n -i +1)X T(n )X (n ) i 对应前M 个max|x (n -i +1)|,i =1,…,L W i (n ) otherwise M ax N LMS 算法:W i (n +1)=W i (n )+μe (n )x (n -i +1) 如果|x (n -i +1)|=max|x (n -j +1)|,j =1,…,LW i (n ) otherwise 我们知道,LMS 算法最小化均方误差E [e 2(n )];R LS 算法使误差的加权平方和J (n )=74 第2期 邹艳碧等:自适应滤波算法综述∑ni =1λn -i |e (i )|2最小.而文献[41,42]给出了最小化E[e 4(n )]的LMF 算法和最小化∑ni =1λn -i|e (i )|4的R LF 算法;LMF 算法和R LF 算法在非高斯环境中的收敛性能比LMS 算法和R LS 算法好.Z erguine等[42]给出了混合LMS -LMF 算法,该算法对噪声的变化显示了好的稳定性.Leaky -LMS 算法[43]的权系数更新等式是:W (n +1)=(1-μγ)W (n )+μe (n )X (n ),e (n )=d (n )-W T(n )X (n ).其中μ为步长因子,γ是泄漏因子.Leaky -LMS 算法等效于在自适应滤波器的输入端叠加白噪声.Mayyas 等[44]的分析和比较结果显示,Leaky -LMS 算法的直接实现方式优于在自适应滤波器的输入端叠加白噪声的实现方式.3 结 论对自适应滤波算法的研究是当今自适应信号处理中最为活跃的研究课题之一.我们对各种类型的自适应滤波算法进行了简单的总结分析.变步长的自适应滤波算法虽然解决了收敛速度、时变系统跟踪速度与收敛精度方面对算法调整步长因子μ的矛盾,但变步长中的其它参数的选取还需实验来确定,应用起来不太方便.对R LS 算法的各种改进,其目的均是保留R LS 算法收敛速度快的特点而降低其计算复杂性.变换域类算法亦是想通过作某些正交变换使输入信号自相关矩阵的特征值发散程度变小,提高收敛速度.而仿射投影算法的性能介于LMS 算法和R LS 算法之间.共轭梯度自适应滤波算法的提出是为了降低R LS 类算法的复杂性和克服某些快速R LS 算法存在的数值稳定性问题.信号的子带分解能降低输入信号的自相关矩阵的特征值发散程度,从而加快自适应滤波算法的收敛速度,同时便于并行处理,带来了一定的灵活性.矩阵的QR 分解具有良好的数值稳定性.总之,寻求收敛速度快,计算复杂性低,数值稳定性好的自适应滤波算法是研究人员不断努力追求的目标.虽然线性自适应滤波器和相应的算法具有结构简单、计算复杂性低的优点而广泛应用于实际,但由于对信号的处理能力有限而在应用中受到限制.由于非线性自适应滤波器,如Volterra 滤波器和基于神经网络的自适应滤波器,具有更强的信号处理能力,已成为自适应信号处理中的一个研究热点[45,46].参考文献:[1] 覃景繁,欧阳景正.一种新的变步长自适应滤波算法[J ].数据采集与处理,1997,12(3):171-194.QI N Jing -fan ,OU ’Y ANGJing -zhen.A new variable step size adaptive filtering alg orithm[J ].Data Collecting and Processing ,1997,12(3):171-194.[2] S Haykin.Adaptive filtering theory (3rd Edition )[M].Prentice-Hall ,1985.[3] G itlin R D ,Weinstein S D.On the design of gradient alg orithms for digitally implemented adaptive filters[J ].IEEE Trans on CT ,1973(2):125-136.[4] Y asukawa H ,Shimada S ,Furukrawa I ,et al.Acoustic echo canceller with high speech quality[J ].IC ASS P ’87:2125-2128.[5] G itlin R D ,Weinstein S D.The effects of large interference on the tracking capability of digitally implemented echo cancellers[J ].IEEE Trans on COM ,1978(6):833-839.[6] 叶 华,吴伯修.变步长自适应滤波算法的研究[J ].电子学报,1990,18(4):63-69.YE Hua ,W U Bai-xiu.A study of variable step size adaptive filtering alg orithms[J ].ACT A Electronica Sinica ,1990,18(4):63-69.[7] 吴光弼,祝琳瑜.一种变步长LMS 自适应滤波算法[J ].电子学报,1994,22(1):55-60.W U G uang -bi ,ZH U Ling -yu.A variable step size LMS adaptive filtering alg orithm [J ].ACT A Electronica Sinica ,1994,22(1):55-60.[8] 高 鹰,谢胜利.一种变步长LMS 自适应滤波算法及分析[J ].电子学报,2001,29(8):1094-1097.G AO Y ing ,XIE Sheng -li.A variable step size LMS adaptive filtering alg orithm and its analyses[J ].ACT A Electronica Sinica ,2001,29(8):1094-1097.[9] J M Cioffi ,T K ailath.Windowed fast transversal filters for recursive least squares adaptive filtering[J ].IEEE Trans.on ASS P.1985,33(3):607-625.[10] G Carayannis ,D G Manolakis ,N K alouptsidis.A fast sequential alg orithm for least-squares filtering and prediction [J ].IEEETrans.ASS P ,1983,31(6):1394-1402.[11] 高 鹰.一种基于最小二乘准则的自适应滤波算法[J ].广州大学学报,2001,15(2):32-34.G AO Y ing.An adaptive filtering alg orithm based on least squares criterion[J ].Journal o f Guangzhou Univer sity ,2001,15(2):32-84 广州大学学报(自然科学版) 第1卷 34.[12] M Dentino ,J MeC ool ,B Windrow.Adaptive filtering in the frequency domain[J ].Proc IEEE ,1979,67:1658-1659.[13] S Shankar Narayan ,Allen M ,P M J Narsimaha.T rans form domain LMS alg orithm[J ].IEEE Trans.ASS P ,1983,31(3):609-615.[14] Francoise Beau fays.T rans form domain adaptive filters :an analytical approach[J ].IEEE Trans.ASS P ,1995,43(2):1-11.[15] Francoise Beau fays ,Bernard Widrow.T w o-layer linear structure for fast adaptive filtering[J ].Proc.WCNN ’94,1994.[16] Attallah S ,Najin M.On the convergence enhancement of the wavelet trans form based LMS[J ].Proce.IC ASS P .1995,973-976.[17] Rao S ,Pearlman W A.Analysis of linear prediction ,coding and spectrual estimation from subbands[J ].IEEE Trans.on IT ,1996,42(4):1160-1178.[18] H osur S ,T ew fik A H.Wavelet trans form domain adaptive FIR filtering[J ].IEEE Trans.on S P ,1997,45(3):617-630.[19] Milos I D ,H Fan.Wavelet-based linear system m odeling and adaptive filtering[J ].IEEE Trans.on S P ,1996,44(5):1156-1167.[20] Lambrecht C ,K arakchou M.Wavelet packets 2based high 2res olution spectral estimation[J ].Signal Processing ,1996,47(2):135-144.[21] Nurgun E ,Filiz S.Wavelet trans form based adaptive filter :analysis and new results[J ].IEEE Trans.on S P ,1996,44(9):2163-2168.[22] K azuhiko Ozeki ,T etsuo Umeda.An adaptive filtering using an orthog onal projection to an affine subspace and its properties[J ].IECE ,1984,v ol.J67-A (in Japanese )(2):126-132.[23] Masashi T anaka ,Y utaka K aneda ,Shoji Makino ,et al.A fast projection alg orithm and its step size control[J ].IC ASS P ’95,945-948.[24] S L G ay ,S T avathia.The fast affine projection alg orithm[J ].Proc.IC ASS P ’95,Detroit ,1995:3023-3026.[25] M T anaka ,Y K aneda ,S Makino ,et al.A fast projection alg orithm for adaptive filtering[J ].IEICE Trans.on Fundamentals o felectronics ,communications and computer sciences.1995,E78-A (10):1355-1361.[26] J M Cioffi ,T K ailath.Windowed fast transversal filters for recursive least squares adaptive filtering[J ].IEEE Trans.on ASS P.1985,33(3):607-625.[27] S C D ouglas.E fficient approximate implementations of the fast affine projection alg orithm using orthog onal trans forms[J ].Proc.I 2C ASS P ’96,Atlanta ,1996:1657-1660.[28] G K Boray ,M D Srinath.C onjugate gradient techniques for adaptive filtering[J ].IEEE Trans.on C AS-I :Fundamental Theoryand Applications.1992,39(1):1-10.[29] Pi Sheng Chang ,Alan N Wills on.Analysis of conjugate gradient alg orithms for adaptive filtering[J ].Trans.on S P ,2000,48(2):409-418.[30] A G illoire ,M Vetterli.Adaptive filtering in subbands with critical sampling :analysis ,experiments ,and application to acoustic e 2cho cancellation[J ].IEEE Trans.on S P.1992,40(8):2862-2875.[31] QU Jin ,LUO Zhi-quan ,K ON Max -w ong.Optimum filter banks for signal decomposition and its application in adaptive echo cancel 2lation[J ].IEEE Trans.on S P ,1996,44(7):1669-1680.[32] M R peraglia ,S K Mitra.Performance analysis of adaptive filter structures based on subband decomposition[J ].Proc.IC ASS P ’93,Minnesota ,64-67.[33] Y oon G i Y ang ,Nam Ik Cho ,Sang Uk Lee.On the performance analysis of the subband adaptive digital filter[J ].Proc.IC ASS P ’93,Minnesota ,60-63.[34] M organ D R ,Thi J C.A delayless subband adaptive filter achitecture[J ].IEEE Trans.on S P ,1995,43(8):1819-1830.[35] Deleon P L ,E tter D M.Experimental results with increased bandwidth analysis filters in oversampled ,subband acoustic echo can 2cellers[J ].IEEE Signal Processing Letter s ,1995,2(1):105-109.[36] R E Crochiere ,L R Rabiner.Multirate digital signal processing[M].Prentice-Hall ,Inc ,1983.[37] M Vetterli ,G herley.Wavelets and filter banks :theory and design[J ].IEEE Trans.S P ,1992,40(9):2207-2232.[38] S cott C D ouglas.Adaptive filters employing partial updates[J ].IEEE Trans.on C AS-II Analog and digital signal processing ,1997,44(3):209-216.[39] T Aboulnasr ,KMayyas.Selective coefficient update of gradient-based adaptive alg orithms[J ].Proc.IC ASS P ’96,1996,1929-1932.[40] S C D ouglas.Analysis and implementation of the Max -N :MS adaptive filter [A ].Proc.29th Asilomr Conf.Signals and Systs.94 第2期 邹艳碧等:自适应滤波算法综述05 广州大学学报(自然科学版) 第1卷 Comput[C].,1995,1,Pacific Grove,C A,659-663.[41] E Walach,B Widrow.The Least Mean F ourth(LMF)adaptive alg orithm and its family[J].IEEE Trans.on Inf.Theory,1984,v ol.IT-30:275-283.[42] A Z erguine,C F N C owan,M Bettayeb.N ovel LMS-LMF adaptive scheme for echo cancellation[J].Electronic Letter,1996,32(19):1776-1778.[43] K A Mayyas,T Aboulnasr.The leaky LMS alg orithm:MSE analysis for G aussian Data[J].IEEE Trans.on S P,1997,45:927-934.[44] S C D ouglas.Performance comparis on of tw o implementations of the leaky LMS adaptive filter[J].IEEE Trans.on S P,1997,45:2125-2129.[45] N K alouptsidis,S Theodoridis.Adaptive system identification and signal processing alg orithms[M].Prentice Hall,1993,512-553.[46] 罗发龙,李衍达.神经网络信号处理[M].北京:电子工业出版社,1994.LUO Fa-long,LI Y an-da.Neural netw ork signal processing[M].Beijing:E lectronic Industry Press,1994.A Summ ary of Adaptive Filtering AlgorithmsZOU Yan-bi,G AO Ying(School of In formation and E lectromechanical Engineering,G uangzhou University,G uangzhou510405,China)Abstract:In adaptive signal processing theory,adaptive filtering alg orithms based on correlation function have been widely used.In this paper,a sim ple summary of adaptive filtering alg orithms is presented.K ey w ords:adaptive filtering alg orithm;LMS alg orithm;R LS alg orithm;trans form domain alg orithm;affine projec2 tion alg orithm;subband filtering alg orithm;QR decom position alg orithm【责任编辑:周 全】。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
4.1.归一化LMS滤波器作为约束最优化问
题的解
(1)在结构上,归一化LMS滤波器与标准LMS滤波器完全一样,都是横向滤波器。 区别在于权值控制器的机理 ,如下图
输入向量u(n) 横向滤波器w(n)
输出信号y(n)
误差信号e(n)
—
自适应控制算法
∑
+
自适应横向滤波器框图
2
e(n)
2
其中是无干扰误差信号
u (n) ( w w(n))H u (n)
H (n)u (n)
2018/10/15 自适应信号处理 10
由式看做 为变量的一元二次函数 则当满足如下条件归一化LMS滤波器在均 方误差意义下是稳定的。
0 2
最优步长参数为
Re E[u (n)e * (n) / u (n) ] E[ e(n) / u (n) ]
w(n 1) w(n 1) w(n)
w
H
(1)
的欧式范数最小化,并受制于以下约束条件
(n 1)u(n) d (n)
(2)
(3)
我们应用拉格朗日乘子法来解决这个约束优化问题。 2 代价函数为 H
J (n) w(n 1) Re[ * (d (n) w (n 1)u(n))]
其中Re[.]表示取实部运算,约束对代价函数的贡献是实值的; 为复数拉格朗日乘 2 子,*表示复共轭; w(n 1) 表示欧式范数的平方运算,其结果也是实值的。因此 代价函数J(n)是实值的二次函数,且表示为
J (n) ( w(n 1) w(n)) ( w(n 1) w(n)) Re[ * (d (n) w(n 1)u (n))]
2018/10/15
自适应信号处理
3
为什么归一化?
由第五章的传统的LMS滤波器的标准形式
w(n 1) w(n) u (n)e * (n)
从上式可以看出n+1次迭代中应用于滤波器抽头权向量的失调为w(n+1)-w(n) 由以下三点影响: 1.步长参数 u 2.抽头输入向量u(n) (由设计者控制) (由信息源提供)
2
u ( n) e * ( n)
0.
自适应信号处理 9
4.2归一化LMS滤波器的稳定性
期望响应d(n)多重回归模型控制 ,重写如下 加权误差向量为
d (n) wH u(n) v(n)
(n) w w(n)
于是从w中减去式得到 (n 1) (n)
2
2
2
opt
H
7
对
求解得
H
2e(n) u(n)
2
其中
e(n) d (n) w (n)u(n)
是误差信号。 第三步;由上两步的结果,表示增量变化的最优值。
w(n 1) w(n 1) w(n)
1 u (n)
2
u (n)e * (n)
故归一化LMS算法抽头权向量期望的递归结果为
3.实数据的估计误差e(n)或复数据估计误差e*(n)(n次迭代计算的结果)
可知失调与抽头输入向量u(n)成正比。我们在调整滤波器的权向量使滤波器达到稳 定状态的过程中,应当使权向量以最小方式改变,这样才能的得到最优解。当u(n) 较大时,出现梯度噪声放大问题。归一化:n+1次迭代时对抽头权向量的失调相对于n 次迭代时抽头输入向量u(n)的平方欧式范数进行归一化。
u ( n)
2
u (n)e * (n)
以均方偏差 为基础,进行稳定性分析。对式两边取平方欧式范数,并取期望值得:
D ( n ) E[ ( n ) ]
2
u ( n )e * ( n ) D(n 1) D(n) E[ ] 2 E Re[ ] 2 2 u (n) u (n)
2
u ( n) e * ( n)
以上便是解决了当u(n)较大时,造成的LMS滤波器的梯度噪声放大的问题。 而当u(n)较小时,不得不用较小的平方范数除以 ,以致有可能出现数值计 算困难。故将递归方程修改为;
w(n 1) w(n)
其中
2018/10/15
u ( n)
第二步; 将第一步的结果带入式(2)得
d (n) w (n 1)u (n) 1 ( w(n) * u (n))H u (n) 2 H 1 w (n)u (n) u H (n)u (n) 2 H 1 2 w (n)u (n) u (n) 2
2018/10/15 自适应信号处理
第四讲 归一化最小均方 (NLMS)自适应滤波算法
Y.J.Pang
2018/10/15
自适应信号处理
1
CONTENT
NLMS算法推导过程 NLMS算法稳定性 NLMS算法在回声消除中的应用
2018/10/15
自适应信号处理?
如何归一化 及归一化的 稳定性
仿射投影滤 波器应用
w(n 1) w(n)
2018/10/15
1 u(n)
2
u(n)e * (n)
8
自适应信号处理
为了对一次迭代到下一次迭代抽头权向量的增量变化进行控制而不改变向量的 方向,引入了一个正的实数标度因子 。
故得到归一化抽头权向量的递归方程
w(n 1) w(n)
u ( n)
2018/10/15 自适应信号处理
期望响应d(n)
5
最小化干扰原理:从一次迭代到下一次中,自适应滤波器的权向量
应当以最小方式改变,而且受到更新的滤波器输出所施加的约 束。
归一化LMS滤波器设计准则表述为约束优化问题。 即给定抽头输入向量u(n)和目标响应d(n),确定更新的抽头向量w(n+1),使 得增量
H
2018/10/15 自适应信号处理 6
为了得到代价函数为最小的最优更新权向量,推到如下: 第一步;代价函数对w(n+1)求导,得:
J (n) w* (n 1)
令其为零,得最优解为
2( w(n 1) w(n)) * u (n)
1 w(n 1) w(n) * u (n) 2