一种冗余字典下的信号稀疏分解新方法
基于自适应冗余字典的语音信号稀疏表示算法
基于自适应冗余字典的语音信号稀疏表示算法王天荆;郑宝玉;杨震【期刊名称】《电子与信息学报》【年(卷),期】2011(033)010【摘要】基于冗余字典的信号稀疏表示是一种新的信号表示理论,当前的理论研究主要集中在字典构造算法和稀疏分解算法两方面.该文提出一种新的基于自适应冗余字典的语音信号稀疏表示算法,该算法针对自相关函数为指数衰减的平稳信号,从K-L展开出发,建立了匹配信号结构的冗余字典,进而提出一种高效的基于非线性逼近的信号稀疏表示算法.实验结果表明冗余字典中原子的自适应性和代数结构使短时平稳语音信号稀疏表示具有较高的稀疏度和较好的重构精度,并使稀疏表示算法较好地应用于语音压缩感知理论.%The sparse representation based on overcomplete dictionary is a new signal representation theory. Recent activities in this field concentrate mainly on the study of dictionary design algorithm and sparse decomposition algorithm. In this paper, a novel speech signal sparse representation algorithm is proposed based on adaptive overcomplete dictionary. Considering stationary signal with autocorrelation function of exponential decay, an adaptive overcomplete dictionary is constructed in terms of the Karhunen-Loeve (K-L) expansion. Furthermore, an effective algorithm based on the nonlinear approximation is proposed to obtain sparse decomposition of signal with the adaptive dictionary. The experimental results indicate that short-term stationary speech signal sparse representation based on the adaptability andalgebraic structure of atom in the overcomplete dictionary has higher sparsity and better reconstructive precision. The sparse representation algorithm can preferably be used in compressed sensing.【总页数】6页(P2372-2377)【作者】王天荆;郑宝玉;杨震【作者单位】南京邮电大学宽带无线通信与传感网技术教育部重点实验室南京210003;南京工业大学理学院南京210009;南京邮电大学宽带无线通信与传感网技术教育部重点实验室南京210003;南京邮电大学宽带无线通信与传感网技术教育部重点实验室南京210003【正文语种】中文【中图分类】TN912.3【相关文献】1.结合字典稀疏表示和非局部相似性的自适应压缩成像算法 [J], 练秋生;周婷2.基于自适应字典稀疏表示的超分辨率算法 [J], 潘智铭;熊红凯3.基于分类冗余字典稀疏表示的图像压缩方法 [J], 王科平;杨赞亚;恩德4.基于冗余字典稀疏表示的二维DOA估计 [J], 陈玉龙;黄登山5.基于Curvelet变换冗余字典的重力数据稀疏表示与重建 [J], 牛丽琨;吴美平因版权原因，仅展示原文概要，查看原文内容请购买。
基于冗余字典的信号超完备表示与稀疏分解
结束语超完备表示目前所涉及的应用已扩展到很多方神经科学的理论研究指出超完备表示更符合哺乳动物视觉系统的生物学背景38非线性逼近理论也给出令人信服的实例证明超完备系统的逼近优于已知的正交基39用这样的信号表示方式可将图像分割成互不相关的信号类型4041信号处理的研究表明稀疏分解对信号压缩和均衡都有较大改善4244其变种2829字典所涉及的主要类型为多尺度gabor函数716各向异性的精细原子45grassmann37小波和正弦函数的级联131620如何实现上述算法的快速计算降低算法的复杂度选择何种类型的原子构造合适的字典或级联字典族以及何种结构的信号适用于哪一类字典以获得好的逼近这些问题一直是该领域研究的热学者们对此已做了一些探索121420这些理论证明反过来为bpmp算法的具体实现提供了充分的理论依据
问题. 换句话说, 字典D的非相干性帮助我们解决了
NP 难问题.
2.2 匹配追踪及其变种
尽管使用了线性规划方法, 基追踪法由于要在
所有字典向量的不同组合中寻求满足算式(5)成立的
极小化 c 1 的解, 其计算仍是繁琐的, 人们转而采用 能够求解局部最优的贪婪算法以取代求 c 0 的全局 最优, 以减少计算的复杂性. MP 是一个迭代的贪婪
本文以稀疏信号的精确重构条件为主线, 综述 了基于冗余字典的信号稀疏分解和非线性逼近领域 的一系列最新理论成果.
一种冗余字典下的信号稀疏分解新方法
收稿日期:2007-05-17基金项目:国家自然科学基金资助(60672125,60736043,60776795);教育部长江学者和创新团队支持计划(IRT 0645);国家部委预研基金资助作者简介:刘丹华(1978-),女,讲师,西安电子科技大学博士研究生,E -mail :dh liu @mail .xidian .edu .cn .一种冗余字典下的信号稀疏分解新方法刘丹华,石光明,周佳社(西安电子科技大学电子工程学院,陕西西安 710071)摘要:针对目前冗余字典下信号稀疏分解常用算法计算复杂度高的问题,提出一种分组匹配追踪算法.该算法首先利用多组正交基构造冗余字典,然后采用迭代式分组匹配追踪,每次迭代从字典中选出一组和原始信号或残余最匹配的正交基,采用正交分解快速算法进行正交分解得到少量重要系数,多次迭代后逐渐稀疏逼近原始信号.实验结果表明,基于小波正交基级联冗余字典进行信号稀疏分解时,在同等稀疏条件下,与匹配追踪(M P )算法相比,该算法的计算速度提高了大约30倍,而且可避免过匹配现象.关键词:稀疏分解;冗余字典;匹配追踪算法;信号压缩中图分类号:TN 911.72 文献标识码:A 文章编号:1001-2400(2008)02-0228-05Ne w m e thod for s ignal s pars e d e c o mpo sition o v er aredundant dictionaryLIU Dan -hua ,SHI Guang -ming ,ZHO U Jia -she(S chool of El ectro nic En gineering ,X idian Univ .,Xi ′an 710071,C hina )Ab s tra c t : For the extr em ely hig h c o m pl ex ity of u sual algorith m s for sp arse de c o m p o sitio n ,a ne w grou p m at chi ng pur suit al gor ith m is presente d based o n a re d un d ant d i cti o nary w ith sev eral orth on orm al bases .Th e algorithm ad o pts the the id ea of iterati ve gro up m atc hin g purs uit an d sele cts the o pti mal b asis fro m th e di cti o nary b y co m parin g the m at ching de gre e b etw e e n the sig nal or the resid ua an d ev ery basis .Ea ch op eratio n of d e co m p osi ng res ults in a fe w im p ortant co eff i cie nts by u sin g the fast c al c ulating al gorith m o f ortho g o nal de c o m p o sition .After se veral s uch iteration s ,the ori gin al sig nal is ap prox im ated w ith a fe w c oe ffi ci ents e ve ntu ally .Si m ul ation res ults s h ow that the cal cu latin g s pe ed of the alg orith m i n this pape r in cre ases b y abo ut thirty tim es co m pare d w ith M P’s .M ore o v er ,this al g or ith m c an a v oi d o ver -m atc hing .Ke y Words : sparse de co mp ositio n ;redu ndant di ctionary ;matching p ursuit alg orith m ;si gnal co mpression在信号与信息处理中,如何用空间变换有效地表达信号,是一个很重要的问题.传统的信号表示方法是基于“基”的展开,如Fo urie r 变换和小波变换等.但这种建立在正交基上的信号分解有一定的局限性,往往不总能够达到好的稀疏表示效果,尤其是对于时频变化范围很广的信号,效果更差.一种更好的信号分解方式应该是根据信号的特点,自适应地选择合适的基函数,来完成信号的分解.因此近年来非正交分解引起人们极大的研究兴趣.Mallat 和Z han g 于1993年提出基于冗余字典(red u nda nt d ictio nary )的稀疏分解思想[1].2004年由C andes ,Romberg ,Tao 和Don oho[2]建立起来的压缩传感(C ompressive sensing ,CS )理论进一步将稀疏分解思想提升到了一个新的高度.CS 理论的基础就是要求信号在某个空间具有稀疏性,因此稀疏分解的研究有极其重要而深远的理论意义和广泛的应用价值.至今已经发展了多种稀疏分解算法.常用的有匹配追踪(matching pursuit ,MP )算法[1]、基追踪(basispursuit ,BP )算法[3]、框架方法(method of fra mes ,MOF )算法[4]、最佳正交基(basis orthog onal best ,B O B )算法[5]、正交匹配追踪(orthog onal matching pursuit ,OMP )算法[6].其中BP 算法、MP 算法是目前最常用2008年4月第35卷 第2期西安电子科技大学学报(自然科学版)JOURNAL OF XIDIAN UNIVERSITYApr .2008Vol .35 No .2的两种算法.在众多稀疏分解算法中MP 算法的速度是最快的,但其计算量仍然巨大.这是由于MP 每一步都要完成信号或残余信号在冗余字典中的每一个原子上的投影计算.MP 算法还有另两个缺点:(1)在已选原子组成的子空间上,信号的展开可能不是最好的;(2)极易造成过匹配现象[3].G abriel P eyr é[7]提出在某个正交基字典里,自适应地寻找可以逼近某一种信号特征的最优正交基,根据不同的信号可以寻找最适合信号特性的一个基,然后对信号进行变换以得到较低计算复杂度下的信号稀疏表示.但一组固定的正交基仍然不可能对所有具有多种奇异特性的信号都能够达到稀疏分解.因此笔者从降低计算复杂度的角度出发,提出基于多组正交基级联字典[8]的分组匹配追踪算法.通过与MP 算法的仿真实验比较,结果表明该算法是快速而有效的.1 信号稀疏分解与匹配追踪(MP )算法基于冗余字典的信号稀疏分解的数学描述:设集合D ={g i ,i =1,2,…,M },且Hilbert 空间RN=span (D ),M N .由于M N ,称D 为冗余字典,其元素因为不再满足正交性称为原子,并且原子都作了归一化处理.对于信号f ∈R N,在D 中选取K (K N )个原子对信号f 作K 项逼近:f K =∑i ∈IK ,I K =K<f ,g i >g i ,(1)其中I K 是g i 的下标集合.定义逼近误差σ=inf fKf -f K .(2)从稀疏逼近的角度出发,希望在满足条件(2)的前提下,从各种可能的组合中,挑选出分解系数最为稀疏的一组原子.要找到最稀疏的信号表示,等同于解决0-范数问题[1]min c, s .t .f =∑K i =1c igi,(3)其中c是序列c i (i =1,2,…,K )中非零项的个数.对于冗余字典D 来说,这是一个NP 难问题[9].人们转而采用能够求解局部最优的MP 贪婪算法以取代求c的全局最优,以降低计算的复杂度.MP算法在每一次迭代过程中,用原始信号或残余信号跟冗余字典中所有原子做内积,从字典里选择最能匹配信号结构的一个原子而构建的一种逼近过程[1,10].但是,由于每次迭代字典中的所有剩余原子都需与信号作内积,以找到最能匹配信号结构的一个原子,所以MP 算法计算量仍十分巨大.笔者提出新算法的目的就是在完成信号稀疏分解的同时,降低计算复杂度,并尽可能克服过匹配现象.2 基于多组正交基级联字典的分组匹配追踪算法2.1 文中算法描述基于多组正交基级联字典的分组匹配追踪算法的基本思想是:根据信号特性,选择多组正交基构造冗余字典,将各组正交基与信号进行匹配程度比较,选择在与信号f 最匹配的一组基下进行分解,得到第一批重要系数,然后从字典中将最匹配的这组基删掉.接下来对残余信号R i进行同样分解,将R i与字典中剩余正交基的匹配程度进行比较,在最匹配的一组基下将残余信号R i 分解,得到下一批重要系数.依次类推,直到完成残余信号R i的精度要求(或分解系数个数要求)为止.2.2 文中算法分解过程图1是文中算法的分解过程示意图.设N 为信号f 的长度,D ={B 1,B 2,…,B L },B i ={g ij ,j =1,2,…,N },i =1,2,…,L ,B i 为第i 个标准正交基组,则D 为L 组正交基级联而成的字典.希望找到K (K N )个系数来对f 进稀疏逼近,f K =∑Kj =1c jgj.第1次分解:首先,分别利用标准正交基B i (i =1,2,…,L )对信号f 进行正交分解,将得到N 个系数,选出k i 个大系数c i1,c i 2,…,cik i-1,c iki 作分解,则分解后所得的残余R 1i=f -∑k ij =1cijg ij ,在L 组这样的大系数中选922第2期 刘丹华等:一种冗余字典下的信号稀疏分解新方法图1 基于多组正交基级联字典的分组匹配追踪算法的分解及重构过程出一组系数c i11,c i 12,…,c i1k i1-1,c i1ki1满足R1=min i =1,2,…,L{R 1i } .(4)即找到与信号f 匹配程度最高的标准正交基B i 1,并得到第一组系数c i11,c i12,…,c i1k i 1-1,c i1k i 1,同时将B i 1这组正交基从字典中删去.第l 次分解:对残余信号R l -1作上述同样的分解过程,可得R l =Rl -1-∑k i lj =1c il j g ilj ,(5)其中R l满足下式(同样删去相应的一组正交基)Rl=mini =1,2,…,L i ≠i 1,…,i ≠il -1{R li } .(6)依次类推,直到找到第L 组系数c iL 1,c i L 2,…,c iLii L-1,c iL i i L.至此,共得到L 组分解系数c i11,c i12,…,c i1k i 1-1,c i1k i 1,c i21,c i22,…,c i2k i 2-1,ci2k i 2,…,c i L 1,c i L 2,…,c iLkiL-1,c iL k iL,将它们合并起来记作c 1,c 2,…,c K .最终得到信号f 的稀疏分解,即f ≈f K =∑k 1j =1c 1j g 1j+∑k 2j =1c2jg 2j+…+∑k Lj =1c L j gL j=∑Kj =1c jgj.(7)由分解过程可以看出发现:文中算法和MP 算法的思想相似,但不同的是MP 算法每次迭代从原子库选择一个最佳原子,而文中算法则是选择一组最佳正交基进行分解.笔者提出的算法的改进之处在于:(1)在一定条件下可以保证其收敛性,且易于编制算法;(2)它每一次迭代过程都是在正交基下进行分解(常用正交变换大都有快速算法),极大地降低了计算复杂度.当选择的字典是D ={B 1,B 2,…,B L }时,如果B i 的正交变换和重构有快速算法(如小波基),此时该算法的计算复杂度为O (N ),而MOF 算法、BO B 算法的算法复杂度均为O (N log N ),BP 算法比M OF 算法、B O B 算法还要慢,只有MP 算法是准线性的,然而其速度却极大地依赖于字典中原子的数量M (通常M N ).所以当冗余字典是由多组正交基级联而成时,该算法在计算复杂度方面优于MP 算法.另外,当原始信号恰好包含冗余字典中两个原子的线性组合时,采用MP 算法极易造成过匹配现象.文中算法则克服了过匹配现象,实验结果也证明了这一点.32 西安电子科技大学学报(自然科学版) 第35卷3 实验结果分析3.1 小波基下正交分解的逼近误差对比以一维语音信号(图2(a ))为例,取N =1024,用Daubechies 系列小波基db 1-db 10构造正交级联字典.取K =128(K N ),表1为单独使用一组小波基时的逼近误差f -f K 对照表.从表1中可以看出,db 7的逼近效果最好.在正交基级联字典中进行稀疏分解时,笔者所提算法逼近误差f -f K=1.4987 2.8941,它远小于单独使用db 7正交分解的逼近误差,从视觉效果看(图2(b )和2(d )),文中算法重构出的信号也远好于正交基分解重构信号.表1 各组小波基下的正交分解逼近误差对照表小波基d b 1db 2db 3db 4db 5db 6db 7d b 8db 9d b 10f -f K3.04852.98743.09483.00173.00063.06422.89413.01803.05492.9074图2 单小波基分解、M P 算法与文中算法的重构效果对比3.2 文中算法与M P 算法的性能比较(1)逼近精度对比 表2给出了几种分解方法的给定稀疏系数数量K 下的逼近误差.可以看出,在选择较少系数时(K ≤32),文中算法和MP 算法的逼近误差基本一致;当K 增加时,而且文中算法的逼近误差要略小于MP 算法的逼近误差,此时,压缩效果变差,但是逼近误差变小.对比图2(c )和2(d )也可以看出,文中算法的重构效果略优于MP 算法,这主要是因为克服了MP 的过匹配现象.就误差收敛速度而言,文中算法与MP 算法趋于一致.表2 db 7小波分解、M P 算法和文中算法的逼近误差对照K 248163264128256小波分解 3.9383 3.8474 3.7283 3.5700 3.3425 3.0985 2.8941 2.7915MP 算法 3.9252 3.8117 3.6033 3.2634 2.8264 2.2096 1.52590.8619文中算法3.92523.81173.60333.26342.82642.20241.49870.8574(2)计算复杂度对比 文中实验计算中硬件条件是P 42.8G (双核)、1G 内存,软件条件是Wind ow s XP ,Matlab 7.1版本.实验结果如下,MP 算法所用计算时间为393.245s ,而文中算法只用了12.687s ,其计算速度几乎是MP 的31倍,可见,文中算法在计算复杂度上相比MP 算法有显著降低,这是由于该算法分解过程中采用了Mallat 快速算法.需要注意的是,信号稀疏分解的计算速度除了依赖于所选原子库大小,还依赖于计算条件(硬件条件和软件条件),所以这里只作同等实验条件下相对意义上的定量比较.此外,不同信号,不同信号长度,不同字典,则实验结果也会有差别.但通过多次反复实验发现,文中算法在同等条件下与MP 算法相比计算速度均能提高几十倍.4 结束语目前,对冗余字典下的信号稀疏分解的研究主要集中在两个方面:(1)如何降低算法的复杂度;(2)如何132第2期 刘丹华等:一种冗余字典下的信号稀疏分解新方法构造合适的冗余字典或级联字典以适应信号的特性.笔者结合这两个方面的考虑用正交小波基构造正交级联字典,并提出分组匹配追踪算法,仿真实验结果表明,同等条件下,文中算法提高了计算效率,克服了MP 算法的过匹配问题.参考文献:[1]all at S ,Zhan g Z .M at chin g Pursuit with Time -frequency D i ctio naries [J ].IEEE Trans o n Signal Proc essin g ,1993,41(12):3397-3415.[2]D avid L ,D on oh o D .Co m pressed S ensing [J ].IEEE Trans on Informati on Theory ,2006,52(4):1289-1306.[3]Chen S ,Do no ho D ,S au nders M .Ato mi c D ec om p osition byBasis Pursuit [J ].SIA M J Sci Co m put ,1999,20(1):33-61.[4]D aubechi es I .Ti me -frequency Locali z ation Operators :a G eo metri c Phase S pace Approach [J ].IEEE Trans o n Inform ation Theory ,1998,34(4):605-612.[5]C oifman R R ,Wicherhau ser M V .Entropy -based Alg orithm s for B est -basis Sele ctio n [J ].IEEE Trans o n Informatio n Theory ,1992,38(2):713-718.[6]Pati Y C ,Re zaii far R ,Krishnaprasad P S .Orth o go nal Matching Pursuit :Re cursi ve Functio n Appro ximation with Appli catio ns to Wavelet D e co mpositio n [C ]//Proc eedin gs of the 27th Annual Asilom ar Co nference in Signals ,S ystems ,an d C o mputers .Los Alamitos :IEEE ,1993,1(11):40-44.[7]Peyr éG .B est Basis Co m pressed S ensing [C ]//SS VM 2007,Lecture Notes in C o m puter S ci ence .Berlin :S pringer V erlag ,2007:80-91.[8]Don oh o D ,Huo X .Unc ertainty Principles and Ideal Ato mi c De co m positio ns [J ].IEEE Trans on Inform Theory ,2001,47(7):2845-2862.[9]D avis G ,Mallat S ,Avellaneda M .Adaptive Greed y Appro ximatio n [J ].C onstr Appro x ,1997,13(1):57-98.[10]Zhang C hun mei ,Y in Zho ng ke ,Chen Xi angdong .Signal o verco m plete Representatio n and SparseDe co m positio n Based o nRe dun dant Dictionaries [J ].C hinese S ci ence B ulletin ,2005,50(23):2627-2677.(编辑:齐淑娟)简 讯? 2007年11月4日～5日,美国D al aw are 大学电子与计算机工程学院教授夏香根博士来校学术交流.夏香根教授的主要研究方向包括空时编码、MIM O 和OF D M 系统、S AR 和IS AR 成像等.? 我校在2007年全国大学生数学建模竞赛中再创佳绩,22个参赛队全部获奖,其中,获全国一等奖3个,二等奖2个;陕西赛区一等奖6个,二等奖5个,三等奖6个.全国大学生数学建模竞赛是教育部高教司和中国工业与应用数学学会联合举办的规模最大的大学生科技竞赛活动.其目的是锻炼学生分析、解决复杂实际问题的能力,培养学生的实践能力、创新能力、合作精神、拼搏精神、顽强意志和综合素质.摘自《西电情况》2007.11.22232 西安电子科技大学学报(自然科学版) 第35卷。
压缩感知技术综述
压缩感知技术综述摘要：信号采样是模拟的物理世界通向数字的信息世界之必备手段。
多年来，指导信号采样的理论基础一直是著名的Nyquist采样定理，但其产生的大量数据造成了存储空间的浪费。
压缩感知（Compressed Sensing）提出一种新的采样理论，它能够以远低于Nyquist采样速率采样信号。
本文详述了压缩感知的基本理论，着重介绍了信号稀疏变换、观测矩阵设计和重构算法三个方面的最新进展，并介绍了压缩感知的应用及基于压缩感知SAR成像的仿真。
关键词：压缩感知；稀疏表示；观测矩阵；SAR成像；Abstract: Signal sampling is a necessary means of information world physical world to the digital simulation. Over the years, the base theory of signal sampling is the famous Nyquist sampling theorem, but a large amount of data generated by the waste of storage space. Compressed sensing and put forward a new kind of sampling theory, it can be much less than the Nyquist sampling signal sampling rate. This paper introduces the basic theory of compressed sensing, emphatically introduces the new progress in three aspects of signal sparse representation, design of measurement matrix and reconstruction algorithm, and introduces the application of compressed sensing and Simulation of SAR imaging based on Compressive Sensing Keywords: Compressed sensing; Sparse representation; The observation matrix; SAR imaging;0 引言Nyquist采样定理指出，采样速率达到信号带宽的两倍以上时，才能由采样信号精确重建原始信号。
稀疏表示与字典学习算法的改进与应用
稀疏表示与字典学习算法的改进与应用稀疏表示和字典学习算法是机器学习和计算机视觉领域中常用的技术。
本文将就这两个方面的算法进行研究和讨论，并针对其一些问题提出改进方法，同时探讨其在实际应用中的价值。
一、稀疏表示算法介绍稀疏表示算法是一种基于信号压缩与重建思想的方法，旨在找到一个最优的线性组合，将给定输入信号表示为尽可能少的基向量的线性组合。
其基本原理是利用一个过完备的字典（即字典中原子的数量多于信号的维度），通过最小化稀疏表示误差来获得输入信号的稀疏表示。
稀疏表示算法的主要优点在于能够对信号进行高效的表示，并且具有较好的鲁棒性。
然而，在实际应用中，稀疏表示算法也存在一些问题，例如字典的选取、过完备性等。
二、字典学习算法介绍字典学习算法是稀疏表示算法的一种扩展形式，它不仅能够从数据中学习出一个合适的字典，还能够对数据进行更加准确的表示。
字典学习算法主要分为两个步骤：字典的初始化和稀疏表示的过程。
在字典的初始化阶段，一般使用随机生成或者通过PCA等方法生成初始的字典，并通过迭代训练进行优化。
而在稀疏表示的过程中，通过最小化误差函数，求解线性组合的系数矩阵，从而得到输入信号的稀疏表示。
然而，字典学习算法也存在一些问题，如收敛速度较慢、对初始化字典的敏感性等。
三、改进方法针对稀疏表示与字典学习算法存在的问题，研究者提出了一系列的改进方法。
以下是一些常见的改进方法：1. 自适应字典学习算法：引入自适应学习率和自适应权重更新策略，以提高算法的收敛速度和稳定性。
2. 结构化字典学习算法：通过对字典的结构进行限制，如稀疏性或稀疏并行性，提高字典的表示能力和学习效果。
3. 增量字典学习算法：通过逐步添加新的样本和更新字典的方式，实现字典的在线学习和增量更新。
4. 多尺度字典学习算法：通过在不同尺度下学习字典，并结合多尺度稀疏表示，提高算法在处理多尺度信号时的性能。
四、应用领域稀疏表示与字典学习算法在计算机视觉、图像处理、模式识别等领域得到了广泛的应用。
稀疏和冗余-在信号和图像处理方面从理论到实际应用
Sparse-Land 创造了舞台，使它服务于实践。显然，这一领域的研究需要对知识 的集中使用，包括线性代数、优化问题以及科学计算等更多。 这一领域还是相对比较年轻的。早起这个核心思想的标志出现在 1993 年 Stephane Mallat 和张志峰的创举中，并且介绍了取代了传统的批判性取样的小波 变换融合算法的词典概念。 他们的工作提出了一些核心思想，之后成为了这一领 域的中心， 比如贪婪的追求一个欠定线性方程组的近似稀疏解，通过他们一致的 方法对词典的特性描述等更多。 第二个主要的贡献， 就是在 1995 年 Scott Shaobing Chen、 David Donoho 和 Michael Saunders 介绍了另一个解决技术， 就是用 1-基准 来评估稀疏。令人惊讶的是，他们所追求的稀疏解，能被作为一个图面程序任务 被处理，经常引出合适的解决方案。 在这两个贡献下， 对于更深入的分析这些算法和在实际应用程序中部署搭建 好了舞台。这一目标关键的一步是在 2001 年实现的，伴着 Donoho 和 Huo 的作 品的出版物。 在他们大胆的论述中，定义了并且部分回答了之后成为这一领域的 关键问题： 谁能保证追求技术的成功？在什么条件下？这条分析后来成为这一领 域的纲要，为 Sparse-Land 模型提供了必要的理论支柱。令人惊奇的是，近年来 这一领域研究快速而广阔的发展，许许多多有兴趣的研究人员、各种各样的研讨 会、会议、以指数形式增长的论文数量。 这个领域的活动分布在全世界所有有领先的各个学科的科学家的主要的大 学和研究机构。 由于这一领域的研究位于信号处理与应用数学的交叉点，这一领 域的活动是数学家们感兴趣的近似理论，应用数学家们对来自各个领域（计算机 科学、电气工程、地球物理学等等）的谐波分析、统计学、工程学都有着浓厚的 兴趣。 一点关于我自己：我开始在这个领域的活动是在 David Donoho 对技术学院 的一次短暂的访问之后的， 他在技术学院进行了一次演讲，演讲的内容是关于以 上提到的。我羞于承认我没有参与这次讲话。然而，我的良师益友， Freddy Bruckstein，一直感谢这次机会。Freddy 对于重要研究方向的第六感在理工一直 是很出名的，这一次他也没有失败。Freddy 坚持我们要致力于 Donoho 所提到的 结果， 并且几个月之后我们有了自己在这个领域的第一个研究结果。这个结果使 我们能与 Donoho 共同工作在斯坦福大学博士后的研究，我一直深深的进入这方
利用FFT实现对LFM信号的快速稀疏分解
利用FFT实现对LFM信号的快速稀疏分解欧国建;张淑芳;邓剑勋;蒋清平【摘要】针对传统稀疏分解算法致使冗余字典中原子数量巨大的缺陷,提出一种线性调频信号的快速稀疏分解算法.这种算法根据线性调频信号本身的特点构建冗余字典中的原子,构建了两个冗余字典,通过级联的方式,完成了线性调频信号的快速稀疏分解.通过分析,采用这种级联的方式使得总的原子数量远小于一个冗余字典中的原子数量.在利用第一个冗余字典进行稀疏分解时,该算法通过快速傅里叶变换寻找最大值在另一个冗余字典中同时得到最匹配的原子.实验结果证实这种算法比其他3种采用单一冗余字典的稀疏分解算法,不仅加快了稀疏分解速度,而且具有更好的收敛性.【期刊名称】《数据采集与处理》【年(卷),期】2018(033)005【总页数】7页(P865-871)【关键词】稀疏分解;线性调频信号;匹配追踪;级联字典【作者】欧国建;张淑芳;邓剑勋;蒋清平【作者单位】重庆大学飞行器测控与通信教育部重点实验室,重庆,400044;重庆电子工程职业学院软件学院,重庆,401331;重庆电子工程职业学院软件学院,重庆,401331;重庆电子工程职业学院软件学院,重庆,401331;重庆大学飞行器测控与通信教育部重点实验室,重庆,400044【正文语种】中文【中图分类】TP399引言多项式相位信号在雷达、声呐、地震波和无线通信等领域都有广泛的应用［1-8］。
作为一种多项式相位信号，线性调频信号（Linear FM signal，LFM）也出现在这些科学和工程领域。
对于固定的接收机，LFM信号可用来估计移动目标的运动轨迹；另外，在一定条件下，它也提供了一种成功的数字调制方法。
由于它的广泛应用，很多研究者都比较关注于它的检测与参数估计，也提出了很多理论与方法［9-12］，这些方法中有些研究者提出了用稀疏分解来实现对LFM信号的参数估计，比如文献［6］使用Gabor原子实现对LFM信号的参数估计，其运算量大，在确定了最匹配的原子后，需采用Hough变换对处于直线分布的原子进行参数提取，这种变换也进一步加大了运算量。
信号的稀疏分解
信号的稀疏分解
信号的稀疏分解是指将信号表示为一组稀疏向量的线性组合，这些稀疏向量通常具有较少的非零元素，可以实现对信号的高效表示和处理。
在信号处理领域，稀疏分解可以用于信号的压缩、去噪、特征提取和识别等方面。
通过将信号分解为一组稀疏向量，可以减少信号的维度，从而实现对信号的压缩。
同时，由于稀疏向量的非零元素数量较少，可以有效地去除信号中的噪声，提高信号的质量。
此外，稀疏向量还可以提供信号的特征信息，有助于对信号进行分类和识别。
稀疏分解的实现通常基于机器学习算法，如压缩感知、字典学习等。
这些算法通过对信号进行建模和优化，可以找到一组稀疏向量来表示信号。
在实际应用中，需要根据具体的应用场景和需求选择合适的稀疏分解算法和参数，以获得最佳的效果。
总的来说，信号的稀疏分解是一种有效的信号处理技术，可以实现对信号的压缩、去噪和特征提取等操作，在电子与通信、信号与图像处理等领域具有广泛的应用前景。
基于冗余字典的高光谱图像的稀疏分解
中图分类号 ： ｒ Ｐ ７ ５ １ ． １
文献是 ２ ０世纪 ８ Ｏ 年代迅速发展起 来 的一种新的遥感技术 。 一般认为光谱分辨率在 ｌ ０ 范围内的遥感称为高光谱遥感 ［ １ 】 。 高光谱遥感 图像 由航天 、 航空载体上 的高光谱成像仪获得。 它 不仅具有很高的空间分辨力， 还具有很高的光谱分 辨力 ， 可 以在几 十 或几 百 个 波 段 上 同时 对 地 物 成 像， 将传统的空间成像技术与地物光谱技术有机结 合在一起 ， 从而获得地物的连续光谱信息。
以这些原 子 的一种 最优线 性组 合 的形式 来描 述 。 在
高光谱图像的分析领域， 文献【 ５ ］ 改进 了一种基于非 监 督学 习 的稀疏 编码 方 法 圈， 用 于高 光谱 图像 的 编 码， 结果表 明， 这种通过学习获得的冗余字典 ， 能够 更好地描述高光谱图像的光谱特征 ， 从而以一种稀 疏的方式更好地描述 图像的特征信息 ， 将该稀疏编 码方法用于高光谱 图像的分类 ， 使得分类器 的复
１ 高光谱遥感 图像 的特 点
高 光谱 遥 感 图像 最 显 著 的特 征 就 是光 谱 分 辨 能力 大 幅提高 ， 精细 的光谱 分 辨力可 以反 映地物 光 谱 的 细微 特 征 圆。 成像 光 谱 图像 包 含 有 多个 波 段 ，
过程即从字典中找到具有最佳线性组合 的 ／ ｎ 项 ＇ 原子来表示该信号的过程 ， 使得任一幅图像都能够
摘要 ： 基于冗余字典 的稀疏表 示方 式能够 以较少的数据量 ， 更好地描 述高光谱 图像 中的特征信 息 。 是 一种 更有效 的高 光谱图像表示方法。 根据 高光谱 图像 自身的特点 ， 使用梯度 下 降法学 习冗余字典 。 首先 固定字典 ， 用梯度 下降法训 练系 数； 然后 固定 系数 ． 再 用同样的方 法训练字典 。 以上两步 交
稀疏分解对信号去噪的综述
稀疏分解对信号去噪的综述Review of sparse decomposition for signaldenoising摘要信号去噪一直是信号处理领域的一个研究热点，学者们也基于不同的原理提出了许多不同的去噪算法。
近年来，随着噪声环境越来越复杂，传统的去噪算法并不能获得令人满意的去噪效果。
与传统的去噪算法不同，由于是在冗余字典上分解带噪信号，基于稀疏分解的去噪方法实现了更加简洁、全面地表示有用信号有效分离噪声和信号的目的，可以很好的实现信号去噪。
目前稀疏分解去噪方法在语音信号、图像信号、医学信号、地震信号、雷达信号和超声信号等诸多信号去噪中得到广泛应用。
本文主要针对稀疏分解在信号去噪方面的国内外研究起源、前人工作、争论焦点、国内外研究现状及前景做了深刻总结。
关键词:稀疏分解；信号去噪；匹配追踪；稀疏表示AbstractSignal denoising has always been a hot research topic in the field of signal processing, the scholars also based on different principle of many different denoising algorithm is proposed.In recent years, with increasingly complex noise environment, the traditional denoising algorithm can not obtain satisfactory denoising effect.Different from the traditional denoising algorithm, because it is in the redundant dictionary decompose the signal with noise, the denoising method based on sparse decomposition realizes the more concise and comprehensive said the purpose of effective separation of useful signal noise and signal, signal denoising can be very good implementation.The sparse decomposition denoising method in speech signal, image signals, medical signal, earthquake, radar signal and the ultrasonic signals, and many other widely used in signal denoising.In this paper, in view of the sparse decomposition in signal denoising research origin, the previous work, the focus of debate, both at home and abroad made summary of domestic and foreign research present situation and prospects.Key words: sparse decomposition; the signal denoising; matching pursuit;sparse representation1.国内外研究历史背景21 世纪是信息化的时代，随着科技的进步和社会的发展，以互联网、多媒体技术为代表的信息存储、传输系统正越来越多的进入人们的生活，信息的数字化成为信息化时代的最重要特色。
稀疏表示
( D) 2 || ||0
上面的符号表示：最小的线性相关的列向量所含的向量个 数。那么对于0范数优化问题就会有一个唯一的解。可即便是 证明了唯一性，求解这个问题仍然是NP-Hard。
时间继续来到2006年，华裔的数学家Terrence Tao出现， Tao和Donoho的弟子Candes合作证明了在RIP条件下，0范 数优化问题与以下1范数优化问题具有相同的解：
谢谢！
α=（0，0，0.75）
α=（0，0.24，0.75）
α=（0，0.24，0.75）
α=（0，0.24，0.65）
对于上面求内积找最匹配原子的一步，当时鉴于原 子个数太多，就想了可否在这里做个优化，就用了PSO （粒子群优化算法）查找最优原子，这个比遗传算法要 简单，我觉得这个算法也还挺有意思的。 基于学习的方法：
输入的刺激即照片不一样，则响应神经元也不一样
模拟人类视觉系统的感知机制来形成对于图像的稀疏表 示，将字典中的每个原子看作一个神经元，整个字典则对应 人类视觉皮层中神经元整体，并且字典中原子具有类似视觉 皮层中神bor函数作为简单细胞的感受野 函数，刻画其响应特性。
2 2 2 x k y x g K ( ) exp( ) cos(2 ) 2 2
( x x0 ) cos ( y y0 ) sin x
( x x0 ) sin ( y y0 ) cos y
Gabor函数
稀疏表示的应用 图像恢复，又左侧图像恢复出右侧结果
图像修补，左侧图像修补得到右侧结果
图像去模糊左上为输入模糊图像，右下为输出清晰图像， 中间均为迭代过程
物体检测
自行车，左侧输入图像，中间为位置概率图，右侧为检测结果
稀疏表示与稀疏分解
2.1.2正交匹配追踪
正交匹配追踪算法与匹配追踪算法的唯一的区别在于我们在递归的对于所选 择原子集合进行了正交化处理，为什么要这么做？因为这样我们可以保证每次结 果都是最优的，从而可以有效的减少了迭代次数，提高了算法效率。 即在每次选择的原子 用Rram-Schmidt正交化处理： 。
其中Up为上一次的原子正交结果，初始Up=
需要注意信号现在在原子正交化的Uk上投影而非原来的原子上投影 了。其余步骤与匹配追踪一样的。
BP与MP的算法有效的理论条件与精确重 构条件定理
我们知道MP与BP算法使用了不同的策略求解模型,我们求解稀疏系数 与字典D的选择密不可分，前面我们引用定理我么知道了L1范数最稀疏表 示形式时，字典相干参数μ 有大小限制。那么我们用BP和MP算法一样都 能偶精确重构原信号（也就是求出最稀疏解）时μ 的条件是什么呢？ Tropp在2004年提出的精确重构条件(ERC)揭示了信号的稀疏性与字 典的相干参数μ 的关系。 定理（ERC） 给定信号y，字典D，记D的相干系数为μ ，为字典小 中所有原子参数的指标集。如果信号y在字典D中下可以表示为y=Dx,且满 足: ||x||0= （1+ μ ~-1）/2 那么BP与MP算法都可以追踪到信y在字典D下的最稀疏解。 当然BP与MP是不等价的，在很多情况下BP算法求出的解有更好的稀疏 性，而MP算法则表现出更好的性能。
问题。所以我们只能采用次优的逼近算法求解。
主要采用的逼近算法
1.凸松弛法
基追踪（BP）, 基追踪去噪算法（BPDN） ,平滑L0范数（SL0） 等等。
2.贪婪法
匹配追踪（MP） ,正交匹配追踪（OMP）,弱匹配追踪等等。
2.1凸松弛法
凸松弛算法的核心思想就是用凸的或者是更容易处理的稀疏 度量函数代替（1）中非凸的L0范数 ，通过转换成凸规划或非线 性规划问题来逼近原先的组合优化问题，变换后的模型则可采用 诸多现有的高效算法进行求解，降低了问题的复杂度。 我在这里主要介绍的是基追踪算法（BP）与基追踪去噪算法 （BPDN）。这两个算法的基础是用L1范数替代L0范数即将 min ||x||_0 subject to y=Dx 转化为 min||x||_1 subject to ||y-Dx||_2＜ε
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一种冗余字典下的信号稀疏分解新方法
作者：刘丹华， 石光明， 周佳社， LIU Dan-hua， SHI Guang-ming， ZHOU Jia-she
作者单位：西安电子科技大学,电子工程学院,陕西,西安,710071
刊名：
西安电子科技大学学报（自然科学版）
英文刊名：JOURNAL OF XIDIAN UNIVERSITY(NATURAL SCIENCE)
年，卷(期)：2008,35(2)
被引用次数：10次
1.Mallat S;Zhang Z Matching Pursuit with Time-frequency Dictionaries[外文期刊] 1993(12)
2.David L;Donoho D Compressed Sensing[外文期刊] 2006(04)
3.Chen S;Donoho D;Saunders M Atomic Decomposition by Basis Pursuit 1999(01)
4.Daubechies I Time-frequency Localization Operators:a Geometric Phase Space Approach 1998(04)
5.Coifman R R;Wicherhauser M V Entropy-based Algorithms for Best-basis Selection[外文期刊] 1992(02)
6.Pati Y C;Rezaiifar R;Krishnaprasad P S Orthogonal Matching Pursuit:Recursive Function Approximation with Applications to Wavelet Decomposition[外文会议] 1993
7.Peyré G Best Basis Compressed Sensing[外文会议] 2007
8.Donoho D;Huo X Uncertainty Principles and Ideal Atomic Decompositions 2001(07)
9.Davis G;Mallat S;Avellaneda M Adaptive Greedy Approximation 1997(01)
10.Zhang Chunmei;Yin Zhongke;Chen Xiangdong Signal overcomplete Representation and Sparse Decomposition Based on Redundant Dictionaries[外文期刊] 2005(23)
1.张春梅.尹忠科.肖明霞基于冗余字典的信号超完备表示与稀疏分解[期刊论文]-科学通报2006,51(6)
2.蔡泽民.赖剑煌.CAI I Jian-huana一种基于超完备字典学习的图像去噪方法[期刊论文]-电子学报2009,37(2)
3.李恒建.张家树.陈怀新.LI Heng-jian.ZHANG Jia-shu.CHEN Huai-xin一种快速稀疏分解图像去噪新方法[期刊论文]-光子学报2009,38(11)
1.甄小仙.刘哲.马聪结合级联字典和双层稀疏分解的图像重构[期刊论文]-计算机工程与应用 2011(23)
2.罗勇江.赵国庆.斯海飞一种多Chirp信号交叠环境下TDOA估计的新方法[期刊论文]-西安电子科技大学学报（自然科学版） 2011(4)
3.张宗念.黄仁泰.闫敬文压缩感知信号盲稀疏度重构算法[期刊论文]-电子学报 2011(1)
4.龚静.陈向东.时子青基于CS和神经网络的传感器网络模式识别研究[期刊论文]-传感器与微系统 2011(12)
5.叶志申.张绍钧.黄仁泰压缩感知理论及其重构算法[期刊论文]-东莞理工学院学报 2010(3)
6.齐爱玲.马宏伟.刘涛基于改进人工鱼群优化算法的超声信号稀疏分解[期刊论文]-仪器仪表学报 2009(12)
7.郭莹.孟彩云基于稀疏表示和约束优化的波达方向估计方法[期刊论文]-计算机应用 2012(8)
8.卢雁.吴盛教.赵文强压缩感知理论综述[期刊论文]-计算机与数字工程 2012(8)
9.李军.邢孟道.张磊.吴顺君一种高分辨的稀疏孔径ISAR成像方法[期刊论文]-西安电子科技大学学报（自然科学版） 2010(3)
10.刘丹华.石光明.高大化.周佳社基于原子库树状结构划分的诱导式信号稀疏分解[期刊论文]-系统工程与电子技术 2009(8)
11.石光明.刘丹华.高大化.刘哲.林杰.王良君压缩感知理论及其研究进展[期刊论文]-电子学报 2009(5)
12.邵文泽.韦志辉压缩感知基本理论:回顾与展望[期刊论文]-中国图象图形学报 2012(1)
本文链接：/Periodical_xadzkjdx200802008.aspx。