L阶Markov信号的稀疏表示

L阶Markov信号的稀疏表示
吕俊
【摘要】在现实生活中,很多信号(比如语音信号)都具有有色性,即信号相邻采样点之间具有统计相关性,通常可采用L阶Markov过程进行较好的描述,然而已有的稀疏表示算法并没有充分考虑到这种统计特性.因此,针对L阶Markov信号,采用
l(p≤1)-范数的广义平均值作为稀疏度量,并提出了基于重叠采样的稀疏表示算法.仿真结果表明,相比现有的线性规划稀疏表示方法、最短路径法和FOCUSS法,新算法的精度更高.%In real life, many signals are non-white with temporal structure such as speech signals. These signals usually can be modeled as an L-order Markov process. However, the existing sparse representation methods ignore the property of these signals. The general mean of l(p≤l)-norm is adopted as the sparse measure and a sparse representation algorithm based on overlapping sampling is proposed for L-order Markov signals. The simulation shows that the proposed algorithm can a-chieve more accurate results compared with the existing methods such as linear programming, shortest path decomposition, and standard FOCUSS algorithm.
【期刊名称】《现代电子技术》
【年(卷),期】2011(034)015
【总页数】4页(P97-100)
【关键词】稀疏表示;L阶Markov过程;重叠采样;FOCUSS
【作者】吕俊
【作者单位】广东工业大学,广东广州 510006
【正文语种】中文
【中图分类】TN911.7-34
0 引言
稀疏表示在盲信号分离、图像处理、生物信号分析等领域中有着广泛应用[1-3]。

近年来，国内外学者相继提出了大量稀疏表示算法，其中最小化l1-范数最先被应用于稀疏表示，Chen,Donoho,Elad等讨论了线性规划稀疏表示方法[4-6]。

Li,Cichocki和Amari在概率论框架下，分析了“最小化l1-范数稀疏表示”和
“最小化l0-范数稀疏表示”之间的等价性[7]，指出如果“最小化l1-范数稀疏表示”的解充分稀疏，则两个问题的解相等的概率非常大。

Takigawa,Kudo和Toyama分析了“最小化l1-范数解”的性能[8]。

Li等进一步探讨了稀疏表示的可解性，并且给出了可解的充要条件[9]。

算法方面，最小化l1-范数算法主要有线性规划法[5-9]，最短路径法[8,10]以及各种FOCUSS算法[11-12]。

为了更精确地实现稀疏表示，“最小化l1-范数准则”被Gorodnitsky,Rao,Delgado,Murry等拓
展为“最小化类l(p≤1)-范数准则[11-16]”，并且发展了FOCUSS(Focal Underdetermined System Solver)算法[11,13]。

此后，Cotter和Rao等进一步将FOCUSS拓展到M-FOCUSS算法[17]。

通过大量仿真实验发现，M-FOCUSS
算法不但比标准FOCUSS算法速度快，而且其精度也比标准FOCUSS算法高[17]。

在现实生活中，很多信号都具有有色性，可用L阶Markov过程对它们进行刻画。

然而线性规划法、最短路径法和标准FOCUSS算法等已有的稀疏表示方法并没有
考虑到这一点；M-FOCUSS算法虽然可用于L阶Markov信号的稀疏表示，但没有专门针对这类信号进行的优化。

本文针对L阶Markov信号采用l(p≤1) -范数
的广义平均值作为稀疏度量，并提出了基于重叠采样的稀疏表示算法。

该算法首先将待分析信号序列分割成一系列帧；然后，在相邻帧之间保持一定比例的重叠采样点，让信号具有较好的平滑性；最后对每一帧信号进行稀疏表示。

1 方法
1.1 L阶Markov信号的稀疏表示
假设源信号s1(t),s2(t),…,sn(t)之间相互统计独立，服从广义高斯分布，可得如下
稀疏表示优化问题[11]：
s.t. As(t)=x(t), ∀t
(1)
为了更精确估计s1(t),s2(t),…,sn(t)，进一步考虑式(1)中参数p的取值。

假设
s1(t),s2(t),…,sn(t) 服从L阶Markov过程，记其中L<T。

当L=1，其对应白信号。

记的联合概率密度函数为假定其边缘密度函数相同，可得如下稀疏表示优化问题：
s.t. As(r)=x(r), r=1,2,…,L
(2)
式(2)中，用的广义平均值代替算术平均值其中,q≥1,整理可得：
min J(s(r),r=1,2,…,L;p,q)⟺
s.t. As(r)=x(r), r=1,2,…,L
(3)
注：给定非负数y1,y2,…,yL，其“指数q广义均值”为
广义均值具有如下性质[18-19]：
(1) 当q=1时，其对应算术均值为A(y1,y2,…,yL)=(y1,y2,…,yL)/L;当q≥1时，
Mq(y1,y2,…,yL)≥A(y1,y2,…,yL)；
(2) 如果-∞≤q1≤q2≤+∞，则Mq1≤Mq2；
(3) 当且仅当y1=y2=…=yL时，Mq1=Mq2；
(4)
因为这些性质，对于L阶Markov信号，优化问题(3)所得的稀疏表示结果在平滑
性和连续性方面好于优化问题(2)。

易知当q=1,p=1或L=1,q=1，优化问题(3)退
化为标准“最小化l1-范数问题”。

在实际应用中，可通过计算“信号与其延迟之间的相关系数”粗略确定参数L,q和“重叠采样百分比”的取值，比如，通过计算相关系数ζ(x1(t),x1(t-1))，…，ζ(x1(t),x1(t-L))，…，ζ(xm(t),xm(t-1))，…，
ζ(xm(t),xm(t-L))，可确定L,q和“重叠采样百分比”的取值。

具体来说，如果相
关系数ζ(xi(t),xi(t-L0)),i=1,2,…,m仍然显著，至少需要选取L=L0阶延迟；同时，如果相关系数值非常显著，通常需要选取比较大的指数q(如：q=8)；很多情况下，可取q=2，L=4，50%或者66.667%重叠采样。

此外，由文献[18]和[19]可知，
对于广义高斯信号μ，其参数p估计如下：
(4)
式中:r-1(·)是函数r(x)[Γ(2/x)]2/[Γ(1/x)Γ(3/x)]的反函数。

由于Γ(·)是Gamma函数Γ(x)=tx-1e-tdt，其在区间(0,+∞)单调递增(见表1和图1)[18]，可通过“二分法”或者由表1确定参数p的取值。

表1 函数r(p)取值列表
p00.20.40.60.811.21.41.61.82r(p)00.0630.2350.3560.4410.50.5430.5760.601 0.620.64
图1 函数r(p)单调递增
1.2 L阶Markov信号稀疏表示算法
FOCUSS算法最开始被应用于解决逆问题[11-16]，是一种拟Newton算法，具有很好的收敛性和很快的收敛速度，并且FOCUSS算法被进一步拓展到M-FOCUSS，可直接实现多采样点并行实现稀疏表示[17]，因而M-FOCUSS计算速度较FOCUSS算法更快。

FOCUSS算法迭代公式如下[3,11,14]：
(5)
式中:算法迭代公式与式(5)结构类似，但针对的是矩阵稀疏表示[17]。

尽管FOCUSS算法和M-FOCUSS算法具有较好的性能，但也存在一些不足，比如，式(5)中的矩阵的元素dj=│sj│2-p有可能趋于0，而导致无法实现矩阵求逆
运算[3]。

为此通常需要将其修改为dj=ε+│sj│2-p(例如ε=1×10-10)[3]。

但这一修改常常导致算法仅能收敛到次优解，而非最优解[11]。

同时当L>1时，FOCUSS算法和M-FOCUSS算法无法实现对优化问题(3)求解。

注意到m<n，同时矩阵A大小为m×n，矩阵A可写成A=[a1,a2,…,am]，令N={AB|AB为矩阵A 的m×m子矩阵}，易知集合N包含个元素。

由式(2)可得As=ABsB+ANsN=x，
其中AB包含矩阵A中的m列，m×(n-m)矩阵AN包含剩下的n-m列。

另外，
假设A的所有m×m子矩阵都可逆且满足[7-8,10]║a║i2=1,i=1,2,…,n，则优化问题(3)可转化为如下问题：
(6)
式中:因而式(6)的解中最多只有m个非零元素。

优化问题(6)包含组合计算，是一
个NP难题。

可幸的是，当帧窗宽度L比较小(例如：L=3)时，新算法可较快地实
现问题(6)的求解，并且取得优于常规最小化l1-范数稀疏表示的性能。

由以上讨论，完整的L阶Markov信号稀疏表示算法可总结如下：
(1) 设置参数L,q和重叠采样百分比。

考虑到计算量，通常取L≤5;
(2) 将观测信号x(t), t=1,2,…,T的T个采样点分割成一系列帧，帧宽为L，相邻帧之间重叠采样;
(3) 计算出矩阵A所有m×m子矩阵的逆矩阵，构造集合N={AB|AB为矩阵A的m×m子矩阵}。

(4) 依次对每帧从集合N中搜索出优化问题(6)的解。

易知最短路径法对应新算法在L=1时的特殊情形[8,10]。

当L>1时，新算法较最短路径法复杂；但对于L≤5，通常我们都可以较快的实现新算法。

2 算法仿真及分析
本节检验L阶Markov信号稀疏表示算
法的性能，并且将其与标准FOCUSS算法[11]和M-FOCUSS算法[17]进行性能比较。

实验平台为主频为2.20 GHz的奔四PC电脑。

采用信噪比(Signal to Interference Ratio,SIR)定量评价算法性能，其定义如下：
(7)
由于估计的信号存在幅度不确定性，在采用式(7)计算SIR之前，首先调整的幅度使之与相应源信号s具有同等幅度。

以下仿真中，4个语音源信号取自文献[10]的仿真数据集“FourVoices”，可从网址下载，4个信号均为有色信号、采样点数目均为65 536，混叠矩阵A经随机生成，具体取值如下：
从而由As=x得3个观测信号。

考虑到语音信号在时频域具有较好的稀疏性，在以下仿真在变换域中进行稀疏表示，对观测信号进行与文献[10]完全一样的时频变换-Hanning窗短时Fourier变换，其中Hanning窗宽度为2 048，相邻帧之间
重叠采样点数目为2 048-614=1 434。

变换域中，共有T=425 984样本数目。

在变换域中得到稀疏系数的估计之后，采用文献[10]中的方法重构源信号，然后分别计算源信号与其对应重构信号之间的信噪比。

2.1 L阶Markov信号稀疏表示算法(L=1)与标准FOCUSS算法性能比较
首先测试L阶Markov信号稀疏表示算法在L=1情形下的性能。

对于L=1情形，问题(3)简化为问题(1)。

对于以上数据集，分别测试了新算法和标准FOCUSS算法p值分别为0.1，0.2，0.4，0.6，0.8，1时所得结果的信噪比和代价函数的数值，所得结果如图2和表2所示，此时估计的p值为0.167 9。

从中可见，新算法精
度均优于标准FOCUSS算法。

表2 L=1时，对应不同的p值FOCUSS算法和新算法的SIR
dBp1.00.80.60.40.20.1FOCUSS11.312 511.110 610.629 610.309 410.171 410.128 712.797 612.587 712.111 211.793 111.657 811.617 512.310
612.112 311.700 311.410 311.270 511.231 416.358 516.158 815.719
615.444 915.338 015.304 6新算法11.312 512.641 413.698 813.934 013.492 513.178 012.797 614.099 515.225 815.494 215.104 914.812 512.310
613.578 914.645 814.852 114.398 714.076 816.358 517.627 418.709
318.980 218.588 118.273 1
图2 新算法与FOCUSS算法的性能比较
2.2 L阶Markov信号稀疏表示算法(L=4)与M-FOCUSS算法性能比较
对于第二个观测信号x2，经计算其相邻采样点之间的相关系数分别为:
ζ(x2(t),x2(t-1))=-0.664 6，ζ(x2(t),x2(t-2))=0.183 6，ζ(x2(t),x2(t-3))=-0.038 6，ζ(x2(t),x2(t-4))= 0.032 7，ζ(x2(t),x2(t-5))=-0.008 26，因而可认为该信号大致
为“4阶Markov信号”，故取L=4。

类似地，也可计算观测信号x1,x3与它们相应的延迟之间的相关系数来确定参数L的取值。

由于相关系数取值不是太大，取
q=2，重叠采样百分比为66.667%。

由式(4)可得p值的估计为同时在本仿真中，分别比较“最小化l1-范数方法”、M-FOCUSS算法、新算法(无重叠采样)以及新算法(66.667%重叠采样)4种算法的性能，所得结果如表3所示，其中估计的p值为0.167 9,用新算法在66.667%重叠采样时精度最高。

表3 L=4时,几种算法的SIR dB稀疏表示方法SIR常规l1-范数解11.312 512.797 612.797 616.358 5M-FOCUSS [17]13.321 114.775 013.380 518.409 6新算法(无重叠采样点)15.401 116.920 016.307 520.502 7新算法(66.667%重叠采样)15.485 617.070 916.369 320.571 3
3 结语
针对L阶Markov信号，采用l(p≤1) -范数的广义平均值作为稀疏度量，并提出了基于重叠采样的稀疏表示算法。

仿真结果表明，所提算法的性能超越了常规的最小化l1-范数稀疏表示算法、最短路径法、FOCUSS算法和 M-FOCUSS算法。

参考文献
[1] RAO B D. Signal processing with the sparseness constraint [C]// Proceedings of the ICASSP. Seattle, WA: [s.n.], 1998: 1861-1864.
[2] OLSHAUSEN B A, FIELD D J. Emergence of simple-cell receptive field properties by learning a sparse code for natural images [J]. Nature, 1996, 381: 607-609.
[3] CICHOCKI A, AMARI S. Adaptive blind signal and image processing: learning algorithms and applications [M]. New York: John Wiley & Sons, 2003.
[4] ZIBULEVSKY M, PEARLMUTTER B. Blind source separation by sparse decomposition in a signal dictionary [J]. Neural Computation, 2001, 13: 863-882.
[5] CHEN S, DONOHO D L, SAUNDERS M A. Atomic decomposition by basis pursuit [J]. SIAM J. Sci. Comput., 1998, 20, (1): 33-61.
[6] DONOHO D L, ELAD M. Maximal sparsity representation via l1 minimization [J]. Proc. National Academy Science, 2003, 100: 2197-2202.
[7] LI Y Q, CICHOCKI A, AMARI S. Analysis of sparse representation and blind source separation [J]. Neural Computation, 2004, 16: 1193-1234. [8] TAKIGAWA I, KUDO M, TOYAMA J. Performance analysis of Minimum l1-norm solutions for underdetermined source separation [J]. IEEE Trans. Signal Processing, 2004, 52(3): 582-591.
[9] LI Y Q, AMARI S, CICHOCKI A, et al., Underdetermined blind source separation based on sparse representation [J]. IEEE Trans. on Signal Processing, 2006, 54 (2): 423-437.
[10] BOFILL P, ZIBULEVSKY M. Underdetermined blind source separation using sparse representations [J]. Signal Processing, 2001, 81: 2353-2362.
[11] DELGADO K K, MURRY J F, RAO B D, et al., Dictionary learning algorithms for sparse representation [J]. Neural Computation, 2003, 15: 349-396.
[12] RAO B D, GORODNITSKY I F. An affine scaling methodology for best basis selection [J]. IEEE Trans. Signal Processing, 1999, 47(1): 187-200. [13] GORODNITSKY I F, GEORGE J, RAO B D. Neuromagnetic source imaging with FOCUSS: A recursive weighted minimum norm algorithm [J]. Journal of Electroencephalography and Clinical Neurophysiology, 1995, 95(4): 231-251.
[14] GORODNITSKY I F, RAO B D. Sparse signal reconstruction from limited
data using FOCUSS: A recursive weighted minimum norm algorithm [J]. IEEE Trans. Signal Processing, 1997, 45(3): 600-616.
[15] RAO B D. Deriving algorithms for computing sparse solutions to linear inverse problems [C]// Proc. the 1997 Asilomar Comference on Cir., Sys. and Com.. New York: IEEE, 1997: 233-241.
[16] RAO B D, KREUTZ-DELGADO K. Sparse solutions to linear inverse problems with multiple measurement vectors [C]// proc. the 8th IEEE Digital Signal Processing Workshop. New York: IEEE, 1998: 462-469. [17] COTTER S F, RAO B D, ENGAN K, et al. Sparse solutions to linear inverse problems with multiple measurement vectors [J]. IEEE Trans. on Signal Processing, 2005, 53(7): 2477-2488.
[18] HE Z S, XIE S L, FU Y L. Sparseness measure of signal [C]// International Conference on Neural Networks & B rain (ICNN&B′05). [S.l.]: [s.n.], 2005: 1931-1936.
[19] MOLINA J A, FARIAS G G, DAGNINO R M. A practical procedure to estimate the shape parameter in the gene-ralized Gaussian distribution. [EB/OL]. [2002-05-21]. http://www.cimat.mx/ reportes/enlinea/I-01-
18_eng.pdf.。