压缩感知理论及应用

f n R n1/ p
^
E f f
C p R K / log N r
2
r 1/ p 1/ 2,0 p 1
[2] Donoho D L. Compressed sensing [J]. IEEE Transactions on Information Theory, 2006, 52(4):1289-1306. [3] Candes E J, Wakin M B. An introduction to compressive sampling [J]. IEEE Signal Processing Magazine, 2008, 25(2):21-30. [4]E J Candès, T Tao. Near optimal signal recovery from random projections:Universal encoding strategies. IEEE. Trans. Info. Theory, 2006,52(12):5406-5425.
ψ
可压缩信号 x 稀疏表示 x ψθ
压缩观测 传输、存储
y = Φx = Φψθ y
优化重构信号
xˆ
Φ
图2 压缩感知理论框图
这里称为A 感知矩阵也有称为CS信息算子。
y
A

图3 压缩观测过程的示意图
根据以上分析可以将压缩感知理论主要内容总结为如下三点：
信号的稀疏表示，即寻找一个合适的基 使得信号x在 域内能够稀疏
两矩阵之间越不相关，相关度就越小，互相表示时所需要的表示系数个数 就越多，反之，相关性则越强。设计时要满足测量矩阵与稀疏矩阵尽可能 地不相关。
[6] E. Candes and J. Romberg, “Sparsity and incoherence in compressive sampling,” Inverse Problems, vol.23, no.3, pp.969-985, 2007.
目前，CS理论与应用研究在不断进行：
在美国、欧洲等许多国家的知名大学如麻省理工学院、莱斯大学、斯坦 福大学、杜克大学等成立了专门课题组对CS进行研究;如莱斯大学建立的 专门的Compressive Sensing网站 http://dsp.rice.edu/cs ，里面有关于该 理论大量资源和该方向的最新研究成果。
1.2 研究现状
压缩感知理论首先由Candès、Romberg、Tao和Donoho等人在2004年提 出，文献直到2006年才发表。这三篇文章基本奠定了压缩感知的理论 基础。
[1] E Candes,J Romberg,T Tao.Robust uncertainty principles:exact signal reconstruction from highly incomplete frequency information[J].IEEE Transactions on Information Theory,2006,52(2):489 -509. [2] D L Donoho.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289 -1306. [3]E J Candes,T Tao.Near-optimal signal recovery from random projections :Universal encoding strategies[J].IEEE Transactions on Information Theory,2006,52(12):5406 -5425.
CS理论一经提出,就在信息论、医疗成像、光学/遥感成像、无线通信、模 式识别、生物传感、雷达探测、地质勘探、天文、集成电路分析、超谱图 像处理、图像压缩、图像超分辨重建等领域受到高度关注,并被美国科技评 论评为”2007年度十大科技进展”,D Donoho因此还获得了“2008年IEEE IT学会 最佳论文奖”。
(b) signal x in frequency domain
0
0 00 200 400 600 800 1000-50102000 1400 1600 1800 2000
0 500 1000 1500frequ2e0n0c0y in Hertz0 500 1000 1500 2000
(a) signal a
300
(a) signal in tim1e50d0o0main
2Байду номын сангаас
x(t)=sin(1394πt)+sin(3266πt) 2510
0
10000
2-010
-2 0
150
2000
1510000
1000 50
500
0.005 0.01 0.015 0.02 0.025 0.03 0.035 time in sec5o0n0d0
国家自然科学基金委也自2009年资助了多项压缩感知方法的研究,涉及 认知无线电、雷达成像、信号稀疏表示、多媒体编码、人脸识别等领域。
2 压缩感知理论
2.1 理论框架概述
考虑一个实值的有限长一维离散信号 x , 可以看作一个 RN 空间 N 1
维的列向量，元素为 xn, n 1,2, N. RN 空间的任何信号
压缩感知的一个重要前提和理论基础就是信号的稀疏性或可压缩性，只有选 择合适的基表示信号才能保证信号的稀疏度，从而保证信号的恢复精度。在 以往的研究中已经给出了能够体现某些类型信号稀疏性或可压缩性的变换基。
针对光滑信号的傅里叶变换基、小波变换基，振荡信号的Gabor变换及具 有不连续边缘的图像信号的Curvelet 变换基等。
压缩感知理论及应用
汇报人：###
压缩感知理论及应用
1 背景与现状
1.1 问题背景 1.2 研究现状
2 压缩感知理论
2.1 理论框架概述 2.2 信号稀疏表示 2.3 观测矩阵设计 2.4 信号重构算法
3 应用与展望
3.1 应用举例 3.2 总结展望
1 背景与现状
1.1 问题背景
随着信息技术的飞速发展，人们对信息的需求量日益增加，所需 携带信息的信号带宽越来越宽，故在信息获取中对采样速率和处 理速度等提出更高的要求。而在传统信息获取中存在以下问题：
然而，判定给定的观测矩阵是否具有RIP 性质是一个组合复杂度的问题，
所以为降低复杂度，我们可以另一种等价条件是测量矩阵 与变换基
不相关，则A 在很大概率满足RIP 性质。
[5] E Candès. The restricted isometry property and its implications for compressed sensing. Acadèmie des sciences, 2006, 34(6): 588-592.
压缩感知理论指出，设长度为N的信号x在某组正交基或紧框架 上的变换
系数是稀疏的。如果我们用一个与变换基 不相关的观测基 : M×N
(M<<N) 对信号x进行线性变换，并得到观测集合Y：M×1．那么就可以利
用优化求解方法。从观测集合中精确或高概率地重构信号 x 。
y Φx Φψθ
(2)
(b) DCT representation y
2.3 观测矩阵设计
压缩感知理论中，通过变换得到的信号的稀疏表示向量 ，需要设
计压缩采样系统的观测部分，既实现信号降维处理且使精确重构信号
所需要测量点尽可能小，又要保证重要信息不被破坏。
y Φx Φψθ
(4)
由于 M<<N，这使得公式4所示的等式中方程的数目比未知数的数目 要少，因此，已知 y来求解 x是一个欠定问题且没有确定的解。
于是可提出问题： 存不存在新的数据采集和处理的方法，使得在保证信 息不损失的况下，远低于奈奎斯特采样定理要求的速率采样信号，获取 少量的数据就可以重构信号？
近些年出现的一种新的理论——压缩感知（Compressed Sensing,CS） 表明这种实现是可能的。
压缩感知理论指出：如果信号是可压缩的或在某个变换域是稀疏的， 那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投 影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量 的投影中以高概率重构出原信号。
伯努利测量矩阵:满足一定条件下，能准确重构信号概率很大且重构速度 很大。
其他矩阵：部分傅里叶矩阵，非相关测量矩阵，Toiplitz 和循环矩阵。
2.4信号重构算法
压缩感知中信号重构过程就是从M个观测值对原始长度为N的信号x进行
由正交基扩展到有多个正交基构成的正交基字典:即在某个正交基字典里， 自适应地寻找可以逼近某一种信号特征的最优正交基，根据不同的信号寻找 最适合信号特性的一个正交基，对信号进行变换以得到最稀疏的信号表示。
用超完备的冗余函数库取代基函数，称之为冗余字典：字典中的元素被称 为原子．字典的选择应尽可能好地符合被逼近信号的结构，其构成可以没有 任何限制．从冗余字典中找到具有最佳线性组合的K项原子来表示一个信号， 称作信号的稀疏逼近或高度非线性逼近。
表示。
观测矩阵的构造，即设计出与基矩阵 不相关的MXN维观测矩阵 ，
能够使得信号中的重要信息在压缩观测中被保留。 信号的重构，即设计出能从观测集合y中准确恢复出原始信号的算法。
2.2 信号稀疏表示
在研究信号的稀疏表示时，可以通过变换系数衰减速度来衡量变换基的稀疏 表示能力。Candès 和Tao[4]研究表明，满足具有幂次速度衰减的信号，可利 用压缩感知理论得到恢复，并且给出了满足的重构误差。
都可以用
N 1 维的基向量
{ψi
}N i1
的线性组合表示。为简化问题，假
{ψ } 定这些基是规范正交的。把向量
N 作为列向量形成
阵 1, 2 ,, N
i i1
,于是任意信号 x
都可表示1 ：
N N 的基矩
N
x ii or x
(1)
i1
这 域里内的等由价表i 示x,形i 式 。iT x若构用成k为表示N中1非维零的元列素向的量个，数是,则信当号
在奈奎斯特采样定理为基础的传统信号处理框架中，若从采样 的离散信号中无失真的恢复模拟信号，采样速率必须至少是信号 带宽的两倍。随着模拟信号带宽越来越宽，采样速率更高，对信 号处理的软硬件设计更困难。
实际应用中，为了降低存储，处理和传输的成本，常采用压缩 的方式以较少的比特数表示信号，大量的非重要的数据被抛弃， 这带来大量的资源浪费。
2008年,贝尔实验室,Intel，Google等知名公司也开始组织研究CS;2009 年,美国空军实验室和杜克大学联合召开了CS研讨会,美国国防先期研究计 划署(DARPA)和国家地理空间情报局(NGA)等政府部门成员与数学、信号 处理、微波遥感等领域的专家共同探讨了CS应用中的关键问题。
在国内,一些高校和科研机构也开始对CS的研究,如清华大学、中科院电 子所、西安交通大学和西安电子科技大学等。
几种常见的测量矩阵
随机高斯矩阵：可高概率保证不相关性和RIP性质。例如对一个M×N的
随机高斯矩阵 ，可以证明当M cK log(N / K) ,感知矩阵A很大概率
满足RIP性质，因此可以从M个观测值中很大概率恢复长度为N的K项稀疏 信号。总之，随机高斯矩阵与大多数固定正交基构成的矩阵不相关。
y
Φ

ψ
θ
x ψθ
图4 压缩观测过程的示意图
如果 非零系数位置已知的K- 稀疏的（k<<N ）向量时，则上述问题就可
能求得唯一解。Candes等人通过理论分析得出了满足公式6所示使问题存 在确定解的充分必要条件，即在压缩观测时所选取的观测矩阵 需满足有限 等距性质（Restricted Isometry Property, RIP）[5]。
x在
k N
时就称向量 是稀疏的。对应于公式(1)而言，若 是一个稀疏向量，则
称信号 x 可以在 域进行稀疏表示或 x 是可压缩的。
[1]R Baraniuk.A lecture on comperessive sensing[J].IEEE Signal Processing Magazine ,2007,24(4):118-121.