压缩感知技术概况与学习心得

压缩感知技术概况与学习心得

一、数学知识

学习压缩感知课程需要一些数学基础，比如范数理论和凸优化问题。在矩阵论课上，老师将压缩感知作为范数理论的例子进行讲解。Ax=b，A是系统模型，b是观测值，当A是满秩方阵时，x有唯一解。当A为胖矩阵，即b的维数小于x时，方程有无穷多组解，在实际应用中我们希望的是唯一解，所以加个0范数的约束条件以得到唯一解，在一定条件下0范数问题又等价于1范数问题，将原问题转化为一个优化问题。通过查资料了解到什么是凸优化问题。若对于以下优化问题：

若目标函数f(x)是凸函数且可行集R是凸集，则称这样的问题为凸优化问题这个也可以换一种更一般的表达方式：对于以下优化问题

如果目标函数f(x)和共l个约束函数gi(x)都是凸函数，则称这样的问题为凸优化问题。凸函数的定义：对于(x)是定义在某凸集（非空的，空集也被规定为凸集）上的函数，对于凸集中的任意两点x1和x2，若

f[μx1+(1-μ)x2]<=μf(x1)+(1-μ)f(x2)则称函数f(x)为凸函数。直观几何表示：

也就是说两点对应的函数值f(x1)和f(x2)的之间的连（μf(x1)+(1-μ)f(x2)）大于等于相应的（即同一个μ值）两点之间连线（μx1+(1-μ)x2）所对应的函数值f[μx1+(1-μ)x2]。这其实应叫下凸。

如果把上面不等式中的等号去掉，即

f[μx1+(1-μ)x2]<μf(x1)+(1-μ)f(x2) ，其中0<μ<1则称f(x)为严格凸函数。

二、问题描述

从物理世界获得的模拟信号无法直接应用在数字世界的计算机上，采样是将模拟量转换为数字量的必须步骤，奈奎斯特采样定理是指导采样过程的阶段性理论，之所以说它有阶段性，是因为已经出现了更适合信息技术发展的新理论—压缩感知。

如果信号的带宽很高，例如雷达系统相关的射频信号，根据传统采样定理，采样频率必须高于信号最高频率的二倍，而实际中没有采样率足够高的线路系统与之匹配，导致采集的信号带宽远低于实际信号的带宽。另一个实例，经典的数据压缩技术，比如音频压缩、图像压缩等都是直接将数据本身的冗余部分去除，以实现压缩的目的。这里所指的压缩有两个特点：第一、它是在数据被完整采集的基础上进行压缩；第二、压缩过程十分复杂。相对而言，解码过程更加简单，以音频压缩为范例，压制一个mp3 文件的计算量远大于播放（即解压缩）一个mp3 文件的计算量。稍加思量就会发现，这种压缩和解压缩的不对称性正好同人们的需求是相反的。现在的信号采集设备大多数计算能力较差，比如相机，录音笔，摄像头等。然而解压缩信号的设备却是计算机，它有相当高的计算能力，也没有便携和省电的要求。也就是说，我们是在用廉价节能的设备来处理复杂的计算任务，而用大型高效的设备处理相对简单的计算任务。

压缩感知理论可以解决上述两个问题，直接采集压缩的数据，将复杂的信号还原过程留给计算机。为更好理解压缩感知理论先了解一下传统压缩理论。传统压缩的数学模型是这样的，将需重建的信号x表示成一N 维向量 , 将对信号x 的观测抽象为用一m × N 的矩阵Φ对信号x进行线性变换。这样，我们所观测的信息为

=(1)

yΦ

x

为恢复信号x，我们需要观测几次呢？由数学知识可知, 为使方程组(1) 的解存在且唯一, 我们须选择m ≥ N. 也就是说, 我们需要至少进行m=N次观测。传统压缩的步骤是这样的，使m=N,则y也是一N维向量，留住其中的K个数值大

的分量，对其他N-K 个分量置零 。其编码解码过程:Code （编码）：构造正交矩阵Φ，做正变换x y Φ=, 保留y 中最重要的K 个分量并记住其位置。Decode （解码）：将K 个分量及其对应位置归位，其他位置置零，得到y ，构造Φ，并用y x 1-Φ=恢复x 。

换句话说，传统压缩就是先做正交变换再进行编码解码，将所有N 维信号完整采集记录下来。压缩感知理论是让观测次数m<

s x ψ= （2） ψ是正交变换矩阵，s 是x 在ψ中的表现形式，Φ与ψ尽量不相关。(２)式可以表示成

s s x y Θ=Φψ=Φ= (3) Θ称为感知矩阵。由于m<

0||||min s N R

s ∈ s.t s y Φψ= (4) 使问题变得清楚了一些，后来Donoho 和Elad 证明了若Φ满足一些条件，有唯一解对应这个优化问题。这个定理是：在方程Ax=b 中，A 是m*n 的矩阵，x 是n 维向量，b 是m 维向量，A 中任意2K 列都是线性无关的，则k-sparse 的向量x 可以被b 和A 唯一地重建出来。虽然唯一性确定了，但是Ｌ０范数是一个NP 难问题，所以要找到其他的方法。2006年，Tao 和Donoho 的弟子Candes 合作证明了在有限等距条件下，0范数优化问题与1范数优化问题具有相同的解，实际上1范数优化问题是一个凸优化问题，有唯一解。

总结：如果矩阵满足稀疏度等于2K ，则0范数优化问题有唯一解。进一步如果矩阵A 满足有限等距条件，则0范数问题和1范数问题的解等价。1范数优化问题是凸优化，故其唯一解即为0范数优化问题的唯一解。

三、稀疏表示

压缩感知模型的前提是信号在变换域是否稀疏，选择合适的稀疏基是很重要的，信号若在某个基上表示时不能保证稀疏度，会影响信号恢复的效果。目前稀疏表示的方法主要有三种，第一正交基矩阵，第二多尺度几何分析法，第三冗余字典。

正交基变换的不足之处在于，一种正交基只对应一种稀疏变换，一种正交基可能只适合信号的某一种特征，比如傅里叶变换对振荡信号表达的效果比较好，但对点状奇异性的信号的表示并不有效，实际中信号本身可能结构复杂，具有多种特征，只用一种正交基可能达不到好的稀疏表达效果。因此有学者提出将信号