压缩感知技术概况与学习心得

压缩感知技术概况与学习心得一、数学知识学习压缩感知课程需要一些数学基础，比如范数理论和凸优化问题。

在矩阵论课上，老师将压缩感知作为范数理论的例子进行讲解。

Ax=b，A是系统模型，b是观测值，当A是满秩方阵时，x有唯一解。

当A为胖矩阵，即b的维数小于x时，方程有无穷多组解，在实际应用中我们希望的是唯一解，所以加个0范数的约束条件以得到唯一解，在一定条件下0范数问题又等价于1范数问题，将原问题转化为一个优化问题。

通过查资料了解到什么是凸优化问题。

若对于以下优化问题：若目标函数f(x)是凸函数且可行集R是凸集，则称这样的问题为凸优化问题这个也可以换一种更一般的表达方式：对于以下优化问题如果目标函数f(x)和共l个约束函数gi(x)都是凸函数，则称这样的问题为凸优化问题。

凸函数的定义：对于(x)是定义在某凸集（非空的，空集也被规定为凸集）上的函数，对于凸集中的任意两点x1和x2，若f[μx1+(1-μ)x2]<=μf(x1)+(1-μ)f(x2)则称函数f(x)为凸函数。

直观几何表示：也就是说两点对应的函数值f(x1)和f(x2)的之间的连（μf(x1)+(1-μ)f(x2)）大于等于相应的（即同一个μ值）两点之间连线（μx1+(1-μ)x2）所对应的函数值f[μx1+(1-μ)x2]。

这其实应叫下凸。

如果把上面不等式中的等号去掉，即f[μx1+(1-μ)x2]<μf(x1)+(1-μ)f(x2) ，其中0<μ<1则称f(x)为严格凸函数。

二、问题描述从物理世界获得的模拟信号无法直接应用在数字世界的计算机上，采样是将模拟量转换为数字量的必须步骤，奈奎斯特采样定理是指导采样过程的阶段性理论，之所以说它有阶段性，是因为已经出现了更适合信息技术发展的新理论—压缩感知。

如果信号的带宽很高，例如雷达系统相关的射频信号，根据传统采样定理，采样频率必须高于信号最高频率的二倍，而实际中没有采样率足够高的线路系统与之匹配，导致采集的信号带宽远低于实际信号的带宽。

另一个实例，经典的数据压缩技术，比如音频压缩、图像压缩等都是直接将数据本身的冗余部分去除，以实现压缩的目的。

这里所指的压缩有两个特点：第一、它是在数据被完整采集的基础上进行压缩；第二、压缩过程十分复杂。

相对而言，解码过程更加简单，以音频压缩为范例，压制一个mp3 文件的计算量远大于播放（即解压缩）一个mp3 文件的计算量。

稍加思量就会发现，这种压缩和解压缩的不对称性正好同人们的需求是相反的。

现在的信号采集设备大多数计算能力较差，比如相机，录音笔，摄像头等。

然而解压缩信号的设备却是计算机，它有相当高的计算能力，也没有便携和省电的要求。

也就是说，我们是在用廉价节能的设备来处理复杂的计算任务，而用大型高效的设备处理相对简单的计算任务。

压缩感知理论可以解决上述两个问题，直接采集压缩的数据，将复杂的信号还原过程留给计算机。

为更好理解压缩感知理论先了解一下传统压缩理论。

传统压缩的数学模型是这样的，将需重建的信号x表示成一N 维向量 , 将对信号x 的观测抽象为用一m × N 的矩阵Φ对信号x进行线性变换。

这样，我们所观测的信息为=(1)yΦx为恢复信号x，我们需要观测几次呢？由数学知识可知, 为使方程组(1) 的解存在且唯一, 我们须选择m ≥ N. 也就是说, 我们需要至少进行m=N次观测。

传统压缩的步骤是这样的，使m=N,则y也是一N维向量，留住其中的K个数值大的分量，对其他N-K 个分量置零 。

其编码解码过程:Code （编码）：构造正交矩阵Φ，做正变换x y Φ=, 保留y 中最重要的K 个分量并记住其位置。

Decode （解码）：将K 个分量及其对应位置归位，其他位置置零，得到y ，构造Φ，并用y x 1-Φ=恢复x 。

换句话说，传统压缩就是先做正交变换再进行编码解码，将所有N 维信号完整采集记录下来。

压缩感知理论是让观测次数m<<N ，此时y 是观测矩阵Φ上的低维投影值，有一个前提条件是x 是可压缩的或是在某个域是稀疏的，将x 表示在这个域上：s x ψ= （2） ψ是正交变换矩阵，s 是x 在ψ中的表现形式，Φ与ψ尽量不相关。

(２)式可以表示成s s x y Θ=Φψ=Φ= (3) Θ称为感知矩阵。

由于m<<N,x y Φ=是一个欠定方程，有无穷多解，为反求x ，有种方法是加上正则项，将问题转化成0L 范数的最优化问题:0||||min s N Rs ∈ s.t s y Φψ= (4) 使问题变得清楚了一些，后来Donoho 和Elad 证明了若Φ满足一些条件，有唯一解对应这个优化问题。

这个定理是：在方程Ax=b 中，A 是m*n 的矩阵，x 是n 维向量，b 是m 维向量，A 中任意2K 列都是线性无关的，则k-sparse 的向量x 可以被b 和A 唯一地重建出来。

虽然唯一性确定了，但是Ｌ０范数是一个NP 难问题，所以要找到其他的方法。

2006年，Tao 和Donoho 的弟子Candes 合作证明了在有限等距条件下，0范数优化问题与1范数优化问题具有相同的解，实际上1范数优化问题是一个凸优化问题，有唯一解。

总结：如果矩阵满足稀疏度等于2K ，则0范数优化问题有唯一解。

进一步如果矩阵A 满足有限等距条件，则0范数问题和1范数问题的解等价。

1范数优化问题是凸优化，故其唯一解即为0范数优化问题的唯一解。

三、稀疏表示压缩感知模型的前提是信号在变换域是否稀疏，选择合适的稀疏基是很重要的，信号若在某个基上表示时不能保证稀疏度，会影响信号恢复的效果。

目前稀疏表示的方法主要有三种，第一正交基矩阵，第二多尺度几何分析法，第三冗余字典。

正交基变换的不足之处在于，一种正交基只对应一种稀疏变换，一种正交基可能只适合信号的某一种特征，比如傅里叶变换对振荡信号表达的效果比较好，但对点状奇异性的信号的表示并不有效，实际中信号本身可能结构复杂，具有多种特征，只用一种正交基可能达不到好的稀疏表达效果。

因此有学者提出将信号投影到几个不同正交基的组合上。

2002年 Elad 、Bruckstain 基于组合正交基提出了不确定性准则和最稀疏解的唯一性结论。

组合正交基的计算速度比之前有提高。

多尺度几何分析的提出是为了解决高维空间数据稀疏表示问题，以“最优”像表示理论为基础，通过对小波基函数添加一个表征方向的参数得到的，却仅对高维信号有很好的效果，一维信号不能得到最稀疏的解。

近几年的研究热点是如何根据信号自身的特点，自适应地找到适合信号特性的基函数，实现最佳的稀疏表达。

为实现这个目标用于稀疏表示的不再是单一基，而是通过构造或学习得到的冗余原子库即冗余字典。

冗余字典的组成是非正交而且冗余的，所以称之为“原子”。

其主要内容：将空间ＲＮ的Ｎ个基量增加到（Ｎ＋Ｐ）个（Ｐ为正整数 ），字典可能既有Fourier 变换基同时有Curvelet 变换基等，这样增强变换系统的灵活性，提高了表示高阶信号的能力，需要遵循一个原则：各个基向量尽可能使被表示的信号达到最稀疏。

四、观测矩阵的设计压缩感知理论中，信号的采样速率不再取决于带宽，观测矩阵应满足非相干性或等距约束性，观测矩阵的设计必须保证在观测的过程中不丢失X 的重要信息，否则无法恢复信号。

观测矩阵主要有两大类，随机观测矩阵和确定性观测矩阵。

随机观测矩阵设计需满足的原则是非相干性，且自身列向量满足一定的独立性。

可以用极限分析法来理解Φ和Ψ的非相干性。

如果我们把 Φ构造成和Ψ 极端相似的矩阵，也就是拿出Ψ的前M 行。

用这个算法求∧s ，我们将得到⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=-∧1)*(1*0M N M s s 这显然是错误的。

这样求出的结果实际上是前M 个变换域分量。

而事实是，重要的 K 个分量的位置我们事先是不知道的，是随着信号的不同而不同的。

当然，你可以将 Φ 恰好构造成对应最重要分量的K 行，得到正确的结果。

而这种的做法要付出的概率代价也就是说，你必须穷举次，才能得到你想要的结果。

因此，我们选择Φ和Ψ 极端不相似。

随机观测矩阵的特点是在能准确重构信号的情况下观测次数少，适合软件仿真很难在硬件电路实现。

RonaldA.Devore 最先提出了符合RIP 准则的多项式确定性观测矩阵，解决了随机观测矩阵的不足。

五、恢复信号的方法算法设计应该能利用尽量少的测量值比较精确地解出原始信号。

应用广泛的算法主要有松弛算法和贪婪算法。

松弛算法包括BP 算法，内点法，梯度投影法和迭代阈值法。

上面提到非凸的0范数问题可以在观测矩阵满足RIP 条件时可以转换成1范数优化问题，可用BP 算法求解。

一方面，当压缩测量个数 M ≥ cK ，c ≈ log( N/K) 时，计算复杂度的量级为)(3N O ；另一方面，1L 范数不能区分指示稀疏系数的位置，将导致低尺度的能量迁移到高尺度可能，在高频区域出现震荡等伪人工现象。

迭代阈值算法是直接求解0范数问题（4）的方法，但只保证能得到局部最优解，解还有可能是非稀疏的。

如果找到合适的初始值，就能得到全局最优解，经常与其他算法结合使用。

贪婪算法通过每次迭代时选择一个局部最优解来逐步逼近原始信号。

MP，MOP 都属于贪婪算法。

一般而言, 当矩阵行数远小于列数, 贪婪算法在实际计算中通常有更好的表现六、总结学习压缩感知的过程我体会到，硕士研究生的学习应更加注重于学习的理论性、研究性，更加注重增强独立研究和思考问题的能力，努力达成新认识，收获新体会。

当然也应该多与老师和同学讨论，“三人行，则必有我师”，善于观察和学习身边人的优点，对自己一定会有很大提高。