压缩感知理论介绍

“数字微镜阵列”完成图像在伪随机二值模型上的线性投影的光学计 算，其反射光由透镜聚焦到单个光敏二极管上，光敏二极管两端的电 压值即为一个测量值y，将此投影操作重复M次，即得到测量向量Y，
然后用最小全变分算法构建的数字信号处理器重构原始图像x。
数字微镜器件由数字电压信号控制微镜片的机械运动以实现对入射光 线的调整，相当于随机观测矩阵。
2、另一方面，在实际应用中，为了降低信号 的存储、处理和传输成本，人们又不得不 经由压缩方式减少信号表示的比特数，以 此抛弃认为不重要的数据，这种高速采样 再抛弃的过程显然是对采样资源的巨大浪 费。
1.2 压缩感知理论的提出
既然传统方法采样的多数数据会被抛弃， 那么，为什么还要获取全部数据而不直接获取 需要保留的数据呢？ 采集很少一部分数据并且期望从这些少量 数据中解压出大量信息，有无这种可能呢？D. Donoho, Candes，T. Tao 等人证明了如果信 号具有稀疏性的特性，那么就可能存在一种算 法能够从这些少量的数据中还原出原先的信息。
目前，关于测量矩阵的研究主要基于 以下两个方面： １ RIP条件：
(1 k ) x 2 Ax 2 (1 k ) x 2
２ 相干性：
( A) max
i j
i , j i
2
j
2
随机矩阵、结构随机矩阵与确定性矩阵.
虽然随机矩阵能产生尺寸接近最优的RIP 矩阵。 在工程实际中, 人们更希望构造一个确定性RIP矩 阵。因为确定性矩阵更利于工程设计, 此外, 从构造 解码算法角度来看, 确定性矩阵利于降低内存、设 计快速的恢复算法等。然而, 现在仍然缺少令人满 意的确定性RIP 矩阵构造方法。结构随机矩阵. 与 确定性矩阵相比, 结构随机矩阵多了些随机性, 因而 可以证明其具有较好的RIP 性质, 同时, 结构随机矩 阵的随机性较弱, 一般仅具有行随机性。
3 压缩感知应用--单像素CS相机
运用压缩感知原理，RICE大学成功研制了单像素 CS相机。 传统百万像素的相机需要百万个探测传感器，而压 缩传感数码相机只使用一个探测器来采光，然后跟 捕获后的计算相结合来重构图像。这种样机的镜头 由两部分组成：一个光电二极管和一个微镜阵列。 该相机直接获取的是M次随机线性测量值而不是 获取原始信号的N 个像素值，为低像素相机拍摄高 质量图像提供了可能。
N
x k k
其中 k x, k ，若 x 在基 上仅有 K K N 个非 x是 K 稀 零系数 k 时，称 为信号 x 的稀疏基， 疏(K-Sparsity)的。
k 1
x , 向量 如图是一个稀疏度为3的稀疏变换， 基本都是非零值，
但将其变换到 域 时，非零值就只有3 个了，数目远小于 原来非零数目，实 现了信号的稀疏表 示。
（2）超完备库下的稀疏表示： 用超完备的冗余函数库来取代基函数， 称之为冗余字典，字典中的元素被称之为原 子，目的是从冗余字典中找到具有最佳线性 组合的K项原子来逼近表示一个信号，称作 信号的稀疏逼近或高度非线性逼近。 一是如何构造这样一个适合某一类信 号的冗余字典； 二是在已知冗余字典的前提下如何设 计快速有效的分解方法来稀疏地表示某一个 信号。
谢谢大家！
0
s.t.
Y T x
对于0-范数问题的求解是个NP问题，在实际应用中 很难获得问题的可行解。因此，寻求对以上问题的 松弛以获得理想的逼近解，已成为稀疏信号重构的 重要手段。一种自然的想法是，用下面的模型来代 替，我们称之为p-范数优化问题（0<p<=1）：
或者：
min x
T
p p
s.t.
T
Y T x
T p p
min Y x x
2
求解该最优化问题，得到稀疏域的系数，然后反变换 即可以得到时域信号。
目前出现的重构算法主要有：
1）第一类贪婪算法：这类算法是通过每次迭代时选 择一个局部最优解来逐步逼近原始信号，典型的贪 婪算法--MP算法，贪婪算法是针对组合优化提出, 目前已发展了多种变形，例如，OMP, OOMP, CosMP等。该类重建算法速度快, 然而需要的测量 数据多且精度低。 2）第二类凸优化算法：即1-范数优化问题，这类方法 是将非凸问题转化为凸问题求解找到信号的逼近， 如BP算法，梯度投影方法等。该类算法速度慢，然 而需要的测量数据少且精度高。
信 号
采 样
压 缩
信 号
压缩 感知
传 输
重 构
2 压缩感知理论主要研究内容
2.1：信号的稀疏表示 2.2：观测矩阵的设计 2.3：信号重构
2.1 信号的稀疏表示
稀疏性的定义：
一个实值有限长的N维离散信号 x R N 1 ，它可以用 一个标准正交基 T 1, 2 , k , K 的线性组合来表示，其中 T 表示矩阵 的转置， 那么有
2.3 信号重构
首先介绍范数的概念。向量的p-范数为：
s N si i 1
p
p

1 p
当p=0时得到0-范数，它表示上式中非零项的个 数。 由于观测数量M N ，不能直接求解，在信号 x 能稀疏表示的前提下，求解方程组的问题转化 为最小0-范数问题：
min T x
x
如何寻找信号的最佳稀疏域呢？
这是压缩感知理论的基础和前提，也是信号精确重 构的保证。对稀疏表示研究主要有两个方面： （1）基函数字典下的稀疏表示： 寻找一个正交基使得信号表示的稀疏系数尽可能的 少。比较常用的基有：高斯矩阵、小波基、正（余） 弦基、Curvelet基等。Candes和Tao经研究发现光 滑信号的Fourier 系数、小波系数、有界变差函数 的全变差范数、振荡信号的Gabor 系数及具有不连 续边缘的图像信号的Curvelet 系数等都具有足够的 稀疏性,可以通过压缩感知理论恢复信号。
压缩感知理论简介
The Introduction of Compressed Sensing (CS) Theory
西安工程大学理学院 李海洋
1 背景介绍
1.1：传统采样理论简介 1.2：压缩感知理论的提出
2 压缩感知理论主要研究内容
2.1：信号的稀疏表示 2.2：观测矩阵的设计 2.3：信号重构
现为美国 Stanford University 人文科 学讲座教授及统计 学教授。他是美国 人文与科学学院院 士、美国工业与应 用数学学会(SIAM) 院士、法国科学院 外籍院士及美国国 家科学院院士。 统计学会会长奖 （1994） 邵逸夫数学科学 奖 （2013）
Emmanuel Candes 是斯坦福大学的数学、统计学， 电子工程荣誉教授，同时也是应用计算数学领 域的教授。Emmanuel Candes教授曾获数项 国际奖项，包括国家科学基金会最高个人奖 项。 ICM2014被邀请做1小时报告。
3 压缩感知应用-单像素CS相机
1.1 传统采样理论简介
NyquistShannon 采样 定律 JEPG等
信 号
采 样
压 缩
传 输
传统的信号处理过程
重 构
传统的基于Nyquist-Shannon 采样定理指导 下的信息采样理论的不足主要表现在以下 两个方面：
1、根据 Nyquist-Shannon 采样定律，采样速 率需达到信号带宽的两倍以上才能精确重 构信号。而现实生活中，随着信息技术的 高速发展，信息量的需求增加，携带信息 的信号所占带宽也越来越大，因此对采样 的硬件设备的要求也越来越高。
Y x
观测矩阵要满足什么样的条件呢？
从上式中求出 是一个线性方程组的求解问题， 但由于方程的个数远远少于未知数的个数， 即 M N ，因此，一般说来，该方程组有无穷 多个解 。 但如果 具有稀疏性，则有可能求出确定解。 Candes、Tao等人提出必须保证观测矩阵不会把 两个不同的K 稀疏信号映射到同一个采样几何中， 即上述线性方程组的稀疏解具有唯一性。
2.2 观测矩阵的设计
观测器的目的是采样得到 M 个观测值，并 保证从中能够重构出原来长度为 N 的信号 x 或者稀疏基下的系数向量 。
观测过程就是利用 M N 观测矩阵的 M 个行 向量对稀疏系数向量进行投影，得到 M 个 观测值，即
Y , 其中 x
T
如果我们假设信号已经是稀疏的，那么 上面的方程就可以写作
但是基于 1-范数优化问题的信号重构至少存 在两个方面的不足：（1）数据之间还可能存在很 大的冗余难以去除； （2）无法区分稀疏尺度的位 置（尽管重构信号在欧式距离上逼近原始信号, 但 会出现低尺度的能量转移到高尺度的现象, 因而易 出现高频震荡现象）。 ３）p-范数优化问题。 Xu 等人对1/2-范数优化问题的正则化问题进行了深 入的研究，给出了问题的解析解，并从数值实验的 角度说明了该问题的解具有较 1-范数重构更好的稀 疏性，且p越小，稀疏性越好。