压缩感知的原理和应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
The proposed method is referred to as prior image constrained compressed sensing (PICCS ) FBP Prior image(Xp) Xp was utilized to constrain the CS image reconstruction method. The proposed method is referred to as prior image constrained compressed sensing(PICCS ) In Xp, the dynamical information is lost but the static structures are well constructed
入射光线经过第一个透镜之后进入成像系统，照射在放置于像平面的 数字微镜设备(DMD)阵列上。DMD 阵列由数百万个尺寸为μ m量级的微小反 射镜组成，每个反射镜的角度可独立控制。DMD 阵列的反射光线经过第二 个透镜，其中仅一个方向的光线进入单像素光子探测器。
3.1 单像素相机
• • 传统百万像素的相机需要百万个探测传感器。 而压缩传感数码相机只使用一个探测器来采光，然后跟捕获后的计算相结合 来重构图像。
Image are not sparse as shown in by the histograms of the pixel value.
However, a subtraction operation can make the image significantly sparser
3.2 动态CT图像重建
x
2.2 压缩感知流程介绍
1，稀疏表示
• 信号是可压缩的或在某 个变换域是稀疏的;
2，随机测量
• 就可以用一个与变换基 不相关的观测矩阵将变 换所得高维信号投影到 一个低维空间上;
3，重构算法
• 然后通过求解一个优化 问题就可以从这些少量 的投影中以高概率重构 出原信号。
长度为N的信号 x 在正交基上的变换系数是稀疏的； 用一个与基 不相关的观测基 : M N ( M N ) 对系数 向量进行线性变换，并得到观测向量Y : M 1 利用优化求解的方法从观测集合中精确或高概率地重构原始 信号 。
1.2 信号的压缩和传输
• 传统压缩方法
• 为了降低成本
–将采样的数经压缩后以较少的比特数表示信号 –很多非重要的数据被抛弃
• 缺点
–这种高速采样再压缩的方式浪费了大量的采样资源 –一旦压缩数据中的某个或某几个丢失，可能将造成信 号恢复的错误
1.3 亟待解决的问题
问题1：
能否以远低于Nyquist采样定理要求的采样速率 获取信号，而保证信息不损失，并且可以完全 恢复信号？
2.2 压缩感知流程介绍
重构算法
（1）匹配追踪系列：
匹配追踪（Matching Pursuit, MP） 正交匹配追踪(Orthogonal Matching Pursuit, OMP) 稀疏自适应匹配追踪(Sparse Adaptive MP, SAMP) 正则化正交匹配追踪(Regularized OMP, ROMP)等
2006《Compressed Sensing》David Donoho
2007《Compressive Sensing》Richard Baraniuk
2.1 压缩感知的前提
稀疏性的定义：
x R N 1，由信号理 一个实值有限长的N维离散信号 论可知，它可以用一个标准正交基 T 1 , 2 , k , K
能以较低的频率（远低于奈奎斯特采样频率）采样该信号，并可能以 高概率重建该信号。
contents
1 2 3
Background & Problem
The Compressive Sensing
Application
研究现状
2006《Robust Uncertainty Principles： Exact Signal Reconstruction from Highly Incomplete Frequency Information》 Terence Tao、Emmanuel Candè s
3.2 动态CT图像重建
• Reconstruct dynamic CT image sequences
– the same image slice or the same image volume is sequentially scanned many times in order to measure the dynamical change in the image object.
min T x
1
s.t.
Y T x
Candes等指出，要精确重构k稀疏信号x，测量次数M（必须 满足M=O(k · logN) ，并且矩阵Φ必须满足约束等距性条件 (Restricted Isometry Principle)。 求解该最优化问题，得到稀疏域的系数，然后反变换即可以 得到时域信号。
x
2.2 压缩感知流程介绍
第一步：信号的稀疏表示
x 如图是一个稀疏度为3的稀疏变换， ,在时域 x 基本都是非零值， 但将其变换到 域时，非零值就只有3个了，数 目远小于原来的非零数目，实现了信号的稀疏表 示。
wenku.baidu.com
2.2 压缩感知流程介绍
如何找到信号的最佳稀疏域呢？
1、基函数字典下的稀疏表示：
1，稀疏表示
• 信号是可压缩的或在某 个变换域是稀疏的;
2，随机测量
• 就可以用一个与变换基 不相关的观测矩阵将变 换所得高维信号投影到 一个低维空间上;
3，重构算法
• 然后通过求解一个优化 问题就可以从这些少量 的投影中以高概率重构 出原信号。
长度为N的信号 x 在正交基上的变换系数是稀疏的； 用一个与基 不相关的观测基 : M N ( M N ) 对系数 向量进行线性变换，并得到观测向量Y : M 1 利用优化求解的方法从观测集合中精确或高概率地重构原始 信号 。
Introduction to Comprehensive Sensing
Guotai Wang 2013-5-3
contents
1 2 3
Background & Problem
The Compressive Sensing Application
contents
1 2 3
Background & Problem
2.2 压缩感知流程介绍
第二步：观测矩阵的设计
观测器的目的是采样得到 M个观测值，并保证从 中能够重构出原来长度为 N 的信号 x 或者稀疏基 下的系数向量 。
观测过程就是利用 M N 观测矩阵的 M 个行向量 对稀疏系数向量进行投影，得到 M 个观测值，即
Y x x
The Compressive Sensing Application
1.1 信号采样
• 信息技术飞速发展
• Nyquist采样定理：
信息需求量剧增
–采样速率需达到信号带宽的两倍以上才能精确重构信 号。
• 带宽增加 • 弊端
采样速率和处理速率增加
–采样硬件成本昂贵 –获取效率低下 –对宽带信号处理的困难日益加剧
x
2.2 压缩感知流程介绍
1，稀疏表示
• 信号是可压缩的或在某 个变换域是稀疏的;
2，随机测量
• 就可以用一个与变换基 不相关的观测矩阵将变 换所得高维信号投影到 一个低维空间上;
3，重构算法
• 然后通过求解一个优化 问题就可以从这些少量 的投影中以高概率重构 出原信号。
长度为N的信号 x 在正交基上的变换系数是稀疏的； 用一个与基 不相关的观测基 : M N ( M N ) 对系数 向量进行线性变换，并得到观测向量Y : M 1 利用优化求解的方法从观测集合中精确或高概率地重构原始 信号 。
3.2 动态CT图像重建
该相机直接获取的是M次 随机线性测量值而不是获 取原始信号的N 个像素值， 为低像素相机拍摄高质量 图像提供了可能。
•
3.2 动态CT图像重建
• Medical image & sparse
– (1), Are medical images sparse ? – (2), If a medical image is not sparse, can we use some transform to make it sparse ?
问题2：能否将对信号的采样转化为对信息的采样，即 直接采集不被丢弃的信息？
1.4 压缩感知的理论框架
• 压缩感知的核心思想
–压缩和采样合并进行，远小于传统采样方法的数据量 –突破了Nyquist采样定理的瓶颈 –使高分辨率的信号采集成为可能
名词解释：压缩感知—直接感知压缩后的信息 基本方法：信号在某一个正交空间具有稀疏性（即可压缩性），就
• CS image reconstruction theory
– Instead of directly reconstructing a target image, the sparsified version is reconstructed. – In the sparsified image, significantly fewer image pixels have significant image values. – reconstruct the sparsified image from an undersampled data set without streaking artifacts
寻找一个正交基使得信号表示的稀疏系数尽可能的少。 比较常用的稀疏基有：
高斯矩阵、小波基、正（余）弦基、Curvelet基等。
2、超完备库下的稀疏表示：
用超完备的冗余函数库来取代基函数 目的是从冗余字典中找到具有最佳线性组合的K项原子来逼近
表示一个信号 称作信号的稀疏逼近或高度非线性逼近。
另类算法
（1）Bayesian类的统计优化算法
contents
1 2 3
Background & Problem The Compressive Sensing
Application
3.1 单像素相机
压缩感知理论带来了信号采样理论的变革，具有广阔的应用前景， 包括压缩成像、模拟信息转换、生物传感等。 压缩感知应用于光学成像的首个实际系统是Rice大学的“单像素相机”
（2）方向追踪系列：
梯度追踪(Gradient Pursuit, GP) 共轭梯度追踪(Conjugate GP,CGP) 贪婪算法 近似的共轭梯度追踪(Approximation CGP, ACGP)
凸优化算法
（1）基追踪法(Basis Pursuit, BP) （2）最小角度回归法(Least Angle Regression, LARS) （3）梯度投影法(Gradient Projection for Sparse Reconstruction, GPSR)
min T x
0
s.t.
Y T x
2.2 压缩感知流程介绍
对于0-范数问题的求解是个NP问题，需要列出所有非零项位 置的种组合的线性组合才能得到最优解，在多项式时间内难 以求解，而且也无法验证其可靠性。 Chen，Donoho和Saunders指出求解一个优化问题会产生同 等的解。于是问题转化为：
T
观测矩阵需要满足的 条件
2.2 压缩感知流程介绍
第三步：信号重构
首先介绍下范数的概念。向量的p-范数为：
s
p
N i 1
si
p
1
p
当p=0时得到0-范数，它表示上式中非零项的个数。
由于观测数量 M N ，不能直接求解，在信号 x 可压缩 的前提下，求解病态方程组的问题转化为最小0-范数问 题：
的线性组合来表示，假定这些基是规范正交的， 那么有 N x k k
k 1
其中 k x, k ，若 x 在基 上仅有K K N 个非 零系数 k 时，称 为信号 x 的稀疏基， 是 K 稀 x 疏(K-Sparsity)的。
2.2 压缩感知流程介绍
入射光线经过第一个透镜之后进入成像系统，照射在放置于像平面的 数字微镜设备(DMD)阵列上。DMD 阵列由数百万个尺寸为μ m量级的微小反 射镜组成，每个反射镜的角度可独立控制。DMD 阵列的反射光线经过第二 个透镜，其中仅一个方向的光线进入单像素光子探测器。
3.1 单像素相机
• • 传统百万像素的相机需要百万个探测传感器。 而压缩传感数码相机只使用一个探测器来采光，然后跟捕获后的计算相结合 来重构图像。
Image are not sparse as shown in by the histograms of the pixel value.
However, a subtraction operation can make the image significantly sparser
3.2 动态CT图像重建
x
2.2 压缩感知流程介绍
1，稀疏表示
• 信号是可压缩的或在某 个变换域是稀疏的;
2，随机测量
• 就可以用一个与变换基 不相关的观测矩阵将变 换所得高维信号投影到 一个低维空间上;
3，重构算法
• 然后通过求解一个优化 问题就可以从这些少量 的投影中以高概率重构 出原信号。
长度为N的信号 x 在正交基上的变换系数是稀疏的； 用一个与基 不相关的观测基 : M N ( M N ) 对系数 向量进行线性变换，并得到观测向量Y : M 1 利用优化求解的方法从观测集合中精确或高概率地重构原始 信号 。
1.2 信号的压缩和传输
• 传统压缩方法
• 为了降低成本
–将采样的数经压缩后以较少的比特数表示信号 –很多非重要的数据被抛弃
• 缺点
–这种高速采样再压缩的方式浪费了大量的采样资源 –一旦压缩数据中的某个或某几个丢失，可能将造成信 号恢复的错误
1.3 亟待解决的问题
问题1：
能否以远低于Nyquist采样定理要求的采样速率 获取信号，而保证信息不损失，并且可以完全 恢复信号？
2.2 压缩感知流程介绍
重构算法
（1）匹配追踪系列：
匹配追踪（Matching Pursuit, MP） 正交匹配追踪(Orthogonal Matching Pursuit, OMP) 稀疏自适应匹配追踪(Sparse Adaptive MP, SAMP) 正则化正交匹配追踪(Regularized OMP, ROMP)等
2006《Compressed Sensing》David Donoho
2007《Compressive Sensing》Richard Baraniuk
2.1 压缩感知的前提
稀疏性的定义：
x R N 1，由信号理 一个实值有限长的N维离散信号 论可知，它可以用一个标准正交基 T 1 , 2 , k , K
能以较低的频率（远低于奈奎斯特采样频率）采样该信号，并可能以 高概率重建该信号。
contents
1 2 3
Background & Problem
The Compressive Sensing
Application
研究现状
2006《Robust Uncertainty Principles： Exact Signal Reconstruction from Highly Incomplete Frequency Information》 Terence Tao、Emmanuel Candè s
3.2 动态CT图像重建
• Reconstruct dynamic CT image sequences
– the same image slice or the same image volume is sequentially scanned many times in order to measure the dynamical change in the image object.
min T x
1
s.t.
Y T x
Candes等指出，要精确重构k稀疏信号x，测量次数M（必须 满足M=O(k · logN) ，并且矩阵Φ必须满足约束等距性条件 (Restricted Isometry Principle)。 求解该最优化问题，得到稀疏域的系数，然后反变换即可以 得到时域信号。
x
2.2 压缩感知流程介绍
第一步：信号的稀疏表示
x 如图是一个稀疏度为3的稀疏变换， ,在时域 x 基本都是非零值， 但将其变换到 域时，非零值就只有3个了，数 目远小于原来的非零数目，实现了信号的稀疏表 示。
wenku.baidu.com
2.2 压缩感知流程介绍
如何找到信号的最佳稀疏域呢？
1、基函数字典下的稀疏表示：
1，稀疏表示
• 信号是可压缩的或在某 个变换域是稀疏的;
2，随机测量
• 就可以用一个与变换基 不相关的观测矩阵将变 换所得高维信号投影到 一个低维空间上;
3，重构算法
• 然后通过求解一个优化 问题就可以从这些少量 的投影中以高概率重构 出原信号。
长度为N的信号 x 在正交基上的变换系数是稀疏的； 用一个与基 不相关的观测基 : M N ( M N ) 对系数 向量进行线性变换，并得到观测向量Y : M 1 利用优化求解的方法从观测集合中精确或高概率地重构原始 信号 。
Introduction to Comprehensive Sensing
Guotai Wang 2013-5-3
contents
1 2 3
Background & Problem
The Compressive Sensing Application
contents
1 2 3
Background & Problem
2.2 压缩感知流程介绍
第二步：观测矩阵的设计
观测器的目的是采样得到 M个观测值，并保证从 中能够重构出原来长度为 N 的信号 x 或者稀疏基 下的系数向量 。
观测过程就是利用 M N 观测矩阵的 M 个行向量 对稀疏系数向量进行投影，得到 M 个观测值，即
Y x x
The Compressive Sensing Application
1.1 信号采样
• 信息技术飞速发展
• Nyquist采样定理：
信息需求量剧增
–采样速率需达到信号带宽的两倍以上才能精确重构信 号。
• 带宽增加 • 弊端
采样速率和处理速率增加
–采样硬件成本昂贵 –获取效率低下 –对宽带信号处理的困难日益加剧
x
2.2 压缩感知流程介绍
1，稀疏表示
• 信号是可压缩的或在某 个变换域是稀疏的;
2，随机测量
• 就可以用一个与变换基 不相关的观测矩阵将变 换所得高维信号投影到 一个低维空间上;
3，重构算法
• 然后通过求解一个优化 问题就可以从这些少量 的投影中以高概率重构 出原信号。
长度为N的信号 x 在正交基上的变换系数是稀疏的； 用一个与基 不相关的观测基 : M N ( M N ) 对系数 向量进行线性变换，并得到观测向量Y : M 1 利用优化求解的方法从观测集合中精确或高概率地重构原始 信号 。
3.2 动态CT图像重建
该相机直接获取的是M次 随机线性测量值而不是获 取原始信号的N 个像素值， 为低像素相机拍摄高质量 图像提供了可能。
•
3.2 动态CT图像重建
• Medical image & sparse
– (1), Are medical images sparse ? – (2), If a medical image is not sparse, can we use some transform to make it sparse ?
问题2：能否将对信号的采样转化为对信息的采样，即 直接采集不被丢弃的信息？
1.4 压缩感知的理论框架
• 压缩感知的核心思想
–压缩和采样合并进行，远小于传统采样方法的数据量 –突破了Nyquist采样定理的瓶颈 –使高分辨率的信号采集成为可能
名词解释：压缩感知—直接感知压缩后的信息 基本方法：信号在某一个正交空间具有稀疏性（即可压缩性），就
• CS image reconstruction theory
– Instead of directly reconstructing a target image, the sparsified version is reconstructed. – In the sparsified image, significantly fewer image pixels have significant image values. – reconstruct the sparsified image from an undersampled data set without streaking artifacts
寻找一个正交基使得信号表示的稀疏系数尽可能的少。 比较常用的稀疏基有：
高斯矩阵、小波基、正（余）弦基、Curvelet基等。
2、超完备库下的稀疏表示：
用超完备的冗余函数库来取代基函数 目的是从冗余字典中找到具有最佳线性组合的K项原子来逼近
表示一个信号 称作信号的稀疏逼近或高度非线性逼近。
另类算法
（1）Bayesian类的统计优化算法
contents
1 2 3
Background & Problem The Compressive Sensing
Application
3.1 单像素相机
压缩感知理论带来了信号采样理论的变革，具有广阔的应用前景， 包括压缩成像、模拟信息转换、生物传感等。 压缩感知应用于光学成像的首个实际系统是Rice大学的“单像素相机”
（2）方向追踪系列：
梯度追踪(Gradient Pursuit, GP) 共轭梯度追踪(Conjugate GP,CGP) 贪婪算法 近似的共轭梯度追踪(Approximation CGP, ACGP)
凸优化算法
（1）基追踪法(Basis Pursuit, BP) （2）最小角度回归法(Least Angle Regression, LARS) （3）梯度投影法(Gradient Projection for Sparse Reconstruction, GPSR)
min T x
0
s.t.
Y T x
2.2 压缩感知流程介绍
对于0-范数问题的求解是个NP问题，需要列出所有非零项位 置的种组合的线性组合才能得到最优解，在多项式时间内难 以求解，而且也无法验证其可靠性。 Chen，Donoho和Saunders指出求解一个优化问题会产生同 等的解。于是问题转化为：
T
观测矩阵需要满足的 条件
2.2 压缩感知流程介绍
第三步：信号重构
首先介绍下范数的概念。向量的p-范数为：
s
p
N i 1
si
p
1
p
当p=0时得到0-范数，它表示上式中非零项的个数。
由于观测数量 M N ，不能直接求解，在信号 x 可压缩 的前提下，求解病态方程组的问题转化为最小0-范数问 题：
的线性组合来表示，假定这些基是规范正交的， 那么有 N x k k
k 1
其中 k x, k ，若 x 在基 上仅有K K N 个非 零系数 k 时，称 为信号 x 的稀疏基， 是 K 稀 x 疏(K-Sparsity)的。
2.2 压缩感知流程介绍