压缩感知理论简介
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
则该信号是稀疏的。通常时域内的信号是 非稀疏的，但是在某个变换域可能是稀疏 的。
15
2.3 稀疏表示
• 如果长度为N的信号X，在变换域K个系数 不为零（或者明显不大于其他系数），且 K<<N ，那么可以认为信号X在域中是稀 疏的并可记为K-稀疏。
16
2.3 稀疏表示
17
2.3 稀疏表示
18
2.3 稀疏表示
表示基不相关
一般用随机高斯矩阵作为观测矩阵。
21
2.5 重构算法
重构是基于如下严格的数学最优化（Optimization）问题：
信号重构过程一般转换为一个最小L0 范数的优化问题 求解方法主要有最小L1 范数法、匹配追踪系列算法、最小 全变分方法、迭代阈值算法等。
22
三、应用展望
2019/9/28
10
1.2 研究现状
西安电子科技大学石光明教授，发表综述文章 燕山大学练秋生教授课题组，针对压缩感知的稀
疏重建算法进行研究 中科院电子所的方广有研究员等，探索了压缩感
知理论在探地雷达三维成像中的应用。 除此之外，还有很多国内学者在压缩感知方面做
了重要的工作，如清华大学、天津大学、国防科 技大学、厦门大学、湖南大学、西南交通大学、 南京邮电大学、华南理工大学、北京理工大学、 北京交通大学、北京化工大学等等单位。
• 研究现状： 1.多种变换域分析方法为稀疏表示提供了可
能。 2.许多信号，诸如自然图像，本身就存在着
变换域稀疏性。 3.信号在冗余字典下的稀疏表示
19
2.4 测量矩阵
20
2.4 测量矩阵
观测基的意义： 保证能够从观测值准确重构信号，其需要满足一定
的限制： 1、观测基矩阵与稀疏基矩阵的乘积满足RIP性质 （有限等距性质）这个性质保证了观测矩阵不会把 两个不同的K稀疏信号映射到同一个集合中。 2、约束等距性条件的等价条件是测量矩阵和稀疏
Introduction to Compressive Sensing 压缩感知概述
北京化工大学
1
目录
1. 背景现状 2. 压缩感知描述 3. 应用展望 4 . 主要工作及成果
2
一、背景现状
2019/9/28
3
1.1理论产生背景
传统图像处理过程：
采样数据
采样
数据传输 解压缩
恢复图像
数据传输 压发缩的
通过显示器 显示图像
4
1.1理论产生背景
采样方法
传统时频分析方法以 Nyquist采样定理为 支撑
数据压缩
无损压缩： 有损压缩： 无损与有损压缩相结 合
采样率高，硬件实现 成本大。
离不开Nyquist定理 指导下的采样框架体系 ，这种高速采样再压缩 的过程造成大量采样资 源的浪费。
5
1.1理论产生背景
11
二、压缩感知描述
2019/9/28
12
2.1基本理论依据
• 理论依据：长度为N的 信号X在某个正交基Ψ 上是K-稀疏的，
• 如果能找到一个与Ψ 不 相关（不相干）的观测 基 Φ，
• 用观测基Φ观测原信号 得到M个观测值， K<M<<N ，得到观测 值Y，
• 那么可以利用最优化方 法从观测值中高概率重 构X。
23
3.1应用领域
信息论硬件实现 信号/图像处理 光学/雷达成像 医疗超声成像 地质勘探 模式识别 无线通信
Hale Waihona Puke Baidu应用范围
24
* 压缩感知应用于光学成像的首个实际系统是Rice大学的“单像
素相机”。
* 由于该相机直接获取的是 M次随机线性测量值，而不是获取原
始信号的 N( M<<N) 个像素值，因此为低像素相机拍摄高质量 图像提供了可能。
13
2.2压缩感知基本步骤
找到某个正 交基Ψ ，信 号在该基上
稀疏
• 研究内容：
稀疏基 测量矩阵 重构算法
找到一个与 Ψ 不相关， 且满足一定 条件的观测
基Φ
以Φ观测真 实信号，得 到观测值Y
对Y采用最 优化重构， Ψ Φ均是其
约束。
14
2.3 稀疏表示
• 如果一个信号中只有少数元素是非零的，
2006《Compressed Sensing》David Donoho
2007《Compressive Sensing》Richard Baraniuk
上述文章奠定了压缩感知的理论基础。国内也将 其翻译成压缩传感或压缩采样。
8
1.1研究现状
传统方法
压缩感知
9
1.2 研究现状
• 理论一经提出，就在信息论、信号处理、图像处 理等领域受到高度关注。
*传统Nyquist采样定理： Nyquist 采样定
理要求必须以信号带宽 2倍的速率进行 采样。
*思考？：大部分冗余信息在采集后被
丢弃采样时造成很大的资源浪费能否直 接采集不被丢弃的信息？
6
1.1理论产生背景
被感知对象
压缩感知
重建信号
名词解释：压缩感知—直接感知压缩后的信息
压缩感知(压缩传感，Compressive Sensing)理论是近年来信号处理领域 诞生的一种新的信号处理理论，由D. Donoho(美国科学院院士)、E. Candes(Ridgelet, Curvelet创始人)及华裔科学家T. Tao(2006年菲尔兹奖获得者)等人 提出，自诞生之日起便极大地吸引了相关研究人员的关注。
25
如下图：利用小波多尺度变换对 Pepper 图像进行处理，利用标准高斯 随机矩阵作为测量矩阵 Φ，对稀疏化后的数据进行随机测量，使用改
进的 OMP 算法对测量后的数据进行图像重建。
采样率为1%
采样率为5%
采样率为10%
采样率为15%
基本方法：信号在某一个正交空间具有稀疏性（即可压
缩性），就能以较低的频率（远低于奈奎斯特采样频率） 采样该信号，并可能以高概率重建该信号。
7
1.1 理论产生背景
2006《Robust Uncertainty Principles： Exact Signal Reconstruction from Highly Incomplete Frequency Information》 Terence Tao、Emmanuel Candès
• 在美国、英国、德国、法国、瑞士、以色列等许 多国家的知名大学(如麻省理工学院、斯坦福大学、 普林斯顿大学、莱斯大学、杜克大学、慕尼黑工 业大学、爱丁堡大学等等)成立了专门的课题组对 CS进行研究。
• 莱斯大学还建立了专门的CompressiveSensing 网站，及时报道和更新该方向的最新研究成果。
15
2.3 稀疏表示
• 如果长度为N的信号X，在变换域K个系数 不为零（或者明显不大于其他系数），且 K<<N ，那么可以认为信号X在域中是稀 疏的并可记为K-稀疏。
16
2.3 稀疏表示
17
2.3 稀疏表示
18
2.3 稀疏表示
表示基不相关
一般用随机高斯矩阵作为观测矩阵。
21
2.5 重构算法
重构是基于如下严格的数学最优化（Optimization）问题：
信号重构过程一般转换为一个最小L0 范数的优化问题 求解方法主要有最小L1 范数法、匹配追踪系列算法、最小 全变分方法、迭代阈值算法等。
22
三、应用展望
2019/9/28
10
1.2 研究现状
西安电子科技大学石光明教授，发表综述文章 燕山大学练秋生教授课题组，针对压缩感知的稀
疏重建算法进行研究 中科院电子所的方广有研究员等，探索了压缩感
知理论在探地雷达三维成像中的应用。 除此之外，还有很多国内学者在压缩感知方面做
了重要的工作，如清华大学、天津大学、国防科 技大学、厦门大学、湖南大学、西南交通大学、 南京邮电大学、华南理工大学、北京理工大学、 北京交通大学、北京化工大学等等单位。
• 研究现状： 1.多种变换域分析方法为稀疏表示提供了可
能。 2.许多信号，诸如自然图像，本身就存在着
变换域稀疏性。 3.信号在冗余字典下的稀疏表示
19
2.4 测量矩阵
20
2.4 测量矩阵
观测基的意义： 保证能够从观测值准确重构信号，其需要满足一定
的限制： 1、观测基矩阵与稀疏基矩阵的乘积满足RIP性质 （有限等距性质）这个性质保证了观测矩阵不会把 两个不同的K稀疏信号映射到同一个集合中。 2、约束等距性条件的等价条件是测量矩阵和稀疏
Introduction to Compressive Sensing 压缩感知概述
北京化工大学
1
目录
1. 背景现状 2. 压缩感知描述 3. 应用展望 4 . 主要工作及成果
2
一、背景现状
2019/9/28
3
1.1理论产生背景
传统图像处理过程：
采样数据
采样
数据传输 解压缩
恢复图像
数据传输 压发缩的
通过显示器 显示图像
4
1.1理论产生背景
采样方法
传统时频分析方法以 Nyquist采样定理为 支撑
数据压缩
无损压缩： 有损压缩： 无损与有损压缩相结 合
采样率高，硬件实现 成本大。
离不开Nyquist定理 指导下的采样框架体系 ，这种高速采样再压缩 的过程造成大量采样资 源的浪费。
5
1.1理论产生背景
11
二、压缩感知描述
2019/9/28
12
2.1基本理论依据
• 理论依据：长度为N的 信号X在某个正交基Ψ 上是K-稀疏的，
• 如果能找到一个与Ψ 不 相关（不相干）的观测 基 Φ，
• 用观测基Φ观测原信号 得到M个观测值， K<M<<N ，得到观测 值Y，
• 那么可以利用最优化方 法从观测值中高概率重 构X。
23
3.1应用领域
信息论硬件实现 信号/图像处理 光学/雷达成像 医疗超声成像 地质勘探 模式识别 无线通信
Hale Waihona Puke Baidu应用范围
24
* 压缩感知应用于光学成像的首个实际系统是Rice大学的“单像
素相机”。
* 由于该相机直接获取的是 M次随机线性测量值，而不是获取原
始信号的 N( M<<N) 个像素值，因此为低像素相机拍摄高质量 图像提供了可能。
13
2.2压缩感知基本步骤
找到某个正 交基Ψ ，信 号在该基上
稀疏
• 研究内容：
稀疏基 测量矩阵 重构算法
找到一个与 Ψ 不相关， 且满足一定 条件的观测
基Φ
以Φ观测真 实信号，得 到观测值Y
对Y采用最 优化重构， Ψ Φ均是其
约束。
14
2.3 稀疏表示
• 如果一个信号中只有少数元素是非零的，
2006《Compressed Sensing》David Donoho
2007《Compressive Sensing》Richard Baraniuk
上述文章奠定了压缩感知的理论基础。国内也将 其翻译成压缩传感或压缩采样。
8
1.1研究现状
传统方法
压缩感知
9
1.2 研究现状
• 理论一经提出，就在信息论、信号处理、图像处 理等领域受到高度关注。
*传统Nyquist采样定理： Nyquist 采样定
理要求必须以信号带宽 2倍的速率进行 采样。
*思考？：大部分冗余信息在采集后被
丢弃采样时造成很大的资源浪费能否直 接采集不被丢弃的信息？
6
1.1理论产生背景
被感知对象
压缩感知
重建信号
名词解释：压缩感知—直接感知压缩后的信息
压缩感知(压缩传感，Compressive Sensing)理论是近年来信号处理领域 诞生的一种新的信号处理理论，由D. Donoho(美国科学院院士)、E. Candes(Ridgelet, Curvelet创始人)及华裔科学家T. Tao(2006年菲尔兹奖获得者)等人 提出，自诞生之日起便极大地吸引了相关研究人员的关注。
25
如下图：利用小波多尺度变换对 Pepper 图像进行处理，利用标准高斯 随机矩阵作为测量矩阵 Φ，对稀疏化后的数据进行随机测量，使用改
进的 OMP 算法对测量后的数据进行图像重建。
采样率为1%
采样率为5%
采样率为10%
采样率为15%
基本方法：信号在某一个正交空间具有稀疏性（即可压
缩性），就能以较低的频率（远低于奈奎斯特采样频率） 采样该信号，并可能以高概率重建该信号。
7
1.1 理论产生背景
2006《Robust Uncertainty Principles： Exact Signal Reconstruction from Highly Incomplete Frequency Information》 Terence Tao、Emmanuel Candès
• 在美国、英国、德国、法国、瑞士、以色列等许 多国家的知名大学(如麻省理工学院、斯坦福大学、 普林斯顿大学、莱斯大学、杜克大学、慕尼黑工 业大学、爱丁堡大学等等)成立了专门的课题组对 CS进行研究。
• 莱斯大学还建立了专门的CompressiveSensing 网站，及时报道和更新该方向的最新研究成果。