压缩感知介绍最终版 ppt课件
合集下载
压缩感知CS-PPT课件
(1) 这些少量的采集到的数据包含了原信号的全局信息;（观测矩阵的设计） (2) 存在一种算法能够从这些少量的数据中还原出原先的信息来。（信号恢复算 法）
这个模型意味着：我们可以在采集数据的时候只简单采集一部分数据（「压缩感 知」），然后把复杂的部分交给数据还原的这一端来做，正好匹配了我们期望的格 局。
被丢弃的信息？
引例—核磁共振（MRI）
1 year old female with liver lesion (8X) 6 year old male with abdomen (8X)
6 year old male with abdomen (8X)
斯坦福大学Emmanuel Candes 患肝病2岁儿童
CS的研究内容—稀疏表示
一般自然信号x本身并不是稀疏的，需要在某种稀疏基上进行稀疏表示x = Ys,
Y为稀疏基矩阵， s为稀疏系数 压缩感知方程为：y = Fx = FYs。
CS的研究内容—稀疏表示
信号的稀疏表示就是将信号投影到正交变换基时, 绝大部分变换系数的绝对值很 小, 所得到的变换向量是稀疏或者近似稀疏的, 可以将其看作原始信号的一种简洁表 达, 这是压缩感知的先验条件。变换基可以根据信号的本身特点灵活选取，常用的有 离散余弦变换（DCT）、傅里叶变换（FFT）、离散小波变换（DWT），Gabor变换等。
数据采集及压缩设备
数据解压缩设备
廉价、
省电、 计算能 力较低 的便携 设备
计算 任务 复杂
矛盾
大型 高效 的计 算机
计算 任务 简单
CS的研究背景—问题提出
传统模型
采集
压缩
传输/存储
解压缩
压缩感知模型
采集压缩后的数据
这个模型意味着：我们可以在采集数据的时候只简单采集一部分数据（「压缩感 知」），然后把复杂的部分交给数据还原的这一端来做，正好匹配了我们期望的格 局。
被丢弃的信息？
引例—核磁共振（MRI）
1 year old female with liver lesion (8X) 6 year old male with abdomen (8X)
6 year old male with abdomen (8X)
斯坦福大学Emmanuel Candes 患肝病2岁儿童
CS的研究内容—稀疏表示
一般自然信号x本身并不是稀疏的，需要在某种稀疏基上进行稀疏表示x = Ys,
Y为稀疏基矩阵， s为稀疏系数 压缩感知方程为：y = Fx = FYs。
CS的研究内容—稀疏表示
信号的稀疏表示就是将信号投影到正交变换基时, 绝大部分变换系数的绝对值很 小, 所得到的变换向量是稀疏或者近似稀疏的, 可以将其看作原始信号的一种简洁表 达, 这是压缩感知的先验条件。变换基可以根据信号的本身特点灵活选取，常用的有 离散余弦变换（DCT）、傅里叶变换（FFT）、离散小波变换（DWT），Gabor变换等。
数据采集及压缩设备
数据解压缩设备
廉价、
省电、 计算能 力较低 的便携 设备
计算 任务 复杂
矛盾
大型 高效 的计 算机
计算 任务 简单
CS的研究背景—问题提出
传统模型
采集
压缩
传输/存储
解压缩
压缩感知模型
采集压缩后的数据
压缩感知介绍
应用
• 传感器网络：传感节点处理能力低下，电 量有限，压缩感知可以将电力消耗降低， 而相对计算量较大的数据恢复留给接受处 理端。 • 车联网 • 故障诊断等
Traditional way
• 首先，对原始图像做傅里叶或小波变换
x( ) a1 cos(1 1来自) b1 sin() a2000000 cos( 2000000 2000000 ) b2000000 sin()
• 其中只有a1~a100000,b1~b100000有大于 1的值，其余都在系数都在0附近。 • 其次，用一种压缩算法（如jpeg）压缩原始 信号，丢弃掉冗余的信息，压缩时丢失掉 90%的原始信息（假设我们的压缩算法非 常高效）。
问题
• 如果你的照相机收集了如此多的数据只是 为了随后的删除，那么为什么不一开始就 丢弃那90%的数据，直接去除冗余信息不 仅可以节省电池电量，还能节省空间。 • 一个更一般的问题：是否有一种算法，可 以实现通过对信号的高度不完备线性测量 的高精确的重建。 • 这就是压缩感知理论。
• 压缩感知的发现是一次意外，话说一天， 当时是加州理工学院教授（现在去了斯坦 福）的Emmanuel Candès在研究名叫 Shepp-Logan Phantom的图像，这种标准 图像常被计算机科学家和工程师测试图像 算法。Candès检查的图像质量非常差，充 满了噪声，他认为名叫L1-minimization的 数学算法能去除掉噪声条纹，结果算法真 的起作用了，突然就觉得好神奇哦，
启发
• 接上一点，人们据此开发了很多压缩算法 ，如经典的jpeg和MP3，但这些算法都存在 某种共性的问题。第一、它是发生在数据 已经被完整采集到之后；第二、它本身需 要复杂的算法来完成。相较而言，解码过 程反而一般来说在计算上比较简单，以音 频压缩为例，压制一个 mp3 文件的计算量 远大于播放（即解压缩）一个 mp3 文件的 计算量。
压缩感知图像重建ppt课件
15/15
想法： 1、建立基于冗余字典的CS通用框架把压缩感知理论与超 分辨率图像重建很好结合起来。 2、更好更快地实现单幅图像的超分辨率重建。 3、用更少的观测数据，更大概率的精确恢复、重构原信号。 扩展应用到图像修复上。？
计划： 阅读大量国内外文献进一步学习压缩感知理论及其在超分辨中的应 用 对图像实现各种重建方法并对其进行效果比对
2018/10/29
5/15
2、压缩感知理论概述
2.1 压缩感知理论流程
1）稀疏表示是应用压缩感知的先验条件
找到某个正交基Ψ ， 信号在该基上稀疏
找到一个与Ψ不相关， 且满足一定条件的观测基 Φ 以Φ观测真实信号， 得到观测值Y 对Y采用最优化重建， Ψ Φ均是其约束。
2）随机测量是压缩感知的关键过程
采样率为45%
2018/10/29
Pepper 图像经过多尺度小波变换后只要保留 5%的系数，即可较好地重 建图像，证明了压缩感知算法的有效性。
基于小波基的CS图像重建示例图
2018/10/29
13/15
基于冗余字典的CS图像重建方法效果图
2018/10/29
14/15
两类重建算法总结：
2018/10/29
2018/10/29
10/15
如下图：利用小波多尺度变换对 Pepper 图像进行处理，利用标准高斯 随机矩阵作为测量矩阵 Φ，对稀疏化后的数据进行随机测量，使用改 进的 OMP 算法对测量后的数据进行图像重建。
2018/10/29
采样率为1%
采样率为5%
采样率为10%
采样率为15%
11/15 25% 采样率为
稀疏表示的意义： 只有信号是K稀疏的（且K<M<<N)，才有可能在观测M个观测值时，可 以从K个较大的系数重建原始长度为N的信号。 研究现状： 1、多种变换域分析方法为稀疏表示提供了可能。 经典的稀疏化的方法有 1）离散余弦变换（DCT） 2）傅里叶变换（FFT） 3）离散小波变换（DWT）等 2、许多信号，诸如自然图像，本身就存在着变换域稀疏性。 3、信号在冗余字典下的稀疏表示：对稀疏表示研究的另一个热点是信 号在冗余字典下的稀疏分解。 这是一种全新的信号表示理论：用超 完备的冗余函数库取代基函数，称之为冗余字典，字典中的元素被称 为原子。
压缩感知介绍PPT-最终版
3
采样速率需达到信号带宽的两倍以上才能精确重构信号。这样的采样硬件成本昂贵，获取效率低下，对宽带信号处理的困难日益加剧。
1.1 传统采样理论介绍及问题提出
1 背景介绍
而现实生活中，随着信息技术的高速发展，信息量的需求增加，携带信息的信号所占带宽也越来越大
01
01
02
这就大大考验了数字化社会对信息处理的能力，包括：数据存储、传输和处理速度，基于Nyquist采样的理论遭到严峻的考验。
这是压缩感知理论的基础和前提，也是信号精确重构的保证。对稀疏表示研究的热点主要有两个方面： 1、基函数字典下的稀疏表示： 寻找一个正交基使得信号表示的稀疏系数尽可能的少。比较常用的稀疏基有：高斯矩阵、小波基、正（余）弦基、Curvelet基等。Candes和Tao经研究发现光滑信号的Fourier 系数、小波系数、有界变差函数的全变差范数、振荡信号的Gabor 系数及具有不连续边缘的图像信号的Curvelet 系数等都具有足够的稀疏性,可以通过压缩感知理论恢复信号。 2、超完备库下的稀疏表示： 用超完备的冗余函数库来取代基函数，称之为冗余字典，字典中的元素被称之为原子，目的是从冗余字典中找到具有最佳线性组合的K项原子来逼近表示一个信号，称作信号的稀疏逼近或高度非线性逼近。
背景介绍
01
传统采样理论介绍及问题提出
02
压缩感知理论的基本思想
03
传统的基于Nyquist采样定理指导下的信息的处理主要表现在两个方面：
1
2
在实际应用中，为了降低成本，人们常将采样的数据经压缩后以较少的比特数表示信号，而很多非重要的数据被抛弃，这种高速采样再压缩的方式浪费了大量的采样资源，另外一旦压缩数据中的某个或某几个丢失，可能将造成信号恢复的错误。
压缩感知基本理论
（四）压缩感知理论的应用 运用压缩感知理论，莱斯大学一种单像素的相机， 实现用单像素来完成高分辨率的成像，耶鲁大学研制的 超谱成像仪，麻省理工学院研制的MRI RF脉冲设备，伊 利诺伊州立大学研制的DNA微阵列传感器等等。
（四）压缩感知理论的应用 压缩感知的提出给信号采样方法带来了一次新革 命，研究者已将这一理论引入到模拟-信息采样、合成 孔径雷达成像、遥感成像、核磁共振成像、深空探测成 像、无线传感器网络、信源编码、人脸识别、语音识别、 探地雷达成像等诸多领域。
二、几种重要算法的介绍 迭代阀值算法流程
二、几种重要算法的介绍 组合算法 组合算法的基本思想是针对信号进行高度的结构 化采样，由群测试来获得快速信号支撑，要求信号的采 样支持通过分组测试来重建。主要算法包括有：傅立叶 采样算法、链式追踪（CP）算法、 HHS追踪算法等。 统计优化算法 主要分为两类：一类为基于训练集合的学习统计 优化方法，类似于主成分或独立成分分析，利用典型信 号的训练集通过学习的方法，找出最优的线性投影集合； 另一类为基于贝叶斯统计框架下的稀疏重构算法，适用 于含有噪声的观测信号，具有更好的鲁棒性，而且对于 时间相关度高的信号，也能更好的处理欠定问题。
2.传输速度要求太高；
3.信号压缩严重浪费存储资源； 4.信号处理系统设计要求和成本太高。
（一）压缩感知理论的提出 考虑到这些缺点，能否利用其 它变换空间来描述信号，建立新的信 号描述和处理的理论框架，使得在保 证信息不损失的情况下，用远低于传 统采样定理要求的速率采样信号，同 时又可以完全恢复信号？ 事实上与信号带宽相比，信号的稀疏性能够直观 地而且相对本质地表达信号的信息，因此我们可以利 用信号这一特性来重构信号。
（三）压缩感知的核心问题 核心问题之二：测量矩阵的设计 压缩感知的另一个重要前提是正交基Ψ 与测量矩 阵不相关。信号x在某个变换域的投影系数向量s是K稀疏的，不是直接对这 个系数直接采取编码的，而是 将该系数向量投影到另一个与变换基Ψ 不相关的测量矩 阵的 个行向量上，得到观测 y s, ( j 1, 2,...M ) 对任意K稀疏信号x和常数 k (0,1) ，若测量矩阵 值： 。 满足约束等距性 2 2 (1 k ) || x ||2 x 2 (1 k )。 x ||2 || 质： 2
压缩感知介绍PPT
使得信号在该基下的系数呈指数腐败，这样的信号 可以高度压缩。如假设 ，且 若存在常数 ，使得 ，则称其系 数呈指数腐败，q越大，腐败速度越快，信号可压 缩越多。
1.4 Sensing matrices
压缩感知的测量系统可以表示为 其中 是一个 的矩阵，称作感知矩阵，
是测量信号，
恢复出原信号。
是原信号。目的是通过测量信号
1.5 Signal recovery via
minimization
若原信号 是稀疏信号或可压缩信号，则已知观测 信号 ，可以通过求解下列优化问题恢复出 其中 。若观测信号带噪声，则
。
若原信号不是稀疏的，则上面的优化问题可修改为
其中
由于目标函数 是一个非突函数，因此求解上面 的问题为 。为了简化计算，将上面的优化问 题转换成如下的突优化问题。
(3) 组合算法：这类方法要求信号的采样支持通过分 组测试快速重建，如代表性方法Sparse Bayesian。 该类方法位于前两者之间。
1.7 Multiple measurement vectors
原信号 {xi } ， i 1, , l ， X ( x1 , , xl )
规范的向量空间即定义了范数的向量空间，常 见的范数有：
1.2.2 Bases and frames
若集合 则称 为 ，使得 线性无关，且可以涨成空间 ， 的基，则对任意的 ，存在
若基
满足
则称它为标准正交基。
设 为由空间 的矩阵，若对任意的 则称 为框架。 中的向量集 组成
由于框架是一线性相关 的向量组，所以对任意的 ，其用框架线性表示的方法不唯一。为了 表示方法唯一，引进了dual frame ，满足
观测信号
形象易懂讲解算法II——压缩感知课件
形象易懂讲解算法II——压缩感知之前曾经写过一篇关于小波变换的回答，得到很多赞，十分感动。
之后一直说要更新，却不知不觉拖了快一年。
此次更新，思来想去，决定挑战一下压缩感知（compressed sensing, CS）这一题目。
在我看来，压缩感知是信号处理领域进入21世纪以来取得的最耀眼的成果，并在磁共振成像、图像处理等领域取得了有效应用。
压缩感知理论在其复杂的数学表述背后蕴含着非常精妙的思想。
基于一个有想象力的思路，辅以严格的数学证明，压缩感知实现了神奇的效果，突破了信号处理领域的金科玉律——奈奎斯特采样定律。
即，在信号采样的过程中，用很少的采样点，实现了和全采样一样的效果。
正是被它的精妙思想所打动，我选择它作为专栏第二篇的主题。
理解压缩感知的难度可能要比之前讲的小波还要大，但是我们从中依然可以梳理出清晰的脉络。
这篇文章的目标和之前一样，我将抛弃复杂的数学表述，用没有公式的语言讲清楚压缩感知的核心思路，尽量形象易懂。
我还绘制了大量示意图，因为排版问题，我将主要以PPT的形式呈现，并按slice标好了序号。
---------------------------------------------------------------------------------------------------------------------------一、什么是压缩感知（CS）？compressed sensing又称compressed sampling，似乎后者看上去更加直观一些。
没错，CS是一个针对信号采样的技术，它通过一些手段，实现了“压缩的采样”，准确说是在采样过程中完成了数据压缩的过程。
因此我们首先要从信号采样讲起：1. 我们知道，将模拟信号转换为计算机能够处理的数字信号，必然要经过采样的过程。
问题在于，应该用多大的采样频率，即采样点应该多密多疏，才能完整保留原始信号中的信息呢？---------------------------------------2. 奈奎斯特给出了答案——信号最高频率的两倍。
压缩感知简介
6
2.4 观测基的选取
2. 压缩感知的流程
观测基的意义： 保证能够从观测值准确重构信号，其需要满足一定的限制： 1. 观测基矩阵不稀疏基矩阵的乘积满足RIP性质（有限等距性质） 这个性质保证了观测矩阵丌会把两个丌同的K稀疏信号映射到同 一个集合中。 研究现状： 1. 如果稀疏基和观测基丌相关，则很大程度上保证了RIP性。则一 般用随机高斯矩阵作为观测矩阵。 2. Rademacher矩阵等一样可以满足RIP性质。
1.1 信号获取及压缩
传统成像过程： 被拍摄物体 JPEG编码图像
1. 压缩感知概念
被感知对象
未压缩信号
压缩信号
重建信号
RAW图像
通过显示器显示
1
1.2 压缩感知理论框架
1. 压缩感知概念
被感知对象
压缩感知
重建信号
名称解释：压缩感知 —— 直接感知压缩后的信号。
基本方法：信号在某一个正交空间具有稀疏性（即可压缩性），就能以较
3
2.1 基本理论依据
理论依据：
2. 压缩感知的流程
长度为N的信号X在某个正交基Ψ上是稀疏的， 如果能找到一个不Ψ丌相关（丌相干）的观测基 Φ， 用观测基Φ观测原信号得到M个观测值， K<M<<N ，得到观测值Y， 那么可以利用最优化方法从观测值中高概率重构X。
压缩感知方程为y=Φ x=ΦΨs=Θs。 将原来的测量矩阵Φ变换为Θ=ΦΨ（称之为传感矩阵），解 出s的逼近值s’，则重构后原信号为x’=Ψs’。
7
2.4 重构算法的设计
最后，运用重构算法由测量值及投影矩阵重构原始信号。 信号重构过程一般转换为一个最小L0 范数的优化问题， 求解方法主要有最小L1 范数法、匹配追踪系列算法、最小全变分方法、 迭代阈值算法等。 重构是基于如下严格的数学最优化（Optimization）问题：
压缩感知简介
LOGO
压缩感知简介
内容
1
背景介绍
2
压缩感知理论分析
3
压缩感知应用
1.背景介绍
1.1传统压缩、采样理论介绍及问题提出 1.2压缩感知理论的基本思想
1.1传统压缩、采样理论介绍及问题提出
传统的基于Nyquist采样定理指导下的信息处理主要 表现在两个方面： 1.采样速率需达到信号带宽的两倍以上才能精确重构 信号。采样硬件成本昂贵，获取效率低下，对宽带信 号处理困难。 2.在实际应用中，为降低成本，人们常将采样的数据 经压缩后以较少的比特数表示信号，而很多非重要的 数据将被抛弃，这种高速采样在压缩的方式浪费了大 量的采样资源，另外一旦压缩数据的某个或者某几个 丢失，将可能造成信号恢复的错误。
由于观测数量M<<N，不能直接求解，在信号可压缩的 前提下，估算原信号的问题转化为最小0-范数问题：
min || s ||0 s.t.y s
对于0-范数问题问题的求解是个NP-hard问题，在实 际应用中难获得问题的可行性，因此，寻求对以上问 题的松弛以获得理想的逼近，已成为稀疏信号重构的 重要手段，Chen等人之处求解一个优化问题会产生同 等的解，于是问题转化为：
3.压缩感知的应用
3.1信号仿真分析 3.2CS图像融合 3.3在无线传感网中的应用
3.1信号的仿真分析
2 Original 0 -2
50
100
150
200
250
20 Measurements y 0 -20
20
40
60
80
100
120
Reconstruction SNR = -3.1597dB 2 0 -2 Original Recovered
压缩感知简介
内容
1
背景介绍
2
压缩感知理论分析
3
压缩感知应用
1.背景介绍
1.1传统压缩、采样理论介绍及问题提出 1.2压缩感知理论的基本思想
1.1传统压缩、采样理论介绍及问题提出
传统的基于Nyquist采样定理指导下的信息处理主要 表现在两个方面： 1.采样速率需达到信号带宽的两倍以上才能精确重构 信号。采样硬件成本昂贵，获取效率低下，对宽带信 号处理困难。 2.在实际应用中，为降低成本，人们常将采样的数据 经压缩后以较少的比特数表示信号，而很多非重要的 数据将被抛弃，这种高速采样在压缩的方式浪费了大 量的采样资源，另外一旦压缩数据的某个或者某几个 丢失，将可能造成信号恢复的错误。
由于观测数量M<<N，不能直接求解，在信号可压缩的 前提下，估算原信号的问题转化为最小0-范数问题：
min || s ||0 s.t.y s
对于0-范数问题问题的求解是个NP-hard问题，在实 际应用中难获得问题的可行性，因此，寻求对以上问 题的松弛以获得理想的逼近，已成为稀疏信号重构的 重要手段，Chen等人之处求解一个优化问题会产生同 等的解，于是问题转化为：
3.压缩感知的应用
3.1信号仿真分析 3.2CS图像融合 3.3在无线传感网中的应用
3.1信号的仿真分析
2 Original 0 -2
50
100
150
200
250
20 Measurements y 0 -20
20
40
60
80
100
120
Reconstruction SNR = -3.1597dB 2 0 -2 Original Recovered
压缩感知PPT课件
Low-rate
8
Concept
Goal: Identify the bucket with fake coins.
Nyquist:
Weigh a coin from each bucket
Compression numbers
Bucket # 1 number
Compressed Sensing:
1
上次课内容回顾
Lecture 1： 压缩感知概述
• 为什么研究压缩感知 • 压缩感知的涵义 • 压缩感知的过程 • 压缩感知的关键问题
2
From Nyquist to CS
3
Compression
“Can we not just directly measure the part that will not end up being thrown
13
Vector space
Unit spheres in for the norms with quasinorm with
is uniquely determined by
Donoho and Elad, 2003
with high probability
Donoho, 2006 and Candès et. al., 2006
Convex and tractable
Donoho, 2006 and Candès et. al., 2006
10
CS theory
Compressed sensing (2003/4 and on) – Main results
is uniquely determined by
Donoho and Elad, 2003
压缩感知重构算法37页PPT
66、节制使快乐增加并使享受加强。 ——德 谟克利 特 67、今天应做的事没有做，明天再早也 是耽误 了。——裴斯 泰洛齐 68、决定一个人的一生，以及整个命运 的，只 是一瞬 之间。 70、浪费时间是一桩大罪过。——卢梭
压缩感知重构算法
11、获得的成功越大，就越令人高兴 。野心 是使人 勤奋的 原因， 节制使 人枯萎 。 12、不问收获，只问耕耘。如同种树 ，先有 根茎， 再有枝 叶，尔 后花实 ，好好 劳动， 不要想 太多， 那样只 会使人 胆孝懒 惰，因 为不实 践，甚 至不接 触社会 ，难道 你是野 人。(名 言网) 13、不怕，不悔(虽然只有四个字，但 常看常 新。 14、我在心里默默地为每一个人祝福 。我爱 自己， 我用清 洁与节 制来珍 惜我的 身体， 我用智 慧和知 识充实 我的头 脑。 15、这世上的一切都借希望而完成。 农夫不 会播下 一粒玉 米，如 果他不 曾希望 它长成 种籽； 单身汉 不会娶 妻，如 果他不 曾希望 有小孩 ；商人 或手艺 人不会 工作， 如果他 不曾希 望因此 而有收 益。-- 马钉路 德。
压缩感知-TV-ART图像重构课件
ART算法的实现步骤
总结词
ART算法的实现步骤包括初始化、模式匹配、权重调 整和分类决策等步骤。
详细描述
在实现ART算法时，首先需要对神经网络进行初始化， 设置初始的权值和阈值等参数。然后，将输入的模式 与神经网络中的模式进行匹配，如果匹配成功则进行 下一步，否则重新调整神经网络的权值。接着，根据 匹配结果和一定的规则对神经网络的权值进行调整， 以使神经网络更好地适应输入模式。最后，根据调整 后的权值和阈值进行分类决策，输出分类结果。
ART
模拟退火算法，一种全局优化 算法，用于求解组合优化问题。
图像重构的应用领域
医学成像
视频处理
通过压缩感知和图像重构技术，可以 从低质量的医学图像中恢复出高分辨 率的图像，用于疾病诊断和治疗。
在视频处理领域，压缩感知和图像重 构技术可用于视频去噪、去模糊和超 分辨率等应用，提高视频质量和观感。
遥感成像
图像修复等领域。
案例三：ART算法在图像处理中的应用
要点一
总结词
要点二
详细描述
用于图像分割和特征提取，提高图像分析和识别精度。
ART（Adaptive Resonance Theory）算法是一种自适应 神经网络算法，它可以用于图像分割和特征提取。通过学 习和识别图像中的特征，ART算法可以将图像划分为不同 的区域，并提取出相应的特征向量。在图像处理中，ART 算法广泛应用于目标检测、人脸识别、手势识别等领域， 可以提高图像分析和识别的精度。
医学成像
1.B 通过压缩感知技术实现高分辨率、高帧率
的医学成像，如MRI、CT等。
地球物理学
1.C 用于地震勘探、电磁成像等领域，提高数据 处理速度和探测精度。
遥感
压缩感知介绍课件
图像重建
通过压缩感知技术，可以从部分 观测数据中重建出原始图像，这 在医学成像、遥感等领域具有广 泛的应用。
无线通信中的信号处理
信号编码
利用压缩感知对信号进行编码，可以在有限带宽下传输更多的数据，提高通信效率。
信号恢复
在接收端，通过压缩感知技术，可以从接收到的信号中恢复出原始信号，降低噪声和干扰的影响。
发展初期
2006年以后，众多学者开始关 注并研究压缩感知理论及其应用。
应用拓展期
近年来，压缩感知在各个领域 得到了广泛的应用和发展。
未来展望
随着技术的不断进步和应用需 求的增加，压缩ቤተ መጻሕፍቲ ባይዱ知有望在未
来发挥更加重要的作用。
02
压缩感知的基本原 理
稀疏表示
稀疏表示
在压缩感知中，信号被表示为稀 疏的形式，即大部分系数为零或 接近零。这使得信号在变换域中
具有高度的可压缩性。
稀疏基
使用稀疏基（如离散余弦变换、离 散小波变换等）对信号进行变换， 使其在变换域内具有稀疏性。
压缩感知应用
稀疏表示使得压缩感知在图像处理、 信号处理、雷达成像等领域具有广 泛的应用前景。
测量矩阵
测量矩阵
在压缩感知中，测量矩阵用于将稀疏 信号从高维空间投影到低维空间，同 时保留足够的信息以恢复原始信号。
优化算法
优化算法（如L1最小化算法、梯度下降算法等）可以求解更为复杂的压 缩感知问题，但计算复杂度较高。
03
压缩感知算法比较
不同压缩感知算法具有各自的优缺点，适用于不同类型和规模的信号处
理问题。在实际应用中，需要根据具体需求选择合适的算法。
03
压缩感知的算法 实 现
匹配追踪算法
总结词
通过压缩感知技术，可以从部分 观测数据中重建出原始图像，这 在医学成像、遥感等领域具有广 泛的应用。
无线通信中的信号处理
信号编码
利用压缩感知对信号进行编码，可以在有限带宽下传输更多的数据，提高通信效率。
信号恢复
在接收端，通过压缩感知技术，可以从接收到的信号中恢复出原始信号，降低噪声和干扰的影响。
发展初期
2006年以后，众多学者开始关 注并研究压缩感知理论及其应用。
应用拓展期
近年来，压缩感知在各个领域 得到了广泛的应用和发展。
未来展望
随着技术的不断进步和应用需 求的增加，压缩ቤተ መጻሕፍቲ ባይዱ知有望在未
来发挥更加重要的作用。
02
压缩感知的基本原 理
稀疏表示
稀疏表示
在压缩感知中，信号被表示为稀 疏的形式，即大部分系数为零或 接近零。这使得信号在变换域中
具有高度的可压缩性。
稀疏基
使用稀疏基（如离散余弦变换、离 散小波变换等）对信号进行变换， 使其在变换域内具有稀疏性。
压缩感知应用
稀疏表示使得压缩感知在图像处理、 信号处理、雷达成像等领域具有广 泛的应用前景。
测量矩阵
测量矩阵
在压缩感知中，测量矩阵用于将稀疏 信号从高维空间投影到低维空间，同 时保留足够的信息以恢复原始信号。
优化算法
优化算法（如L1最小化算法、梯度下降算法等）可以求解更为复杂的压 缩感知问题，但计算复杂度较高。
03
压缩感知算法比较
不同压缩感知算法具有各自的优缺点，适用于不同类型和规模的信号处
理问题。在实际应用中，需要根据具体需求选择合适的算法。
03
压缩感知的算法 实 现
匹配追踪算法
总结词
压缩感知理论介绍共29页文档
谢谢！
36、自己的鞋子，自己知道紧在哪里。——西班牙
37、我们唯一不会改正的缺点是软弱。——拉罗什福科
xiexie! 38、我这个人走得很慢，但是我从不功的秘诀为何，且尽全力做你应该做的事吧。——美华纳
40、学而不思则罔，思而不学则殆。——孔子
压缩感知理论介绍
6、纪律是自由的第一条件。——黑格 尔 7、纪律是集体的面貌，集体的声音， 集体的 动作， 集体的 表情， 集体的 信念。 ——马 卡连柯
8、我们现在必须完全保持党的纪律， 否则一 切都会 陷入污 泥中。 ——马 克思 9、学校没有纪律便如磨坊没有水。— —夸美 纽斯
10、一个人应该：活泼而守纪律，天 真而不 幼稚， 勇敢而 鲁莽， 倔强而 有原则 ，热情 而不冲 动，乐 观而不 盲目。 ——马 克思
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
YTxx
2 压缩感知理论分析
YTxx
2 压缩感知理论分析
压缩感知介绍最终版 ❖ 从上式中求出 是一个线性规划问题，但由于方程的个
数少于未知数的个数 MN，这是一个病态问题
❖ 但如果x 具有稀疏性，则有可能求出确定解。Candes、
Tao等人提出必须保证观测矩阵不会把两个不同的K 项稀
疏信号映射到同一个采样几何中，这就要求从观测矩阵 中抽取的每个列向量构成的矩阵是非奇异的，
法来稀疏地表示某一个信号。
❖ 右图为一些不 同的字典
2 压缩感知理论分析
压缩感知介绍最终版
观测器的目的是采样得到 M 个观测值，并保证从
中能够重构出原来长度为 N 的信号 x 或者稀疏基
下的系数向量 。
观测过程就是利用 M N观测矩阵的 M 个行向量 对稀疏系数向量进行投影，得到 M 个观测值，即
❖ 这就大大考验了数字化社会对信息处理的能力， 包括：数据存储、传输和处理速度，基于 Nyquist采样的理论遭到严峻的考验。
1 背景介绍
一个亟待解决的问题：
❖ 能否以远低于Nyquist采样定理要求的采样速率获取 信号，而保证信息不损失，并且可以完全恢复信号？
❖ 即能否将对信号的采样转化为对信息的采样？
❖ 用一个与基 不相关的观测基
对系数向量进 行线性变换，并得:到M 观测N向(M 量N)
Y : M1 ❖ 利用优化求解的方法从观测集合中精确或高概率地
重构原始信号 。
x
2 压缩感知理论分析
❖ 如同信号带宽对于Nyquist，信号的稀疏性是 CS的必备条件；
❖ 如同Nyquist采样规则对于Nyquist-Shannon 采样定理，CS的关键是非相关测量（该测量 称为测量矩阵），他们都是信号得以精确恢 复的条件；
❖ 2、在实际应用中，为了降低成本，人们常将采样 的数据经压缩后以较少的比特数表示信号，而很 多非重要的数据被抛弃，这种高速采样再压缩的 方式浪费了大量的采样资源，另外一旦压缩数据 中的某个或某几个丢失，可能将造成信号恢复的 错误。
1 背景介绍
❖ 而现实生活中，随着信息技术的高速发展，信 息量的需求增加，携带信息的信号所占带宽也 越来越大
3 压缩感知应用
3.1 波形信号仿真分析 3.2 CS图像融合 3.3 单像素CS相机 3.4 CS雷达
1 背景介绍
1.1 传统采样理论介绍及问题提出 1.2 压缩感知理论的基本思想
1 背景介绍
压缩感知介绍最终版
❖ 传统的基于Nyquist采样定理指导下的信息的处理 主要表现在两个方面：
❖ 1、采样速率需达到信号带宽的两倍以上才能精确 重构信号。这样的采样硬件成本昂贵，获取效率 低下，对宽带信号处理的困难日益加剧。
得高维信号投影到一个低维空间上; ❖ 3、然后通过求解一个优化问题就可以从这些少量的投
影中以高概率重构出原信号。
2 压缩感知理论分析
2.1 压缩感知的前提 2.2 压缩感知流程介绍 2.3 第一步：信号的稀疏表示 2.4 第二步：观测矩阵的设计 2.5 第三步：信号重构
2 压缩感知理论分析
压缩感知介绍最终版
❖ 如同Fourier变换对于Nyquist，非线性优化是 CS重建信号的手段。
2 压缩感知理论分析
压缩感知介绍最终版
❖ 如图是一个稀疏度为3的稀疏变换，x,在时域x
基本都是非零值，
❖ 但将其变换到 域
时，非零值就只有3 个了，数目远小于 原来的非零数目，实 现了信号的稀疏表 示。
2 压缩感知理论分析
压缩感知介绍最终版
❖ 这是压缩感知理论的基础和前提，也是信号精确重构的保证。 对稀疏表示研究的热点主要有两个方面：
❖ 1、基函数字典下的稀疏表示： ❖ 寻找一个正交基使得信号表示的稀疏系数尽可能的少。比较
常用的稀疏基有：高斯矩阵、小波基、正（余）弦基、 Curvelet基等。Candes和Tao经研究发现光滑信号的Fourier 系数、小波系数、有界变差函数的全变差范数、振荡信号的 Gabor 系数及具有不连续边缘的图像信号的Curvelet 系数等 都具有足够的稀疏性,可以通过压缩感知理论恢复信号。
压缩感知介绍最终版
Compressed Sensing (CS)：Theory and Applications
1 背景介绍
1.1 传统采样理论介绍及问题提出
1.2 压缩感知理论的基本思想
2 压缩感知理论分析
2.1 压缩感知的前提 2.2 压缩感知流程介绍
第一步：信号的稀疏表示 第二步：观测矩阵的设计 第三步：信号重构
1 背景介绍
压缩感知介绍最终版
❖ 一种新的理论—Compressed Sensing(CS,压缩感知， 亦称压缩传感)。
❖ 由Candes、Romberg、Tao和Donoho等人在2004年提 出，2006年才发表文献
❖ 基本思想： ❖ 1、信号是可压缩的或在某个变换域是稀疏的; ❖ 2、就可以用一个与变换基不相关的观测矩阵将变换所
疏(K-Sparsity)的。
2 压缩感知理论分析
❖ E.Candes等人证明了：信号的稀疏性是CS 的必备条件。
❖ 信号是可压缩的或在某个变换域是稀疏的， 这个条件的限制等同于信号带宽对于Nyquist 采样定理的约束。
2 压缩感知理论分析
压缩感知介绍最终版
❖ 长度为N的信号x 在正交基 上的变换系数是稀疏的；
❖ 2、超完备库下的稀疏表示： ❖ 用超完备的冗余函数库来取代基函数，称之为冗余字典，字
典中的元素被称之为原子，目的是从冗余字典中找到具有最 佳线性组合的K项原子来逼近表示一个信号，称作信号的稀 疏逼近或高度非线性逼近。
2 压缩感知理论分析 ❖ 超完备库下的稀疏表示涉及到两个问题： ❖ 一是如何构造这样一个适合某一类信号的冗余字典； ❖ 二是在已知冗余字典的前提下如何设计快速有效的分解方
❖ 稀疏性的定义：
❖ 一个实值有限长的N维离散信号xRN1，由信号理 论可知，它可以用一个标准正交基
T 1 , 2 , k, K
的线性组合来表示，假定这些基是规范正交的，
其中 T表示矩阵 的转置，那么有
N
x kk k1
其中 k x,k ，若 x 在基 上仅有K K N个非
零系数 k 时，称 为信号 x 的稀疏基，x 是 K 稀
2 压缩感知理论分析
YTxx
2 压缩感知理论分析
压缩感知介绍最终版 ❖ 从上式中求出 是一个线性规划问题，但由于方程的个
数少于未知数的个数 MN，这是一个病态问题
❖ 但如果x 具有稀疏性，则有可能求出确定解。Candes、
Tao等人提出必须保证观测矩阵不会把两个不同的K 项稀
疏信号映射到同一个采样几何中，这就要求从观测矩阵 中抽取的每个列向量构成的矩阵是非奇异的，
法来稀疏地表示某一个信号。
❖ 右图为一些不 同的字典
2 压缩感知理论分析
压缩感知介绍最终版
观测器的目的是采样得到 M 个观测值，并保证从
中能够重构出原来长度为 N 的信号 x 或者稀疏基
下的系数向量 。
观测过程就是利用 M N观测矩阵的 M 个行向量 对稀疏系数向量进行投影，得到 M 个观测值，即
❖ 这就大大考验了数字化社会对信息处理的能力， 包括：数据存储、传输和处理速度，基于 Nyquist采样的理论遭到严峻的考验。
1 背景介绍
一个亟待解决的问题：
❖ 能否以远低于Nyquist采样定理要求的采样速率获取 信号，而保证信息不损失，并且可以完全恢复信号？
❖ 即能否将对信号的采样转化为对信息的采样？
❖ 用一个与基 不相关的观测基
对系数向量进 行线性变换，并得:到M 观测N向(M 量N)
Y : M1 ❖ 利用优化求解的方法从观测集合中精确或高概率地
重构原始信号 。
x
2 压缩感知理论分析
❖ 如同信号带宽对于Nyquist，信号的稀疏性是 CS的必备条件；
❖ 如同Nyquist采样规则对于Nyquist-Shannon 采样定理，CS的关键是非相关测量（该测量 称为测量矩阵），他们都是信号得以精确恢 复的条件；
❖ 2、在实际应用中，为了降低成本，人们常将采样 的数据经压缩后以较少的比特数表示信号，而很 多非重要的数据被抛弃，这种高速采样再压缩的 方式浪费了大量的采样资源，另外一旦压缩数据 中的某个或某几个丢失，可能将造成信号恢复的 错误。
1 背景介绍
❖ 而现实生活中，随着信息技术的高速发展，信 息量的需求增加，携带信息的信号所占带宽也 越来越大
3 压缩感知应用
3.1 波形信号仿真分析 3.2 CS图像融合 3.3 单像素CS相机 3.4 CS雷达
1 背景介绍
1.1 传统采样理论介绍及问题提出 1.2 压缩感知理论的基本思想
1 背景介绍
压缩感知介绍最终版
❖ 传统的基于Nyquist采样定理指导下的信息的处理 主要表现在两个方面：
❖ 1、采样速率需达到信号带宽的两倍以上才能精确 重构信号。这样的采样硬件成本昂贵，获取效率 低下，对宽带信号处理的困难日益加剧。
得高维信号投影到一个低维空间上; ❖ 3、然后通过求解一个优化问题就可以从这些少量的投
影中以高概率重构出原信号。
2 压缩感知理论分析
2.1 压缩感知的前提 2.2 压缩感知流程介绍 2.3 第一步：信号的稀疏表示 2.4 第二步：观测矩阵的设计 2.5 第三步：信号重构
2 压缩感知理论分析
压缩感知介绍最终版
❖ 如同Fourier变换对于Nyquist，非线性优化是 CS重建信号的手段。
2 压缩感知理论分析
压缩感知介绍最终版
❖ 如图是一个稀疏度为3的稀疏变换，x,在时域x
基本都是非零值，
❖ 但将其变换到 域
时，非零值就只有3 个了，数目远小于 原来的非零数目，实 现了信号的稀疏表 示。
2 压缩感知理论分析
压缩感知介绍最终版
❖ 这是压缩感知理论的基础和前提，也是信号精确重构的保证。 对稀疏表示研究的热点主要有两个方面：
❖ 1、基函数字典下的稀疏表示： ❖ 寻找一个正交基使得信号表示的稀疏系数尽可能的少。比较
常用的稀疏基有：高斯矩阵、小波基、正（余）弦基、 Curvelet基等。Candes和Tao经研究发现光滑信号的Fourier 系数、小波系数、有界变差函数的全变差范数、振荡信号的 Gabor 系数及具有不连续边缘的图像信号的Curvelet 系数等 都具有足够的稀疏性,可以通过压缩感知理论恢复信号。
压缩感知介绍最终版
Compressed Sensing (CS)：Theory and Applications
1 背景介绍
1.1 传统采样理论介绍及问题提出
1.2 压缩感知理论的基本思想
2 压缩感知理论分析
2.1 压缩感知的前提 2.2 压缩感知流程介绍
第一步：信号的稀疏表示 第二步：观测矩阵的设计 第三步：信号重构
1 背景介绍
压缩感知介绍最终版
❖ 一种新的理论—Compressed Sensing(CS,压缩感知， 亦称压缩传感)。
❖ 由Candes、Romberg、Tao和Donoho等人在2004年提 出，2006年才发表文献
❖ 基本思想： ❖ 1、信号是可压缩的或在某个变换域是稀疏的; ❖ 2、就可以用一个与变换基不相关的观测矩阵将变换所
疏(K-Sparsity)的。
2 压缩感知理论分析
❖ E.Candes等人证明了：信号的稀疏性是CS 的必备条件。
❖ 信号是可压缩的或在某个变换域是稀疏的， 这个条件的限制等同于信号带宽对于Nyquist 采样定理的约束。
2 压缩感知理论分析
压缩感知介绍最终版
❖ 长度为N的信号x 在正交基 上的变换系数是稀疏的；
❖ 2、超完备库下的稀疏表示： ❖ 用超完备的冗余函数库来取代基函数，称之为冗余字典，字
典中的元素被称之为原子，目的是从冗余字典中找到具有最 佳线性组合的K项原子来逼近表示一个信号，称作信号的稀 疏逼近或高度非线性逼近。
2 压缩感知理论分析 ❖ 超完备库下的稀疏表示涉及到两个问题： ❖ 一是如何构造这样一个适合某一类信号的冗余字典； ❖ 二是在已知冗余字典的前提下如何设计快速有效的分解方
❖ 稀疏性的定义：
❖ 一个实值有限长的N维离散信号xRN1，由信号理 论可知，它可以用一个标准正交基
T 1 , 2 , k, K
的线性组合来表示，假定这些基是规范正交的，
其中 T表示矩阵 的转置，那么有
N
x kk k1
其中 k x,k ，若 x 在基 上仅有K K N个非
零系数 k 时，称 为信号 x 的稀疏基，x 是 K 稀