压缩感知理论与应用(附重建算法详述)资料
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基本思想是利用关于解的先验知识，构造附加约束或改 变求解策略，使得逆问题的解变得确定且稳定。即对解 进行约束J(x)
约束信号x为平滑的
应用Lagrange乘子，将P2问题约束转换为无约束问题
CS关注的问题
1. 信号应满足什么要求，方可重建？
（对应香农采样定理中对信号的带宽要求）
2. 如何设计测量矩阵，让其作用于信号后 能保持信号的所有信息不丢失？
信号的稀疏（Sparsity）与可压缩性(Compressibility)
设 i ,i 1 N 为一组标准正交基，由这组基张成的空间为 RN ，
N
设信号 x RN ， x i i ，或用矩阵表示 x ，（ 的列为 i ， i 1
是元素为i 的列向量）。
x ， 其中i x, i
如果矢量 的大多数元素都为 0，称 x 为 －域稀疏的。将其不为 零的个数记为 S， S ，称 x 为 S-稀疏。如果矢量 的元素按幅值
问题1:真实信号没有真正带限的； 问题2:理想的低通滤波器不存在；
香农采样定理后采样理论的发展
问题3: 当信号的带宽过宽时，采样率过高难于实现
限制了超宽带通信和超宽带雷达的发展；限制医学图 像成像的发展，比如MRI；等等。
获取的大量数字信号为处理、存储、传输的软硬件增加了很 多负担
高分辨率
大量的传感器
（对应于香农采样定理中对采样率的要求）
3. 如何从测量中重建原信号？
（对应依据香农采样定理采样后内插实现重建）
二. 压缩采样理论
2.2 信号的稀疏与可压缩性
信号表示 将信号表示为一组正交基的线性组合
如果合理选择基底，处理系数序列比直接处理信号简单； 如果系数序列 具有稀疏结构，可以从实质上降低信号 处理的成本，提高压缩效率。
图像数据库，照相阵列，分布式无线传感网
越来越多的成像形式
X-Ray，Gamma Ray, PET，MRI, 红外，超声波，毫米波 SAR 成像
海量的数据
多种成像形式
大量采样数据有无必要性？
x
N
K
采样
压缩
传输/存储
小波系数
局部放大
1M
原始图像
源自文库
25K 项系数近似
近似后的图像
CS提出者 2004~2006， E Candes（加州理工大学） D.Donoho (斯坦福大学) （ Ridgelet和Curvelet的创始人）
对于图像x而言，其TV范数为
Cameraman 原图
4层小波分解
傅里叶幅频
MRI图像
4层小波分解
傅里叶幅频
原图
垂直
水平
全变差
根据信号 x 的先验知识，可以设计规整 化项为
R2空间，一维子空间用lp范数进行约束的解
2.3 测量
2.3.1不确定原理（测不准原理 Uncertainty Principle, UP）
（1）方程的解是存在的；
（2）解是唯一的；
（3）解连续地依赖于数据（观测矩阵或数据微小变化导致解很大 变动）
病态问题
如果良态问题的三个条件任意一个不能满足， 就称问题是病态的（ill-posed problem）
病态问题举例
480000xx11
201x2 401x2
200 200
480010xx11
Romberg (佐治亚理工大学)
Tao （加州大学洛杉矶分校） • 一种新的采样方法 • 以不确定准则为基础
压缩感知或压缩采样
直接获取压缩后的信号； 用更一般的测量值代替信号样本值
x
y
N
压缩 采样
M
传输/存储
y
接收
重建
二. 压缩感知理论
2.1 压缩感知问题描述
假设 x 是一离散时间信号：x RN ，这样压缩感知问题简化为是否存 在一组测量信号 y RM 能完全恢复出 x ，其中 M = N 。设 y 的每个分量
yk 是 x 与一组测量矢量 k RN , k 1L M 的内积，即： yk k , x ，
k 1L M ，测量矩阵 的行向量为k ， 的大小为 M N ，则测量信号
y 可以写为
y x
（2.1.1）
问题为：是否存在一种测量，能使原始信号 x RN 由测量信号 y RM 恢复，这里 M = N 。可以看出，式（2.1.1）是一个欠定方程，存在无 穷多组解。要想唯一恢复 x ，信号 x 和矩阵 还需要满足什么条件。
201x2 401x2
200 200
x1 x2
100 200
x1 x2
40000 79800
系数矩阵A或者观测项(常数项)y的微小变化引起解的 巨大变化,该问题为病态问题
病态问题求解：用规整化（Regularization）理论 处理病态问题 目的是修改一个病态问题为一个良态问题，使得问 题的解在物理上合理，并且解连续依赖于数据。
0
大小排列，其幅度衰减很快，具有幂次速度（Power law）衰减趋势。 则称信号 x 为 域可压缩的(Compressible)。
光滑信号 其Fourier变换,Wavelet变换系数呈现幂次衰减 趋势 有界变差函数 其全变差（Total Variation）呈现幂次衰减趋势
给定一个定义于有界开集Ω上的可微函数 f，其全变 差（the total variation） 为
格地表述这一定理 1949 年信息论的创始人香农对该定理加以明确
地说明并正式作为定理引用，因此在许多文 献中又称为香农采样定理
数字信号的获取----Nyquist-Shannon采样定理
信号采样
插值重建
Claude Shannon
Harry Nyquist
香农定理的数学表示 非带限信号
Nyquist-Shannon采样定理局限性
压缩感知理论与应用
Compressed sensing: theorem and Applications
内容概览 一.压缩感知背景知识 二.压缩感知理论 三.压缩感知重建方法 四.压缩感知应用
一. 压缩感知背景知识
Nyquist-Shannon采样定理
1928年由美国电信工程师H.奈奎斯特首先提出 1933年由苏联工程师科捷利尼科夫首次用公式严
三种线性方程组
根据变量个数和方程个数来确定是欠定、适定还是超定 方程组
M N 欠定方程组，无穷多解 M N 适定方程组，有唯一解 M N 超定方程组，无解
良态与病态问题：
良态问题 1923年Hadamard提出了良态问题（Well-posed problem）的 概念，根据其定义，如果下述条件满足，称为良态问题
约束信号x为平滑的
应用Lagrange乘子，将P2问题约束转换为无约束问题
CS关注的问题
1. 信号应满足什么要求，方可重建？
（对应香农采样定理中对信号的带宽要求）
2. 如何设计测量矩阵，让其作用于信号后 能保持信号的所有信息不丢失？
信号的稀疏（Sparsity）与可压缩性(Compressibility)
设 i ,i 1 N 为一组标准正交基，由这组基张成的空间为 RN ，
N
设信号 x RN ， x i i ，或用矩阵表示 x ，（ 的列为 i ， i 1
是元素为i 的列向量）。
x ， 其中i x, i
如果矢量 的大多数元素都为 0，称 x 为 －域稀疏的。将其不为 零的个数记为 S， S ，称 x 为 S-稀疏。如果矢量 的元素按幅值
问题1:真实信号没有真正带限的； 问题2:理想的低通滤波器不存在；
香农采样定理后采样理论的发展
问题3: 当信号的带宽过宽时，采样率过高难于实现
限制了超宽带通信和超宽带雷达的发展；限制医学图 像成像的发展，比如MRI；等等。
获取的大量数字信号为处理、存储、传输的软硬件增加了很 多负担
高分辨率
大量的传感器
（对应于香农采样定理中对采样率的要求）
3. 如何从测量中重建原信号？
（对应依据香农采样定理采样后内插实现重建）
二. 压缩采样理论
2.2 信号的稀疏与可压缩性
信号表示 将信号表示为一组正交基的线性组合
如果合理选择基底，处理系数序列比直接处理信号简单； 如果系数序列 具有稀疏结构，可以从实质上降低信号 处理的成本，提高压缩效率。
图像数据库，照相阵列，分布式无线传感网
越来越多的成像形式
X-Ray，Gamma Ray, PET，MRI, 红外，超声波，毫米波 SAR 成像
海量的数据
多种成像形式
大量采样数据有无必要性？
x
N
K
采样
压缩
传输/存储
小波系数
局部放大
1M
原始图像
源自文库
25K 项系数近似
近似后的图像
CS提出者 2004~2006， E Candes（加州理工大学） D.Donoho (斯坦福大学) （ Ridgelet和Curvelet的创始人）
对于图像x而言，其TV范数为
Cameraman 原图
4层小波分解
傅里叶幅频
MRI图像
4层小波分解
傅里叶幅频
原图
垂直
水平
全变差
根据信号 x 的先验知识，可以设计规整 化项为
R2空间，一维子空间用lp范数进行约束的解
2.3 测量
2.3.1不确定原理（测不准原理 Uncertainty Principle, UP）
（1）方程的解是存在的；
（2）解是唯一的；
（3）解连续地依赖于数据（观测矩阵或数据微小变化导致解很大 变动）
病态问题
如果良态问题的三个条件任意一个不能满足， 就称问题是病态的（ill-posed problem）
病态问题举例
480000xx11
201x2 401x2
200 200
480010xx11
Romberg (佐治亚理工大学)
Tao （加州大学洛杉矶分校） • 一种新的采样方法 • 以不确定准则为基础
压缩感知或压缩采样
直接获取压缩后的信号； 用更一般的测量值代替信号样本值
x
y
N
压缩 采样
M
传输/存储
y
接收
重建
二. 压缩感知理论
2.1 压缩感知问题描述
假设 x 是一离散时间信号：x RN ，这样压缩感知问题简化为是否存 在一组测量信号 y RM 能完全恢复出 x ，其中 M = N 。设 y 的每个分量
yk 是 x 与一组测量矢量 k RN , k 1L M 的内积，即： yk k , x ，
k 1L M ，测量矩阵 的行向量为k ， 的大小为 M N ，则测量信号
y 可以写为
y x
（2.1.1）
问题为：是否存在一种测量，能使原始信号 x RN 由测量信号 y RM 恢复，这里 M = N 。可以看出，式（2.1.1）是一个欠定方程，存在无 穷多组解。要想唯一恢复 x ，信号 x 和矩阵 还需要满足什么条件。
201x2 401x2
200 200
x1 x2
100 200
x1 x2
40000 79800
系数矩阵A或者观测项(常数项)y的微小变化引起解的 巨大变化,该问题为病态问题
病态问题求解：用规整化（Regularization）理论 处理病态问题 目的是修改一个病态问题为一个良态问题，使得问 题的解在物理上合理，并且解连续依赖于数据。
0
大小排列，其幅度衰减很快，具有幂次速度（Power law）衰减趋势。 则称信号 x 为 域可压缩的(Compressible)。
光滑信号 其Fourier变换,Wavelet变换系数呈现幂次衰减 趋势 有界变差函数 其全变差（Total Variation）呈现幂次衰减趋势
给定一个定义于有界开集Ω上的可微函数 f，其全变 差（the total variation） 为
格地表述这一定理 1949 年信息论的创始人香农对该定理加以明确
地说明并正式作为定理引用，因此在许多文 献中又称为香农采样定理
数字信号的获取----Nyquist-Shannon采样定理
信号采样
插值重建
Claude Shannon
Harry Nyquist
香农定理的数学表示 非带限信号
Nyquist-Shannon采样定理局限性
压缩感知理论与应用
Compressed sensing: theorem and Applications
内容概览 一.压缩感知背景知识 二.压缩感知理论 三.压缩感知重建方法 四.压缩感知应用
一. 压缩感知背景知识
Nyquist-Shannon采样定理
1928年由美国电信工程师H.奈奎斯特首先提出 1933年由苏联工程师科捷利尼科夫首次用公式严
三种线性方程组
根据变量个数和方程个数来确定是欠定、适定还是超定 方程组
M N 欠定方程组，无穷多解 M N 适定方程组，有唯一解 M N 超定方程组，无解
良态与病态问题：
良态问题 1923年Hadamard提出了良态问题（Well-posed problem）的 概念，根据其定义，如果下述条件满足，称为良态问题