压缩感知及其应用_从稀疏约束到低秩约束优化
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第 28 卷 第 5 期 2012 年 5 月
信 号 处 理 SIGNAL PROCESSING
Vol． 28
No． 5
May 2012
压缩感知及其应用 ： 从稀疏约束到低秩约束优化
马坚伟
1徐Leabharlann 杰2鲍跃全
3
于四伟
4
（ 1． 哈尔滨工业大学应用数学研究所，哈尔滨 150001 ； 2． 中国科学院计算技术研究所，北京 100190 ； 3． 哈尔滨工业大学土木工程学院，哈尔滨 150001 ； 4． 清华大学航天航空学院，北京 100084 ） 摘 要： 压缩感知（ 或称压缩采样） 是国际上近期出现的一种信息理论 。其核心思想是只要某高维信号是可压缩的
图2 Fig． 2
压缩感知信号采集恢复框架 on compressive sensing
The sampling and recovery framework based
根据压缩感知理论， 如果信号中的个别元素缺失 或受到噪声干扰， 只要该信号在某个域中是稀疏的（ 例 我们仍然能够以较高概率将该信号恢复 如傅立叶域） ， 出来
［5 ］
。这个问题的一个自然延伸是， 如果一个矩阵
中的个别元素缺失， 我们能否将缺失的部分填充？ 例
图1 Fig． 1 传统信号采集编码框架
我们把问卷发放给很多人， 此时 如在进行问卷调查时， 我们可以得到一个矩阵， 这个矩阵的行表示每个人， 列 表示每个问题 。 但是很多时候有些问题会没有答案， 此时我们就得到了一个部分元素缺失的矩阵 。 那么我 们能够猜想出缺失的元素是什么吗？ 这个问题被称之 为矩阵恢复（ Matrix Recovery） 或矩阵完备（ Matrix Completion） 。 Candes 等［11，12］ 指 出 只 要 原 始 矩 阵 是 低 秩 （ lowrank） 的， 就可以通过求解矩阵核范数（ 矩阵奇异 值的和） 最小化问题恢复出原始矩阵 。 图 3 从信号类 型， 信号的稀疏模型和恢复算法中的稀疏约束类型这 三个方面对比了压缩感知和矩阵完备 。 我们可以看出 压缩感知理论和矩阵完备问题是一脉相承的 。 如何将 二者放在一个统一的理论框架中研究也是压缩感知未
第5 期 来发展方向。
马坚伟 等： 压缩感知及其应用： 从稀疏约束到低秩约束优化
611
的稀疏性是一个最基本的前提， 决定了压缩感知非自
压缩感知 矩阵完备 矩阵 秩 核范数
稀疏信号的 适应采样过程的有效性 。定义 1 给出了 k数学模型：
n 定义 1 ： 如果 N 维信号 f ∈ R 最多只有 k 个分量
Compressive Sensing and its Application： from Sparse to Lowrank Regularized Optimization
MA Jianwei1 XU Jie2 BAO Yuequan3 YU Siwei4
（ 1． Institute of Applied Mathematics，Harbin Institute of Technology，Harbin 150001 ，China； 2． Institute of Computing Technology，Chinese Academy of Sciences，Beijing 100190 ，China； 3． School of Civil Engineering，Harbin Institute of Technology，Harbin 150001 ，China； 4． School of Aerospace，Tsinghua University，Beijing 100084 ， China） Abstract： Compressive sensing / compressive sampling （ CS） is a novel information theory proposed recently． CS provides
或在某个变换域上具有稀疏性，就可以用一个与变换基不相关的测量矩阵将该信号投影到一个低维空间上，然 后通过求解一个最优化问题以较高的概率从这些少量的投影中重构出原始信号 。 压缩感知理论突破了香农定理 对信号采样频率的限制，能够以较少的采样资源，较高的采样速度和较低的软硬件复杂度获得原始信号的测量 值。该理论已经被广泛应用于数字相机 、医学成像、遥感成像、地震勘探、多媒体混合编码、通讯、结构健康监 测等领域。本文归纳了压缩感知研究中的关键问题，探讨压缩感知从稀疏约束到低秩约束优化的发展历程，对压 缩感知在遥感、地震勘探等几个相关领域的应用研究进行了综述 。 关键词： 压缩感知； 稀疏约束； 低秩约束； 遥感； 地球物理勘探； 视频编码 中图分类号： TN911． 7 文献标识码： A 文章编号： 1003 － 0530 （ 2012 ） 05 － 0609 － 15
信号类型 稀疏模型 稀疏约束 图3 Fig． 3
向量 范数 l1 范数 压缩感知和矩阵完备对比 and matrix completion
f ‖0 ≤ k ， 既： ‖ 我们就说该信号是 k稀疏的； 或 不为零， 者虽然信号 f 不稀疏的， 但是存在一个稀疏域 y，f 可 x ‖0 ≤ k ， 以表示为： f = Yx， 并且 ‖ 我们仍然说该信号是 k稀疏的 。在本文中， 我们用 ∑ k 表示 n 维的 k稀疏信 大多数信号往往不是严格意义上 号集合 。在实际中， 稀疏信号 。但是如果信号 f 在 y 域的变换系数呈 的 k幂式衰减， 既将 x i 从大到小排序后： xn ， q ＞ 0， x i 满足： 存在 C ， x i ≤ Ci － q （ 1） 我们同样认为该信号是稀疏的或是可压缩的， 并且 q 越大， 变 换 系 数 衰 减 的 越 快， 信号具有更强的可压 缩性。 2． 2 低秩矩阵模型 另一个跟稀疏性密切相关的模型是低秩矩阵 。 矩
信号， 采样频率应该不小 于 原 始 信 号 频 谱 中 最 高 频 率的 2 倍 。 在这种 采 样 方 式 下， 传感器等采集设备 然后通过数据压缩技 需要预 先 收 集 大 量 的 数 据， 术， 丢弃大部 分 冗 余 信 息， 只传输或存储有用的信 息。图 1 给 出 了 基 于 香 农 采 样 定 理 的 信 号 编 解 码 框架图 。 遵 循 该 框 架 的 视 频 图 像 编 码 技 术 以 像 素 或像素块作为编码实体， 用统计概率模型来描述信 源 。 在压缩过程中， 先对图像进行离散余弦变换或 然后对少数绝对值较大的系数进行编 小波变 换， 码， 舍弃零系数或接 近 零 的 系 数 。 这 种 先 采 样 后 丢 弃冗余数据 的 采 样 方 法， 浪 费 了 大 量 的 采 样 数 据， 而且在数据压缩过程中， 还需要占用额外码率对重 要系数的 位 置 信 息 进 行 编 码 。 如 果 传 输 或 存 储 过 程中丢失部 分 压 缩 数 据， 经 过 反 量 化、 反变换后的 重建信号 会 存 在 较 大 的 失 真 。 因 此 传 统 编 码 技 术 需要做大量的差错控制 来 提 高 数 据 传 输 的 准 确 性 ， 同时也降低了信号的编 码 效 率， 这是传统的视频图 像编码技 术 普 遍 存 在 的 问 题 。 基 于 该 技 术 框 架 的 这些编码技术， 往往是以 计 算 复 杂 度 不 断 提 高 的 代 价来换取 编 码 效 率 的 提 高 。 由 于 软 硬 件 资 源 的 限 沿着这一思路的编码效率提升空间非常有限 。 制，
a new sampling theory to reduce data acquisition，which says that sparse or compressible signals can be exactly reconstructed from highly incomplete random sets of measurements． CS broke through the restrictions of the Shannon theorem on the sampling frequency，which can use fewer sampling resources，higher sampling rate and lower hardware and software complexity to obtain the required measurements． CS has been used widely in many fields including digital cameras，medical imaging，remote sensing，seismic exploration，multimedia hybrid coding，communications and structural health monitoring． This article firstly summarizes some key issues in CS，and then discusses the development process of the optimization algorithms in CS from the sparsity constraints to lowrank constraints． Lastly，several related applications of CS in remote sensing，seismic exploration are reviewed． Key words： video coding Compressive sensing； sparsity constraints； lowrank constraints； remote sensing； geophysical exploration；
The conventional information sampling framework
n 如果信号 f ∈ R 本 身 是 稀 疏 的 或 可 压 缩 的， 能
否直接获取其压缩表示， 从而略去对大量无用信息 的采样呢？ Donoho 与 Candes 等 人 提 出 的 压 缩 感 知 （ Compressive Sensing ，CS ） 理 论［3 -9］ 回 答 了 这 个 问 题 。 压缩感 知 不 再 受 限 于 香 农 定 理 对 于 信 号 采 样 带宽的要求， 而 是 基 于 信 号 的 稀 疏 性， 直接从信号 中获取有意义的信 息， 不去采集无用的信号。该理 论的出现为数据采集技 术 带 来 了 革 命 性 突 破 ， 也为 数据压缩打开了新的研 究 思 路， 引起了研究人员的 广泛关注 。 压 缩 感 知 的 核 心 思 想 是 只 要 信 号 是 稀 疏的（ 即信号的 l 0 范数非常小） ， 就可以用一个与变
收稿日期： 2012 － 04 － 30 11-0804 ） ； 国家自然科学基金（ 编号： 51008095 ） ； 国家科技支撑计划（ 编号： 基金项目： 教育部新世纪优秀人才支持计划（ 编号： NCET2011BAK02B02 ） 等资助
610
信
号
处
理
第 28 卷
1
引言
根据香农采样定 理， 为了不失真的恢复出原始
换基不相关 的 测 量 矩 阵 将 高 维 信 号 投 影 到 一 个 低 维空间上， 然后通过求解 一 个 最 优 化 问 题 以 较 高 概 率从这些 少 量 的 投 影 中 重 构 出 原 信 号 。 由 于 信 号 的投影数据 量 远 远 小 于 传 统 采 样 方 法 所 获 的 数 据 在信号采集的 同 时 实 现 了 信 号 压 缩 。 图 2 给 出 量， 了压缩感 知 理 论 中 信 号 采 样 和 恢 复 的 框 架 图 。 在 压缩感知对信号的采样过程是非自适应 采样端， 的、 线性的 、 计 算 复 杂 度 低。经 压 缩 感 知 得 到 的 信 号的每个测量值其重要 性 是 相 同 的， 在存储和传输 丢失个别测量值 不 会 对 信 号 恢 复 产 生 大 的 过程中， 影响， 非常 有 利 于 信 道 传 输 。 在 恢 复 端， 由 于 l0 范 数 最 小 化 是 NP 难 问 题， 压 缩 感 知 理 论 用 l1 范 数 替 通过最优化算法恢复出原始信号 。 代 l 0 范数，
信 号 处 理 SIGNAL PROCESSING
Vol． 28
No． 5
May 2012
压缩感知及其应用 ： 从稀疏约束到低秩约束优化
马坚伟
1徐Leabharlann 杰2鲍跃全
3
于四伟
4
（ 1． 哈尔滨工业大学应用数学研究所，哈尔滨 150001 ； 2． 中国科学院计算技术研究所，北京 100190 ； 3． 哈尔滨工业大学土木工程学院，哈尔滨 150001 ； 4． 清华大学航天航空学院，北京 100084 ） 摘 要： 压缩感知（ 或称压缩采样） 是国际上近期出现的一种信息理论 。其核心思想是只要某高维信号是可压缩的
图2 Fig． 2
压缩感知信号采集恢复框架 on compressive sensing
The sampling and recovery framework based
根据压缩感知理论， 如果信号中的个别元素缺失 或受到噪声干扰， 只要该信号在某个域中是稀疏的（ 例 我们仍然能够以较高概率将该信号恢复 如傅立叶域） ， 出来
［5 ］
。这个问题的一个自然延伸是， 如果一个矩阵
中的个别元素缺失， 我们能否将缺失的部分填充？ 例
图1 Fig． 1 传统信号采集编码框架
我们把问卷发放给很多人， 此时 如在进行问卷调查时， 我们可以得到一个矩阵， 这个矩阵的行表示每个人， 列 表示每个问题 。 但是很多时候有些问题会没有答案， 此时我们就得到了一个部分元素缺失的矩阵 。 那么我 们能够猜想出缺失的元素是什么吗？ 这个问题被称之 为矩阵恢复（ Matrix Recovery） 或矩阵完备（ Matrix Completion） 。 Candes 等［11，12］ 指 出 只 要 原 始 矩 阵 是 低 秩 （ lowrank） 的， 就可以通过求解矩阵核范数（ 矩阵奇异 值的和） 最小化问题恢复出原始矩阵 。 图 3 从信号类 型， 信号的稀疏模型和恢复算法中的稀疏约束类型这 三个方面对比了压缩感知和矩阵完备 。 我们可以看出 压缩感知理论和矩阵完备问题是一脉相承的 。 如何将 二者放在一个统一的理论框架中研究也是压缩感知未
第5 期 来发展方向。
马坚伟 等： 压缩感知及其应用： 从稀疏约束到低秩约束优化
611
的稀疏性是一个最基本的前提， 决定了压缩感知非自
压缩感知 矩阵完备 矩阵 秩 核范数
稀疏信号的 适应采样过程的有效性 。定义 1 给出了 k数学模型：
n 定义 1 ： 如果 N 维信号 f ∈ R 最多只有 k 个分量
Compressive Sensing and its Application： from Sparse to Lowrank Regularized Optimization
MA Jianwei1 XU Jie2 BAO Yuequan3 YU Siwei4
（ 1． Institute of Applied Mathematics，Harbin Institute of Technology，Harbin 150001 ，China； 2． Institute of Computing Technology，Chinese Academy of Sciences，Beijing 100190 ，China； 3． School of Civil Engineering，Harbin Institute of Technology，Harbin 150001 ，China； 4． School of Aerospace，Tsinghua University，Beijing 100084 ， China） Abstract： Compressive sensing / compressive sampling （ CS） is a novel information theory proposed recently． CS provides
或在某个变换域上具有稀疏性，就可以用一个与变换基不相关的测量矩阵将该信号投影到一个低维空间上，然 后通过求解一个最优化问题以较高的概率从这些少量的投影中重构出原始信号 。 压缩感知理论突破了香农定理 对信号采样频率的限制，能够以较少的采样资源，较高的采样速度和较低的软硬件复杂度获得原始信号的测量 值。该理论已经被广泛应用于数字相机 、医学成像、遥感成像、地震勘探、多媒体混合编码、通讯、结构健康监 测等领域。本文归纳了压缩感知研究中的关键问题，探讨压缩感知从稀疏约束到低秩约束优化的发展历程，对压 缩感知在遥感、地震勘探等几个相关领域的应用研究进行了综述 。 关键词： 压缩感知； 稀疏约束； 低秩约束； 遥感； 地球物理勘探； 视频编码 中图分类号： TN911． 7 文献标识码： A 文章编号： 1003 － 0530 （ 2012 ） 05 － 0609 － 15
信号类型 稀疏模型 稀疏约束 图3 Fig． 3
向量 范数 l1 范数 压缩感知和矩阵完备对比 and matrix completion
f ‖0 ≤ k ， 既： ‖ 我们就说该信号是 k稀疏的； 或 不为零， 者虽然信号 f 不稀疏的， 但是存在一个稀疏域 y，f 可 x ‖0 ≤ k ， 以表示为： f = Yx， 并且 ‖ 我们仍然说该信号是 k稀疏的 。在本文中， 我们用 ∑ k 表示 n 维的 k稀疏信 大多数信号往往不是严格意义上 号集合 。在实际中， 稀疏信号 。但是如果信号 f 在 y 域的变换系数呈 的 k幂式衰减， 既将 x i 从大到小排序后： xn ， q ＞ 0， x i 满足： 存在 C ， x i ≤ Ci － q （ 1） 我们同样认为该信号是稀疏的或是可压缩的， 并且 q 越大， 变 换 系 数 衰 减 的 越 快， 信号具有更强的可压 缩性。 2． 2 低秩矩阵模型 另一个跟稀疏性密切相关的模型是低秩矩阵 。 矩
信号， 采样频率应该不小 于 原 始 信 号 频 谱 中 最 高 频 率的 2 倍 。 在这种 采 样 方 式 下， 传感器等采集设备 然后通过数据压缩技 需要预 先 收 集 大 量 的 数 据， 术， 丢弃大部 分 冗 余 信 息， 只传输或存储有用的信 息。图 1 给 出 了 基 于 香 农 采 样 定 理 的 信 号 编 解 码 框架图 。 遵 循 该 框 架 的 视 频 图 像 编 码 技 术 以 像 素 或像素块作为编码实体， 用统计概率模型来描述信 源 。 在压缩过程中， 先对图像进行离散余弦变换或 然后对少数绝对值较大的系数进行编 小波变 换， 码， 舍弃零系数或接 近 零 的 系 数 。 这 种 先 采 样 后 丢 弃冗余数据 的 采 样 方 法， 浪 费 了 大 量 的 采 样 数 据， 而且在数据压缩过程中， 还需要占用额外码率对重 要系数的 位 置 信 息 进 行 编 码 。 如 果 传 输 或 存 储 过 程中丢失部 分 压 缩 数 据， 经 过 反 量 化、 反变换后的 重建信号 会 存 在 较 大 的 失 真 。 因 此 传 统 编 码 技 术 需要做大量的差错控制 来 提 高 数 据 传 输 的 准 确 性 ， 同时也降低了信号的编 码 效 率， 这是传统的视频图 像编码技 术 普 遍 存 在 的 问 题 。 基 于 该 技 术 框 架 的 这些编码技术， 往往是以 计 算 复 杂 度 不 断 提 高 的 代 价来换取 编 码 效 率 的 提 高 。 由 于 软 硬 件 资 源 的 限 沿着这一思路的编码效率提升空间非常有限 。 制，
a new sampling theory to reduce data acquisition，which says that sparse or compressible signals can be exactly reconstructed from highly incomplete random sets of measurements． CS broke through the restrictions of the Shannon theorem on the sampling frequency，which can use fewer sampling resources，higher sampling rate and lower hardware and software complexity to obtain the required measurements． CS has been used widely in many fields including digital cameras，medical imaging，remote sensing，seismic exploration，multimedia hybrid coding，communications and structural health monitoring． This article firstly summarizes some key issues in CS，and then discusses the development process of the optimization algorithms in CS from the sparsity constraints to lowrank constraints． Lastly，several related applications of CS in remote sensing，seismic exploration are reviewed． Key words： video coding Compressive sensing； sparsity constraints； lowrank constraints； remote sensing； geophysical exploration；
The conventional information sampling framework
n 如果信号 f ∈ R 本 身 是 稀 疏 的 或 可 压 缩 的， 能
否直接获取其压缩表示， 从而略去对大量无用信息 的采样呢？ Donoho 与 Candes 等 人 提 出 的 压 缩 感 知 （ Compressive Sensing ，CS ） 理 论［3 -9］ 回 答 了 这 个 问 题 。 压缩感 知 不 再 受 限 于 香 农 定 理 对 于 信 号 采 样 带宽的要求， 而 是 基 于 信 号 的 稀 疏 性， 直接从信号 中获取有意义的信 息， 不去采集无用的信号。该理 论的出现为数据采集技 术 带 来 了 革 命 性 突 破 ， 也为 数据压缩打开了新的研 究 思 路， 引起了研究人员的 广泛关注 。 压 缩 感 知 的 核 心 思 想 是 只 要 信 号 是 稀 疏的（ 即信号的 l 0 范数非常小） ， 就可以用一个与变
收稿日期： 2012 － 04 － 30 11-0804 ） ； 国家自然科学基金（ 编号： 51008095 ） ； 国家科技支撑计划（ 编号： 基金项目： 教育部新世纪优秀人才支持计划（ 编号： NCET2011BAK02B02 ） 等资助
610
信
号
处
理
第 28 卷
1
引言
根据香农采样定 理， 为了不失真的恢复出原始
换基不相关 的 测 量 矩 阵 将 高 维 信 号 投 影 到 一 个 低 维空间上， 然后通过求解 一 个 最 优 化 问 题 以 较 高 概 率从这些 少 量 的 投 影 中 重 构 出 原 信 号 。 由 于 信 号 的投影数据 量 远 远 小 于 传 统 采 样 方 法 所 获 的 数 据 在信号采集的 同 时 实 现 了 信 号 压 缩 。 图 2 给 出 量， 了压缩感 知 理 论 中 信 号 采 样 和 恢 复 的 框 架 图 。 在 压缩感知对信号的采样过程是非自适应 采样端， 的、 线性的 、 计 算 复 杂 度 低。经 压 缩 感 知 得 到 的 信 号的每个测量值其重要 性 是 相 同 的， 在存储和传输 丢失个别测量值 不 会 对 信 号 恢 复 产 生 大 的 过程中， 影响， 非常 有 利 于 信 道 传 输 。 在 恢 复 端， 由 于 l0 范 数 最 小 化 是 NP 难 问 题， 压 缩 感 知 理 论 用 l1 范 数 替 通过最优化算法恢复出原始信号 。 代 l 0 范数，