压缩感知理论及两种贪婪算法详解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
测量 ， 巧计算 ” 的 目的 。
１ 压 缩感 知 理 论
阵其作用是将待建原始信号从Ⅳ维降为 维 ， 而且为保证尽 量精 确地重建 出原始信息， 要求其Ｋ 个信号测量值 （ 信号投
１ ． ３信号的重构算法
压缩感 知理论 的核心之一 便是其重 构算法 ， 重 构算法 是指 由 维 的测 量值ｙ 重构 出长度 为Ｎ（ Ｍ・ Ⅳ） 的信号 的过 感知压缩即采 集较少 的数据并从这些数据 中解压缩 出 程， 如果原始信号刖蔫足两个条件 ： 黾 可Ｋ稀疏并且 的感 大量原始信息， 其先提 条件： 由于恢复原信号需要足够 多的 Ｐ 准 则时， 对 （ ２ ） 使 的逆 向求解 Ｓ ’ ＝ ＠ Ｊ ， 便 对原信号 的概要信息， 因此采集 到的少量数据 中必须包含所 知矩 阵Ｏ满足ＲＩ 是待估稀疏 系数， 然 后 从 测 量 向量 中将 信 号 精 确 无 误 地 需的全局信息， 而且必须 具有一种算法可以根据这些数据所 恢复 出来， 一 般通 过， 范数 求解最优化 问题是解 码最 直接 包含 的信息精确重建 出原始信息。 的方 法 ： １ ． １信号的稀疏表示 ｍｉ ｎＦ Ｉ Ｉ ＾ ． ｔ Ｙ ＝ ｏ （ ３ ） 时域 内的自然 信号一般 都不是稀 疏 的， 因而直 接对其
其 中 Ｏ是 感 知 矩 阵 ， Ｙ 是 匡 的 测 量 向量 ， 是 测 量 矩
论 （ Ｃ ｏ ｍｐ ｒ ｅ ｓ ｓ ｅ ｄ Ｓ ｅ ｎ ｓ ｉ ｎ ｇ ， ＣＳ ） ， 其核心思想就是把 采样 与 影得到的） 不会丢失或破坏原始信号的信息。 由上述可得 ： 压缩 合并起 来 ， 对可稀疏表 示的信号以较低的采样率进行 测量矩阵与稀疏 基矩 阵的乘积 （ 即感知矩阵Ｏ） 满足有限等 压缩采样 ， 并用与稀疏基 不相 干的测量 矩阵将 高维信号投 距性质 （ Ｒ ｅ ｓ ｔ ｒ ｉ ｃ ｔ ｅ ｄ Ｉ ｓ ｏ ｍｅ ｔ ｒ ｙ Ｐ ｒ ｏ ｐ ｅ ｒ ｔ ｙ ， Ｒ Ｉ Ｐ ） 是 保 证 从 少 量 影到 一个 低维 空问上 以获得 测量 向量 （ 即投影 值 ） ， 使 用 测量向量中精确重建 出原始信号 的一个重要条件。 了较 少 的 测 量 数 据 但 实 现 了信 号 的 精 确 重 构 ， 达到了“ 少
进行压缩采 样势必会 造成硬件功率 的浪费， 但 由于在 某 些
变换 域 中可以将 自然信号变为可 稀疏 的， 因此压缩 感知一
由（ ４ ） 可得 到 稀 疏 系数 Ｓ 的估 计 ’ ， 进 而 可得 到 原 始 信
号的近似估计Ｘ’ ： ’ ， 但 由于求解ｆ ｎ 范数在多项式时间内难 般 先通 过 某种 变 换域 得到 原始 信号 的稀疏 表 示 ， 重 构时 以求 解 ， 是 一个ＮＰ 难 问题 ， 而且 甚至 无 法 验 证 解 的可 靠性 ， 先 重 构 出原 始 信 号 的稀 疏 表 示 逼 近 值 ， 再 进 一 步 变 换 可 得 所 以用， 范数替换求解， 因为， 最小范数和『 ｎ 范数在一定条件 到 原始信 号的逼 近值 。 设长度 为Ｎ的信 号ｘ并用一 组稀疏 下具有等价性， 可得到相同的解。
矩 阵的设计３ 个方面详 细介绍。 贪婪算法是 重构算法中效率最高的算法， 文章介绍其最开始提 出的比较 经典的两种算法 ： 匹 配ຫໍສະໝຸດ Baidu踪和正交匹配追踪 ， 并详 细给 出了两个算法的本质思想、 数学框 架以及推导过程 ， 也分析并证 明了 其收敛性。
关键 词 ： 压 缩 感知 ； 匹配 追 踪 ； 测量矩 阵 ； 正 交 匹配 追踪
，
是稀疏矩 阵， 是一个Ｊ Ｖ 维的向量 ， 称为稀疏 系数， 当 信号 在稀疏矩 阵 上有且仅有Ｋ （ Ｊ Ｖ ） 个非零元素时， 称 向 量 为信号 的 唏疏表示， 、 壬 ， 是信号ｘ 的稀疏基川 。 由 Ⅳ ） 可得 出ＣＳ 理论其实是一个病态求逆 的过程 ， 即恢复原始信
…
存 在 大 量 的信息冗 余 ， 便 会 使 硬 件 系 统 所 需 的 采 样 速 率
大大增加 ， 而 且也 造 成 了信号 带 宽 的浪 费 。 ２ ０ ０ ６ 年 ，由 Ｃ ａ ｎ ｄ ｅ ｓ ， Ｒ ｏ ｍｂ ｅ ｒ ｇ ， Ｔ ａ ｏ Ｓ Ｈ Ｄｏ ｎ ｏ ｈ ｏ 等人提 出了压缩感 知理
第８ 期 ２ ０ １ ７ 年４ 月
无线 互联 科技
Ｎ Ｏ ． ８
压缩感知理论及两种贪婪算法详解
李盈 婷
（ 西南大学计算机与信息科 学学院 软件 学院， 重庆 ４ ０ ０ ７ １ ５ ）
摘 要： 压缩感知理论使得采样频率与信号的内容和结构相关， 在远低于Ｎ ｙ ｑ ｕ ｉ ｓ ｔ 采样定理的采样频率下对数据直接进行压 缩采样， 为处理 冗余数据做 出了巨大贡献 。 关于压缩感知 的基本 理论 ， 文章从信号的重构算法、 信号的稀疏基 以及信号测量
基 ＝ ｛ 、 ｛ ， ， ． ． ， ｝ （ 『 为列向量） 的线性组合来表示 ：
ＸＮ ｌ ＝、 王 ， Ⅳ Ⅳ Ｓ Ⅳ １
２ 贪婪算法之Ｍ Ｐ 、 ＯＭＰ 详解
（ １ ）
２ ． １ Ｍ Ｐ 算法 用Ｈ表示Ｈｉ ｌ ｂ ｅ ｒ ｔ 空问， 把被表 示的信号设为ｙ ， 其长度为
Ｎｙ ｑ ｕ ｉ ｓ ｔ 采样定 理是初 始时信号处理 的基本原 理—— １ ． ２信 号 的测 量 矩 阵 它 指 出在 采样 过 程 中只有用大 于信号 最高 频率 两倍 的频 为得 到线 性测量 向量 ｙ Ｍ １ ， 构造 一个可以对信号 挂 率进 行 采样 ， 才 能 由采 样所 获 得 的信号 精确 重 建 出原信 行线性投影测量矩阵 （ Ｉ ） Ｍ ， 其公式如下： 号。 但 是 由于 自然 界 的数 据 都 存在 局 部低 维结 构 、 周 期 Ｙ １＝ Ⅳ ×Ｘ Ｎ × １ Ｍ× Ⅳ× 性、 对 称 性 等 特点 ， 传统 的 固定 采样 率 的采 样 方法 必 然 Ⅳ Ⅳ×Ｓ Ⅳ × 】 ＝ Ｏ Ⅳ×Ｓ Ⅳ ｌ …
１ 压 缩感 知 理 论
阵其作用是将待建原始信号从Ⅳ维降为 维 ， 而且为保证尽 量精 确地重建 出原始信息， 要求其Ｋ 个信号测量值 （ 信号投
１ ． ３信号的重构算法
压缩感 知理论 的核心之一 便是其重 构算法 ， 重 构算法 是指 由 维 的测 量值ｙ 重构 出长度 为Ｎ（ Ｍ・ Ⅳ） 的信号 的过 感知压缩即采 集较少 的数据并从这些数据 中解压缩 出 程， 如果原始信号刖蔫足两个条件 ： 黾 可Ｋ稀疏并且 的感 大量原始信息， 其先提 条件： 由于恢复原信号需要足够 多的 Ｐ 准 则时， 对 （ ２ ） 使 的逆 向求解 Ｓ ’ ＝ ＠ Ｊ ， 便 对原信号 的概要信息， 因此采集 到的少量数据 中必须包含所 知矩 阵Ｏ满足ＲＩ 是待估稀疏 系数， 然 后 从 测 量 向量 中将 信 号 精 确 无 误 地 需的全局信息， 而且必须 具有一种算法可以根据这些数据所 恢复 出来， 一 般通 过， 范数 求解最优化 问题是解 码最 直接 包含 的信息精确重建 出原始信息。 的方 法 ： １ ． １信号的稀疏表示 ｍｉ ｎＦ Ｉ Ｉ ＾ ． ｔ Ｙ ＝ ｏ （ ３ ） 时域 内的自然 信号一般 都不是稀 疏 的， 因而直 接对其
其 中 Ｏ是 感 知 矩 阵 ， Ｙ 是 匡 的 测 量 向量 ， 是 测 量 矩
论 （ Ｃ ｏ ｍｐ ｒ ｅ ｓ ｓ ｅ ｄ Ｓ ｅ ｎ ｓ ｉ ｎ ｇ ， ＣＳ ） ， 其核心思想就是把 采样 与 影得到的） 不会丢失或破坏原始信号的信息。 由上述可得 ： 压缩 合并起 来 ， 对可稀疏表 示的信号以较低的采样率进行 测量矩阵与稀疏 基矩 阵的乘积 （ 即感知矩阵Ｏ） 满足有限等 压缩采样 ， 并用与稀疏基 不相 干的测量 矩阵将 高维信号投 距性质 （ Ｒ ｅ ｓ ｔ ｒ ｉ ｃ ｔ ｅ ｄ Ｉ ｓ ｏ ｍｅ ｔ ｒ ｙ Ｐ ｒ ｏ ｐ ｅ ｒ ｔ ｙ ， Ｒ Ｉ Ｐ ） 是 保 证 从 少 量 影到 一个 低维 空问上 以获得 测量 向量 （ 即投影 值 ） ， 使 用 测量向量中精确重建 出原始信号 的一个重要条件。 了较 少 的 测 量 数 据 但 实 现 了信 号 的 精 确 重 构 ， 达到了“ 少
进行压缩采 样势必会 造成硬件功率 的浪费， 但 由于在 某 些
变换 域 中可以将 自然信号变为可 稀疏 的， 因此压缩 感知一
由（ ４ ） 可得 到 稀 疏 系数 Ｓ 的估 计 ’ ， 进 而 可得 到 原 始 信
号的近似估计Ｘ’ ： ’ ， 但 由于求解ｆ ｎ 范数在多项式时间内难 般 先通 过 某种 变 换域 得到 原始 信号 的稀疏 表 示 ， 重 构时 以求 解 ， 是 一个ＮＰ 难 问题 ， 而且 甚至 无 法 验 证 解 的可 靠性 ， 先 重 构 出原 始 信 号 的稀 疏 表 示 逼 近 值 ， 再 进 一 步 变 换 可 得 所 以用， 范数替换求解， 因为， 最小范数和『 ｎ 范数在一定条件 到 原始信 号的逼 近值 。 设长度 为Ｎ的信 号ｘ并用一 组稀疏 下具有等价性， 可得到相同的解。
矩 阵的设计３ 个方面详 细介绍。 贪婪算法是 重构算法中效率最高的算法， 文章介绍其最开始提 出的比较 经典的两种算法 ： 匹 配ຫໍສະໝຸດ Baidu踪和正交匹配追踪 ， 并详 细给 出了两个算法的本质思想、 数学框 架以及推导过程 ， 也分析并证 明了 其收敛性。
关键 词 ： 压 缩 感知 ； 匹配 追 踪 ； 测量矩 阵 ； 正 交 匹配 追踪
，
是稀疏矩 阵， 是一个Ｊ Ｖ 维的向量 ， 称为稀疏 系数， 当 信号 在稀疏矩 阵 上有且仅有Ｋ （ Ｊ Ｖ ） 个非零元素时， 称 向 量 为信号 的 唏疏表示， 、 壬 ， 是信号ｘ 的稀疏基川 。 由 Ⅳ ） 可得 出ＣＳ 理论其实是一个病态求逆 的过程 ， 即恢复原始信
…
存 在 大 量 的信息冗 余 ， 便 会 使 硬 件 系 统 所 需 的 采 样 速 率
大大增加 ， 而 且也 造 成 了信号 带 宽 的浪 费 。 ２ ０ ０ ６ 年 ，由 Ｃ ａ ｎ ｄ ｅ ｓ ， Ｒ ｏ ｍｂ ｅ ｒ ｇ ， Ｔ ａ ｏ Ｓ Ｈ Ｄｏ ｎ ｏ ｈ ｏ 等人提 出了压缩感 知理
第８ 期 ２ ０ １ ７ 年４ 月
无线 互联 科技
Ｎ Ｏ ． ８
压缩感知理论及两种贪婪算法详解
李盈 婷
（ 西南大学计算机与信息科 学学院 软件 学院， 重庆 ４ ０ ０ ７ １ ５ ）
摘 要： 压缩感知理论使得采样频率与信号的内容和结构相关， 在远低于Ｎ ｙ ｑ ｕ ｉ ｓ ｔ 采样定理的采样频率下对数据直接进行压 缩采样， 为处理 冗余数据做 出了巨大贡献 。 关于压缩感知 的基本 理论 ， 文章从信号的重构算法、 信号的稀疏基 以及信号测量
基 ＝ ｛ 、 ｛ ， ， ． ． ， ｝ （ 『 为列向量） 的线性组合来表示 ：
ＸＮ ｌ ＝、 王 ， Ⅳ Ⅳ Ｓ Ⅳ １
２ 贪婪算法之Ｍ Ｐ 、 ＯＭＰ 详解
（ １ ）
２ ． １ Ｍ Ｐ 算法 用Ｈ表示Ｈｉ ｌ ｂ ｅ ｒ ｔ 空问， 把被表 示的信号设为ｙ ， 其长度为
Ｎｙ ｑ ｕ ｉ ｓ ｔ 采样定 理是初 始时信号处理 的基本原 理—— １ ． ２信 号 的测 量 矩 阵 它 指 出在 采样 过 程 中只有用大 于信号 最高 频率 两倍 的频 为得 到线 性测量 向量 ｙ Ｍ １ ， 构造 一个可以对信号 挂 率进 行 采样 ， 才 能 由采 样所 获 得 的信号 精确 重 建 出原信 行线性投影测量矩阵 （ Ｉ ） Ｍ ， 其公式如下： 号。 但 是 由于 自然 界 的数 据 都 存在 局 部低 维结 构 、 周 期 Ｙ １＝ Ⅳ ×Ｘ Ｎ × １ Ｍ× Ⅳ× 性、 对 称 性 等 特点 ， 传统 的 固定 采样 率 的采 样 方法 必 然 Ⅳ Ⅳ×Ｓ Ⅳ × 】 ＝ Ｏ Ⅳ×Ｓ Ⅳ ｌ …