压缩感知理论测量矩阵研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 0， Φ i， j ～N M 槡
T
（ 2）
x 为 N × 1 矩阵； φ 为 M × N 的测量矩阵； y 为 式中， M × 1 矩阵。结合式（ 1 ） 和式（ 2 ） 有
y = φx = φψα = Θα
（ 3）
式中， Θ = φφ 为 M × N 的感知矩阵。 当 α 稀疏时， 从 M = O （ K log （ N ） ） 次测量中能 以很高的概率精确重构出原始信号， 通过最小化 l1 范数求解以下的凸优化问题
（ 1 － δ K ） ‖ν‖2 2 ≤‖Φν‖2 2 ≤（ 1 + δ K ） ‖ν‖2 2
x = ∑ ψk α k = ψα
k =1
（ 1）
式中， Ψ 为 N × N 维标准正交基； α 为 N × 1 矩阵， 是 x ， = 〈 x ， 信号 在该正交基上展开的系数向量 α k ψk 〉 = ψ k T x； x 为 N × 1 矩阵。 当 x 在某个矩阵 ψ 上有且仅有 K 个非零系数 α k 时， 则称 Ψ 为信号 X 的稀疏基， 其中 K 是一个远 称 x 是 K 阶系数信号或可压缩信号。 小于 N 的量， curvelet 基 常用的稀疏基有： 正 （ 余 ） 弦基、 小波基、 等。 压缩感知随机线性投影得到长度为 M （ M ＜ N ） 的信号 y， 可表示为
N
由于测量值维数 M 远小于信号维数 N， 因此式 （ 2 ） 的求解是 NP － hard 问题， 即一个非多项式难度 所以无法直接从 y 的 M 个测量值中解出信号 问题， x。而 α 是 K 稀疏的量， 即仅有 K 个非零系数， 并且 K ＜ M N， 可以通过相应的稀疏分解算法， 通过求 解式（ 3 ） 得出稀疏系数 α， 进而通过式 （ 1 ） 恢复重构 信号 X 。这就要求随机测量矩阵不仅要满足不相干 性， 还 要 满 足 受 限 等 距 特 性 （ Restricted Isometry Property， RIP） ， 具体表述为
1
引言
CS） 理论框架。 该理论的突出优点是在信 Sensing， 号获取的同时， 就对数据进行适当的压缩， 其采样频 率用比传统方法更少的采样数目去精确恢复特定的 信号或图像， 避免了大量的数据集合， 而且在获取信 息的同时直接建立数据压缩， 节省存储空间， 同时又 包含有足够的信息量。压缩感知与信号的稀疏重建 已成为应用数学和信号处理领域中一个新的研究 方向。 测量矩阵的设计是压缩感知研究的核心问题之 一， 构造合理有效的测量矩阵对于测量值的获取和 原始数据的恢复重构都起到了关键作用 。随机测量 矩阵将原始数据均匀分布在随机向量上 ， 从少量随 机测量值中高概率地恢复重构出原始数据 。该文首 先对压缩感知理论做了简单介绍， 然后分析了测量 矩阵的设计过程和随机高斯测量矩阵的构造 ， 最后 从稀疏基和随机测量矩阵间的相关性出发来对测量 矩阵进行优化改进， 进而提高压缩感知的恢复重构 效果。
min‖α‖1
α
(
)
（ 7）
s． t．
Y = φψα
（ 4）
高斯随机测量矩阵的优点在于它几乎和任意稀 4］ 疏矩阵不相关， 文献［ 验证了其满足受限等距性， 同时它需要的测量值数目比较少， 对于长度为 N， 稀 疏度为 K 的原始数据， 仅需要 M ≥ cK log （ N / K ） 个测 量值就可以高概率地恢复重构出原始数据， 其中 c 。 是一个非常小的常量 选 Lena256 × 256 图像作实验对象进行恢复重 ［5］ ［6］ 构， 分 别 采 用 正 交 匹 配 追 踪 （ OMP ） 、 基追踪y = φxFra bibliotek（ 6）
v 表示任意一个具有严格 K 稀疏的矢量； δ K 表 式中， 1） 。 示等容常数， 取值范围 δ K ∈（ 0 ， 受限等距特性给出了被测信号 x 和测量信号 y 的能量约束条件， 保证了信号收敛不发散， 只要压缩 感知的随机测量矩阵满足受限等距性， 就可以从测 量值中得到恢复重构原始信号所需的必要信息 。受 限等距性的等价描述为： 随机测量矩阵和稀疏矩阵 T 间不相干， 即要求 Φ 的行 Φ j 不能由 Ψ 的列 Ψ K 稀 疏表示， 且 Ψ 的 列 ΨK 不 能 由 Φ 的 行 Φj 稀 疏 表示。 3. 1 随机高斯测量矩阵介绍 随机高斯测量矩阵是压缩感知研究中最常用的 测量矩阵， 该矩阵中的元素服从均值为零， 方差为 1/槡 M 的正态分布， 并且元素间相互独立， 即
收稿日期： 2011 年 11 月
2012 年第 46 卷 No． 3
71 相干性用来衡量随机测量矩阵和稀疏矩阵间任 何两元素间的最大相关性。如果随机测量矩阵和稀 疏矩阵间包含了相关元素， 相干性就大， 反之就小， 则 μ 的取值范围为
1， n］ μ （ Φ， ψ） ∈［ 槡
2
压缩感知理论
压缩感知理论采用非自适应线性投影来保持信 号的原始结构， 通过求解稀疏最优化问题能够从低 维观测向量精确地重建原始高维信号 。 信号的稀疏表示是压缩感知研究的前提条件 ， 大多数信号通过不同的基函数都可以有效地稀疏表 通过信号的稀疏性研究数据的稀疏程度和分解 示， 系数的能量集中程度。 假设 一 长 度 为 N 的 离 散 实 值 信 号 x， 记为 x （ n） ， n = 1， 2， … N， x 能用 根据调和分析理论可知， ．．．， ．．．， 一组标准正交基 ψ = ［ ψ1 ， ψ2 ， ψm ， ψ N］ 的线 性组合可表示为
信号采样是模拟物理世界通向数字信息世界之 必备过程。传统的奈奎斯特采样定理指出： 当采样 频率是信号频谱中最高频率的两倍以上时 ， 才能由 采样信号精确重建原始信号， 否则就会出现信息的 丢失。在超宽带通信和信号处理、 雷达成像、 核磁共 ， 振成像等实际应用中 信号的带宽变得越来越大， 要 求在宽带模拟数字化过程中需要非常高的采样率 ， 同时又要针对获取的大量原始采样信息进行数据压 缩和传输， 在压缩编码过程中， 大量变换计算得到的 小系数被丢弃， 这就对存储资源、 传输资源和计算资 源都造成了极大程度的浪费。 2004 年， D． Donoho［1］、 E． Candès、 J． Romberg、 T． ［2 ］ Tao 等人 针对稀疏性信号， 在信号逼近和稀疏分 解等理 论 的 基 础 上 建 立 了 压 缩 感 知 （ Compressive
⑧令 K = K + 1 ， 重新开始迭代。 （ 2 ） 缩放比例 γ 的选取 对于缩放比例 γ， 通过图 2 发现， 随着 γ 值的逐 相应的互相关性也变小， 当迭代次数达到某 渐变小， 种程度的时候， 趋于稳定状态。
图1 随机高斯测量矩阵恢复重构效果比较
从图 1 可见， 当采样比率取值较小时几种算法 当采样比率取值在 的恢复重构效果差别不是很大， 0． 2 － 0． 4 区间时不同算法间出现了小的差异， 当采 ， 样比率取值较大时 基追踪算法的恢复重构效果更 逼近原始信号， 而其它三种算法恢复重构效果相似 。 对于算法的恢复重构时间， 当采样比率较小时， 不同 CoSaMP 算法间差异不是很大， 当采样比率较大时， SP 算法比较耗时。 算法、 3. 2 测量矩阵的优化 （ 1 ） 实现方法 随机测量矩阵 和 稀 疏 矩 阵 间 的 相 关 性 越 小 ， 就越容 易 高 概 率 地 恢 复 重 构 出 原 始 数 据 。 互 相 关性理论为研究矩阵不同列之间的相关程度提 该文以稀疏基和随机测量矩阵的 供了理论依据 ， 互相关性 μ t ｛ ΦΨ ｝ 出发对随机测量矩阵进行优化 改进 。 输入参数： 迭代次数 K 、 相关性阈值 t、 缩放比例 γ， 稀疏字典 Ψ， 测量数 M； 初始化： 设置 Φ0 ∈R
［7］ （ BP） 、 压缩采样匹配追踪 （ CoSaMP ） 、 子空间追 ［8］ 踪 重构算法在采样比率 （ M / N ） 分别选取不同数
3
测量矩阵的设计
为了实现高概率地恢复重构原始信号， 主要涉 及两个问题： 第一是如何构造随机测量矩阵使得测 量值的数目尽可能的少； 第二是如何使构造的测量 矩阵可以简化恢复重构中的随机投影过程 。为了解 决以上问题， 设计的测量矩阵和稀疏矩阵之间应满 ［3 ］ 足不相干性 和受限等距特性两个条件。 随机测量矩阵和稀疏矩阵间的相干性定义为
n max 〈φ k ， μ（ φ， Ψ） = 槡 Ψj 〉 1 ≤ k， j≤ n
（ 5）
以峰值信噪比 值时 结 合 随 机 高 斯 测 量 矩 阵 ， （ PSNR ） 为 依 据 ， 来 对 恢 复 重 构 效 果 进 行 对 比， 如 图 1 所示 。
72
∧ ∧
工具技术
T ⑥求方根： 通过 S K = G K 求 G K 的方根 S K ； 2 ⑦更新 Φ： 通过‖S K － ψ‖ F 的最小化误差来 选取 K + 1 ， 对测量矩阵更新；
Research on Measurement Matrix of Compressed Sensing
Zhang Zhiyu， Man Weishi， Zhang Yongning
Abstract： The compressed sensing theory break through the traditional Nyquist sampling method in accordance with the data processing，the core issues of compressed sensing theory is random measurement and recovery reconstruction algorithm． Compression sensing will be applied to digital image field，the influence of random gaussian measurement matrix for image reduction algorithm was analyzed on the basis of studying compression sensing，combination of matrix － related problems，the Gram matrix was constructed by the measurement matrix and sparse matrix，then do threshold decision and the corresponding scaling processing． The measurements of more information can be obtained by the improved measurement matrix ，and then completed the optimization of measurement improvements， combined with different recovery reconstruction algorithm to simulate the improved method in MATLAB environment； the simulation results prove the correctness of the improved method with high research and application． Keywords： compressed sensing； measurement matrix； reconstruction algorithm； correlation
70
工具技术
压缩感知理论测量矩阵研究
张志禹，满蔚仕，张永宁
西安理工大学
摘要： 压缩感知理论突破传统的奈奎斯特采样定律对数据进行采集， 其研究的核心问题是随机测量矩阵的设 计和恢复重构算法。本文主要将压缩感知理论应用于数字图像处理领域， 在对压缩感知进行系统研究的基础上， 主要分析了常用随机高斯测量矩阵对图像还原算法的影响， 结合矩阵的相关性构造了由测量矩阵和稀疏矩阵所决 定的格拉姆（ Gram） 测量矩阵， 并对其进行相关性阈值和缩放处理 。 使用优化改进后的测量矩阵能获取更多有信 息量的测量值， 进而完成对测量值的优化， 最后结合不同的恢复重构算法在 MATLAB 环境下对改进方法进行仿真 仿真结果证实了改进方法的正确性， 具有较高的研究和实用价值 。 验证， 关键词： 压缩感知； 测量矩阵； 重构算法； 相关性 中图分类号： TG806 ； TN911. 73 文献标志码： A
T
（ 2）
x 为 N × 1 矩阵； φ 为 M × N 的测量矩阵； y 为 式中， M × 1 矩阵。结合式（ 1 ） 和式（ 2 ） 有
y = φx = φψα = Θα
（ 3）
式中， Θ = φφ 为 M × N 的感知矩阵。 当 α 稀疏时， 从 M = O （ K log （ N ） ） 次测量中能 以很高的概率精确重构出原始信号， 通过最小化 l1 范数求解以下的凸优化问题
（ 1 － δ K ） ‖ν‖2 2 ≤‖Φν‖2 2 ≤（ 1 + δ K ） ‖ν‖2 2
x = ∑ ψk α k = ψα
k =1
（ 1）
式中， Ψ 为 N × N 维标准正交基； α 为 N × 1 矩阵， 是 x ， = 〈 x ， 信号 在该正交基上展开的系数向量 α k ψk 〉 = ψ k T x； x 为 N × 1 矩阵。 当 x 在某个矩阵 ψ 上有且仅有 K 个非零系数 α k 时， 则称 Ψ 为信号 X 的稀疏基， 其中 K 是一个远 称 x 是 K 阶系数信号或可压缩信号。 小于 N 的量， curvelet 基 常用的稀疏基有： 正 （ 余 ） 弦基、 小波基、 等。 压缩感知随机线性投影得到长度为 M （ M ＜ N ） 的信号 y， 可表示为
N
由于测量值维数 M 远小于信号维数 N， 因此式 （ 2 ） 的求解是 NP － hard 问题， 即一个非多项式难度 所以无法直接从 y 的 M 个测量值中解出信号 问题， x。而 α 是 K 稀疏的量， 即仅有 K 个非零系数， 并且 K ＜ M N， 可以通过相应的稀疏分解算法， 通过求 解式（ 3 ） 得出稀疏系数 α， 进而通过式 （ 1 ） 恢复重构 信号 X 。这就要求随机测量矩阵不仅要满足不相干 性， 还 要 满 足 受 限 等 距 特 性 （ Restricted Isometry Property， RIP） ， 具体表述为
1
引言
CS） 理论框架。 该理论的突出优点是在信 Sensing， 号获取的同时， 就对数据进行适当的压缩， 其采样频 率用比传统方法更少的采样数目去精确恢复特定的 信号或图像， 避免了大量的数据集合， 而且在获取信 息的同时直接建立数据压缩， 节省存储空间， 同时又 包含有足够的信息量。压缩感知与信号的稀疏重建 已成为应用数学和信号处理领域中一个新的研究 方向。 测量矩阵的设计是压缩感知研究的核心问题之 一， 构造合理有效的测量矩阵对于测量值的获取和 原始数据的恢复重构都起到了关键作用 。随机测量 矩阵将原始数据均匀分布在随机向量上 ， 从少量随 机测量值中高概率地恢复重构出原始数据 。该文首 先对压缩感知理论做了简单介绍， 然后分析了测量 矩阵的设计过程和随机高斯测量矩阵的构造 ， 最后 从稀疏基和随机测量矩阵间的相关性出发来对测量 矩阵进行优化改进， 进而提高压缩感知的恢复重构 效果。
min‖α‖1
α
(
)
（ 7）
s． t．
Y = φψα
（ 4）
高斯随机测量矩阵的优点在于它几乎和任意稀 4］ 疏矩阵不相关， 文献［ 验证了其满足受限等距性， 同时它需要的测量值数目比较少， 对于长度为 N， 稀 疏度为 K 的原始数据， 仅需要 M ≥ cK log （ N / K ） 个测 量值就可以高概率地恢复重构出原始数据， 其中 c 。 是一个非常小的常量 选 Lena256 × 256 图像作实验对象进行恢复重 ［5］ ［6］ 构， 分 别 采 用 正 交 匹 配 追 踪 （ OMP ） 、 基追踪y = φxFra bibliotek（ 6）
v 表示任意一个具有严格 K 稀疏的矢量； δ K 表 式中， 1） 。 示等容常数， 取值范围 δ K ∈（ 0 ， 受限等距特性给出了被测信号 x 和测量信号 y 的能量约束条件， 保证了信号收敛不发散， 只要压缩 感知的随机测量矩阵满足受限等距性， 就可以从测 量值中得到恢复重构原始信号所需的必要信息 。受 限等距性的等价描述为： 随机测量矩阵和稀疏矩阵 T 间不相干， 即要求 Φ 的行 Φ j 不能由 Ψ 的列 Ψ K 稀 疏表示， 且 Ψ 的 列 ΨK 不 能 由 Φ 的 行 Φj 稀 疏 表示。 3. 1 随机高斯测量矩阵介绍 随机高斯测量矩阵是压缩感知研究中最常用的 测量矩阵， 该矩阵中的元素服从均值为零， 方差为 1/槡 M 的正态分布， 并且元素间相互独立， 即
收稿日期： 2011 年 11 月
2012 年第 46 卷 No． 3
71 相干性用来衡量随机测量矩阵和稀疏矩阵间任 何两元素间的最大相关性。如果随机测量矩阵和稀 疏矩阵间包含了相关元素， 相干性就大， 反之就小， 则 μ 的取值范围为
1， n］ μ （ Φ， ψ） ∈［ 槡
2
压缩感知理论
压缩感知理论采用非自适应线性投影来保持信 号的原始结构， 通过求解稀疏最优化问题能够从低 维观测向量精确地重建原始高维信号 。 信号的稀疏表示是压缩感知研究的前提条件 ， 大多数信号通过不同的基函数都可以有效地稀疏表 通过信号的稀疏性研究数据的稀疏程度和分解 示， 系数的能量集中程度。 假设 一 长 度 为 N 的 离 散 实 值 信 号 x， 记为 x （ n） ， n = 1， 2， … N， x 能用 根据调和分析理论可知， ．．．， ．．．， 一组标准正交基 ψ = ［ ψ1 ， ψ2 ， ψm ， ψ N］ 的线 性组合可表示为
信号采样是模拟物理世界通向数字信息世界之 必备过程。传统的奈奎斯特采样定理指出： 当采样 频率是信号频谱中最高频率的两倍以上时 ， 才能由 采样信号精确重建原始信号， 否则就会出现信息的 丢失。在超宽带通信和信号处理、 雷达成像、 核磁共 ， 振成像等实际应用中 信号的带宽变得越来越大， 要 求在宽带模拟数字化过程中需要非常高的采样率 ， 同时又要针对获取的大量原始采样信息进行数据压 缩和传输， 在压缩编码过程中， 大量变换计算得到的 小系数被丢弃， 这就对存储资源、 传输资源和计算资 源都造成了极大程度的浪费。 2004 年， D． Donoho［1］、 E． Candès、 J． Romberg、 T． ［2 ］ Tao 等人 针对稀疏性信号， 在信号逼近和稀疏分 解等理 论 的 基 础 上 建 立 了 压 缩 感 知 （ Compressive
⑧令 K = K + 1 ， 重新开始迭代。 （ 2 ） 缩放比例 γ 的选取 对于缩放比例 γ， 通过图 2 发现， 随着 γ 值的逐 相应的互相关性也变小， 当迭代次数达到某 渐变小， 种程度的时候， 趋于稳定状态。
图1 随机高斯测量矩阵恢复重构效果比较
从图 1 可见， 当采样比率取值较小时几种算法 当采样比率取值在 的恢复重构效果差别不是很大， 0． 2 － 0． 4 区间时不同算法间出现了小的差异， 当采 ， 样比率取值较大时 基追踪算法的恢复重构效果更 逼近原始信号， 而其它三种算法恢复重构效果相似 。 对于算法的恢复重构时间， 当采样比率较小时， 不同 CoSaMP 算法间差异不是很大， 当采样比率较大时， SP 算法比较耗时。 算法、 3. 2 测量矩阵的优化 （ 1 ） 实现方法 随机测量矩阵 和 稀 疏 矩 阵 间 的 相 关 性 越 小 ， 就越容 易 高 概 率 地 恢 复 重 构 出 原 始 数 据 。 互 相 关性理论为研究矩阵不同列之间的相关程度提 该文以稀疏基和随机测量矩阵的 供了理论依据 ， 互相关性 μ t ｛ ΦΨ ｝ 出发对随机测量矩阵进行优化 改进 。 输入参数： 迭代次数 K 、 相关性阈值 t、 缩放比例 γ， 稀疏字典 Ψ， 测量数 M； 初始化： 设置 Φ0 ∈R
［7］ （ BP） 、 压缩采样匹配追踪 （ CoSaMP ） 、 子空间追 ［8］ 踪 重构算法在采样比率 （ M / N ） 分别选取不同数
3
测量矩阵的设计
为了实现高概率地恢复重构原始信号， 主要涉 及两个问题： 第一是如何构造随机测量矩阵使得测 量值的数目尽可能的少； 第二是如何使构造的测量 矩阵可以简化恢复重构中的随机投影过程 。为了解 决以上问题， 设计的测量矩阵和稀疏矩阵之间应满 ［3 ］ 足不相干性 和受限等距特性两个条件。 随机测量矩阵和稀疏矩阵间的相干性定义为
n max 〈φ k ， μ（ φ， Ψ） = 槡 Ψj 〉 1 ≤ k， j≤ n
（ 5）
以峰值信噪比 值时 结 合 随 机 高 斯 测 量 矩 阵 ， （ PSNR ） 为 依 据 ， 来 对 恢 复 重 构 效 果 进 行 对 比， 如 图 1 所示 。
72
∧ ∧
工具技术
T ⑥求方根： 通过 S K = G K 求 G K 的方根 S K ； 2 ⑦更新 Φ： 通过‖S K － ψ‖ F 的最小化误差来 选取 K + 1 ， 对测量矩阵更新；
Research on Measurement Matrix of Compressed Sensing
Zhang Zhiyu， Man Weishi， Zhang Yongning
Abstract： The compressed sensing theory break through the traditional Nyquist sampling method in accordance with the data processing，the core issues of compressed sensing theory is random measurement and recovery reconstruction algorithm． Compression sensing will be applied to digital image field，the influence of random gaussian measurement matrix for image reduction algorithm was analyzed on the basis of studying compression sensing，combination of matrix － related problems，the Gram matrix was constructed by the measurement matrix and sparse matrix，then do threshold decision and the corresponding scaling processing． The measurements of more information can be obtained by the improved measurement matrix ，and then completed the optimization of measurement improvements， combined with different recovery reconstruction algorithm to simulate the improved method in MATLAB environment； the simulation results prove the correctness of the improved method with high research and application． Keywords： compressed sensing； measurement matrix； reconstruction algorithm； correlation
70
工具技术
压缩感知理论测量矩阵研究
张志禹，满蔚仕，张永宁
西安理工大学
摘要： 压缩感知理论突破传统的奈奎斯特采样定律对数据进行采集， 其研究的核心问题是随机测量矩阵的设 计和恢复重构算法。本文主要将压缩感知理论应用于数字图像处理领域， 在对压缩感知进行系统研究的基础上， 主要分析了常用随机高斯测量矩阵对图像还原算法的影响， 结合矩阵的相关性构造了由测量矩阵和稀疏矩阵所决 定的格拉姆（ Gram） 测量矩阵， 并对其进行相关性阈值和缩放处理 。 使用优化改进后的测量矩阵能获取更多有信 息量的测量值， 进而完成对测量值的优化， 最后结合不同的恢复重构算法在 MATLAB 环境下对改进方法进行仿真 仿真结果证实了改进方法的正确性， 具有较高的研究和实用价值 。 验证， 关键词： 压缩感知； 测量矩阵； 重构算法； 相关性 中图分类号： TG806 ； TN911. 73 文献标志码： A