西电《数字信号处理》大作业

l1
s.t y
l1 最小范数下最优化问题又称为基追踪(BP)，其常用实现算法有：内
点法和梯度投影法。内点法速度慢，但得到的结果十分准确：而梯度投影法速 度快，但没有内点法得到的结果准确。二维图像的重构中，为充分利用图像的 梯度结构。可修正为整体部分(Total Variation，TV)最小化法。由于 l1 最小范数 下的算法速度慢，新的快速贪婪法被逐渐采用，如匹配追踪法(MP)和正交匹配 追踪法(OMP)。此外，有效的算法还有迭代阈值法以及各种改进算法。
图 2 传统编解码理论的框图
5
压缩感知理论对信号的采样、压缩编码发生在同一个步骤，利用信号的稀 疏性，以远低于 Nyquist 采样率的速率对信号进行非自适应的测量编码。测量 值并非信号本身，而是从高维到低维的投影值，从数学角度看，每个测量值是 传统理论下的每个样本信号的组合函数，即一个测量值已经包含了所有样本信 号的少量信息。解码过程不是编码的简单逆过程，而是在盲源分离中的求逆思 想下。利用信号稀疏分解中已有的重构方法在概率意义上实现信号的精确重构 或者一定误差下的近似重构。解码所需测量值的数目远小于传统理论下的样本 数。
1924 年奈奎斯特(Nyquist)就推导出在理想低通信道的最高码元传输速率的 公式: 理想低通信道的最高码元传输速率 B=2W Baud (其中 W 是带宽) 理想信道的极限信息速率（信道容量），其公式如下：
C = B * log2 N ( bps )
采样过程所应遵循的规律，又称取样定理、抽样定理。采样定理说明采样 频率与信号频谱之间的关系，是连续信号离散化的基本依据。采样定理是 1928 年由美国电信工程师 H.奈奎斯特首先提出来的，因此称为奈奎斯特采样定理。 1933 年由苏联工程师科捷利尼科夫首次用公式严格地表述这一定理，因此在苏 联文献中称为科捷利尼科夫采样定理。1948 年信息论的创始人 C.E.香农对这一 定理加以明确地说明并正式作为定理引用，因此在许多文献中又称为香农采样 定理。采样定理有许多表述形式，但最基本的表述方式是时域采样定理和频域
频域采样定理 对于时间上受限制的连续信号 f(t)（即当│t│>T 时,f(t)=0,这里 T=T2-T1 是 信号的持续时间），若其频谱为 F（ω）,则可在频域上用一系列离散的采样值 来表示,只要这些采样点的频率间隔ω≦π / tm 。 传统采样的依据是奈奎斯特采样定理，即信号的采样频率必须是信号带宽 的 2 倍以上。然而随着信号的带宽越来越宽，据此定理进行信号采样，必然对 采样率提出更高的要求，对信号处理和硬件系统也带来了巨大的压力。能否降 低信号的采样率?能否寻找新的信号描述方式与信号处理的方法?能否减少信号 处理的成本?引起人们越来越大的研究兴趣。 目前，Candes，Romberg，Tao 和 Donoho 等人提出了一种全新的理论一 压缩感知理论(Compressed Sensing)。该理论是一种崭新的信号采样、信号编码 和信号解码理论。采样速率不再像 Nyquist 速率一样，与信号的带宽密切相 关，而是与信息在信号中的结构和位置息息相关。编码过程是围绕观测器即观 测矩阵展开的，而解码过程是一个优化计算过程。该理论已经被证明能够用较 低采样速率准确的进行信号采样，并且能够以很高的概率重构原始信号。目前 国内已经有科研单位的学者对其展开研究。
4
当前，压缩感知理论主要涉及三个核心问题： (1) 具有稀疏表示能力的过完备字典设计； (2) 满足非相干性或等距约束性准则的测量矩阵设计； (3) 快速鲁棒的信号重建算法设计。 压缩感知理论必将给信号采样方法带来一次新的革命。这一理论的引人之 处还在于它对应用科学的许多领域具有重要的影响，如统计学、信息论、编码 等。目前，学者们已经在模拟-信息采样、合成孔径雷达成像、遥感成像、核磁 共振成像、深空探测成像、无线传感器网络、信源编码、人脸识别、语音识 别、探地雷达成像等诸多领域对压缩感知展开了广泛的应用研究。Rice 大学已 经成功设计出了一种基于压缩感知的新型单像素相机，在实践中为取代传统相 机迈出了实质性的一步。
图 3 压缩感知理论的编解码框图
压缩感知的基本理论及核心问题
N 假设有一信号 f ( f R ) ，长度为 N ，基向量为 i (i 1,2,..., N ) ，对信号进
行变换：
f ai i 或 f
i 1 N
显然 f 是信号在时域的表示， 是信号在 域的表示。信号是否具有稀疏 性或者近似稀疏性是运用压缩感知理论的关键问题，若式中的 只有 K 个是非 零值 ( N K ) 者仅经排序后按指数级衰减并趋近于零，可认为信号是稀疏的。 信号的可稀疏表示是压缩感知的先验条件。在已知信号是可压缩的前提下，压 缩感知过程可分为两步：
6
(1)设计一个与变换基不相关的 M N ( M N ) 维测量矩阵对信号进行观 测，得到 M 维的测量向量。 (2)由 M 维的测量向量重构信号。
信号的稀疏表示
T 稀疏的数学定义：信号 X 在正交基 下的变换系数向量为 X ，假如
对于 0 p 2 和 R 0 ，这些系数满足：
7
学的石光明教授也对稀疏表示问题进行了认真研究，并基于多组正交基级联而 成的冗余字典提出一种新的稀疏分解方法。
信号的观测矩阵 用一个与变换矩阵不相关的 M N ( M N ) 测量矩阵 对信号进行线性投 影，得到线性测量值 y ：
y f
测量值 y 是一个 M 维向量，这样使测量对象从 N 维降为 M 维。观测 过程是非自适应的即测量矩阵少的选择不依赖于信号 f 。测量矩阵的设计要求 信号从 f 转换为 y 的过程中，所测量到的 K 个测量值不会破坏原始信号的信 息，保证信号的精确重构。 由于信号 f 是是可稀疏表示的，上式可以表示为下式：
压缩感知理论框架 传统的信号采集、编解码过程如图所示：编码端先对信号进行采样，再对 所有采样值进行变换，并将其中重要系数的幅度和位置进行编码，最后将编码 值进行存储或传输：信号的解码过程仅仅是编码的逆过程，接收的信号经解压 缩、反变换后得到恢复信号。采用这种传统的编解码方法，由于信号的采样速 率不得低于信号带宽的 2 倍，使得硬件系统面临着很大的采样速率的压力。此 外在压缩编码过程中，大量变换计算得到的小系数被丢弃，造成了数据计算和 内存资源的浪费。
《数字信号处理》大作业
学
院
专
业
学生姓名
学
号
导师姓名
吕
雁
1
1、查找资料，写一篇关于奈奎斯特采样率与稀疏采样的学习报 告。
奈奎斯特采样定理即采样定理 。 在进行模拟/数字信号的转换过程中，当采样频率 fs.max 大于等于信号中最 高频率 fmax 的 2 倍时(fs.max 2fmax)，采样之后的数字信号完整地保留了原始 信号中的信息，一般实际应用中保证采样频率为信号最高频率的 5～10 倍；采 样定理又称奈奎斯特定理。表达式为： C = B * logM N 矩阵。上式中，方程的个数远小于未知数的个数，方 程无确定解，无法重构信号。但是，由于信号是 K 稀疏，若上式中的 满足有 限等距性质(Restricted Isometry Property，简称 RIP)，即对于任意 K 稀疏信号 f 和常数 k (0,1) ，矩阵 满足：
1 k
|| f ||2 2 1 k || f ||2 2
则 K 个系数能够从 M 个测量值准确重构。RIP 性质的等价条件是测量矩阵
和稀疏基 不相关。目前，用于压缩感知的测量矩阵主要有以下几种：高斯
随机矩阵，二值随机矩阵(伯努力矩阵)，傅立叶随机矩阵，哈达玛矩阵，一致 球矩阵等。
从而得到稀疏系数的估计。由于上式的求解是个 NP—HARD 问题。而该 最优化问题与信号的稀疏分解十分类似，所以有学者从信号稀疏分解的相关理 论中寻找更有效的求解途径。表明， l1 最小范数下在一定条件下和 l0 最小范数具 有等价性，可得到相同的解。那么上式转化为 l1 最小范数下的最优化问题：
|| || min
2
采样定理。采样定理在数字式遥测系统、时分制遥测系统、信息处理、数字通 信和采样控制理论等领域得到广泛的应用。
时域采样定理 频带为 F 的连续信号 f(t)可用一系列离散的采样值 f(t1),f(t1±Δt)，f(t1±2 Δt)，...来表示,只要这些采样点的时间间隔Δt≤1/(2F)，便可根据各采样值完 全恢复原来的信号 f(t)。 这是时域采样定理的一种表述方式。 时域采样定理的另一种表述方式是：当时间信号函数 f(t)的最高频率分量 为 fM 时,f(t)的值可由一系列采样间隔小于或等于 1/(2fM)的采样值来确定,即采 样点的重复频率 f≥(2fM)。图为模拟信号和采样样本的示意图。 时域采样定理是采样误差理论、随机变量采样理论和多变量采样理论的基 础。
信号的重构算法
8
当矩阵 满足 RIP 准则时。压缩感知理论能够通过对上式的逆问题先求解
T 稀疏系数 x ，然后将稀疏度为 K 的信号 x 从 M 维的测量投影值 y 中正确
地恢复出来。解码的最直接方法是通过 l0 范数下求解的最优化问题：
|| || min
l0
s.t y
3
其 CS 理论如图 1 所示：
图 1 压缩感知 CS 理论
稀疏采样，也被称为压缩感知、压缩传感或压缩采样，是一种利用稀疏的 或可压缩的信号进行信号重构的技术。或者可以说是信号在采样的同时被压 缩，从而在很大程度上降低了采样率。稀疏采样跳过了采集 N 个样本这一步 骤，直接获得压缩的信号的表示。其理论利用到了许多自然信号在特定的基上 具有紧凑的表示。即这些信号是“稀疏”的或“可压缩”的。由于这一特性， 稀疏采样理论的信号编解码框架和传统的压缩过程大不一样，主要包括信号的 稀疏表示、编码测量和重构算法等三个方面。简单地说，压缩感知理论指出： 只要信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不 相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一 个优化问题就可以从这些少量的投影中以高概率重构出原信号，可以证明这样 的投影包含了重构信号的足够信息。在该理论框架下，采样速率不再取决于信 号的带宽，而在很大程度上取决于两个基本准则：稀疏性和非相干性，或者稀 疏性和等距约束性。 显然，在压缩感知理论中，图像/信号的采样和压缩同时以低速率进行，使 传感器的采样和计算成本大大降低，而信号的恢复过程是一个优化计算的过 程。因此，该理论指出了将模拟信号直接采样压缩为数字形式的有效途径。从 理论上讲任何信号都具有可压缩性，只要能找到其相应的稀疏表示空间，就可 以有效地进行压缩采样。