稀疏表示的字典_文献翻译

稀疏表示建模的字典设计

摘要：

数据的稀疏和冗余表示建模可以将信号描述为预先规定的字典中的少数原子的线性组合。其中，字典的选取对于信号的建模是至关重要的。通常可采用两种方法选取一个合适的字典：i)基于数据的数学模型建立稀疏字典，ii)选择在训练集上有最佳表现的学习字典。在此论文中，我们将描述这两种范例的演变。作为第一种方法的例证，我们将涉及小波、小波包、轮廓波以及曲线波等分析方法。所有方法都致力于为信号与图像设计能建立有效字典1-D和2-D的数学模型。字典学习采用了另一种路线，将字典与一系列需表示的示例相关联。

1.引言

自然信号的数字化采样过程将它表示为一系列空间或时间中的脉冲函数的和。这种表示虽然在显示或重放时提供了方便，却不利于我们进行分析。

信号处理技术通常需要更有意义的表示方法，以抓住需识别信号的有用特征—用于识别时，表示方法应该突出被处理信号的特征；用于降噪时，表示方法应该有效地分离信号和噪声；用于压缩时，表示方法应该只用很少的系数来捕捉大部分的信号。有趣的是，在很多案例中这些看似不同的目标达到了一致，都以简化作为核心要求。

信号的表示牵涉到字典的选取。字典是一组用于分解信号的基本信号或原子。每个信号都可以被独一无二地表示为字典原子的线性组合。在最简单的实例中，字典是正交的，且表示系数可以用信号和原子的内积来计算；在不正交的时，系数是信号和字典的逆的内积，这种字典也被表述为双正交基字典。

许多年来，正交基与双正交基字典由于它们在数学上的简易性而占有主导地位。然而，这些字典的弱点，也即它们有限的表达能力，最终覆盖了其简易性的优势。这促进了更新的过完备字典的发展。过完备字典的原子多于信号的维度，因此能表示更宽范围的信号现象。

为了减小失去正交基变换提供的优良性能带来的损失，过完备字典的发展是谨慎的。很多字典形成了紧框架，确保了将信号表示为原子的线性组合的表示过程仍能被确定为信号和字典的内积。另一种方法称为最优基算法。

它使用一个特定的字典结构，使字典可以成为这样的原子集合--从中可以高效地选取正交子字典。

有关通用过完备字典的研究主要开始于过去的十年中，且仍在紧张地进行中。这样的字典在信号的表示定义中引进了一种有趣的不确定性。我们设字典，其中的列构成了字典的原子，且。用字典表示一个的信号有两种途径，一种是分析途径，信号用它自身与原子的乘积来表示,

, (1)

另一种是综合途径，信号被表示为原子的线性组合，

. (2)

这两种定义在完备情况时是完全一致的，这时分析字典和综合字典是双正交的。然而在通常情况下，这两种字典是显著不同的。

分析字典方法提出了另一个有趣的问题：当D过完备时，满足(2)的表示的族实际上是无限大的，它的自由度与D的零空间的维数相同。这允许我们参考价值函数,来寻找信息量最大的信号表示方法：

满足 . (3)

实用的的选取提高了表示的稀疏性，意味着我们希望选取的系数能快速衰减。问题（3）常被称为稀疏编码。我们可以通过在鲁棒补偿函数中选择，我们将这种函数宽松地定义为对大系数宽容而对小的非零系数极其

不利的函数。相关的例子有Huber函数以及各种成本函数，其中0。

这三种问题，尤其是(3)问题，在过去的几年中都被广泛地研究。这也反过来促进了新的使用通用过完备变换的信号处理算法的发展。然而，在从理论到实践的过程中，要面对为给定任务选择合适字典的挑战。早前的工作利用了传统的字典，如傅里叶字典和小波字典。它们用于处理1维信号简单实用。然而，这些字典不足以表示更复杂的自然高维信号数据。所以人们开始寻找新的改进字典。

在不断上升的需求下，各种字典被研究出来。这些字典从两种来源中产生。一种是数据的数学模型，另一种是一组数据的实现。第一种字典以分析公式和快速的隐式实现为其特征。第二种字典实现了增强的灵活性以及适应特定信号数据的能力。最近，对于居于两种字典之间的字典的研究逐渐兴起。

这种新的字典集合了前两种字典的优点。这种结构刚刚开始出现，相关的研究还在进行中。

在这篇论文中，我们将介绍指导现代字典设计的基本概念。在第二部分中，我们将以历史的观点，追溯字典设计方法学从19世纪60年代到19世纪90年代的演变，主要介绍概念上的进展。在第三部分和第四部分我们会综述分析字典与训练字典的先进技术。我们会在第五部分作总结并得出结论。

2.变换设计的历史

A.信号变换：线性时代

信号变换随着信号处理的实施而出现。在19世纪60年代，早期信号处理的研究者们重点关注了线性时不变运算符，它们是操作模拟与数字信号的简易且直观的工具。在这种环境下，傅里叶变换自然地作为对角线化这些运算符的基础而出现了，并立即成为了分析和设计这些运算符的主要工具。随着1965年Cooley和Tukey将快速傅里叶变换引入，这种变换获得极大的推广。

傅里叶基在全局频率组成方面描述一个信号。它将信号描述为正交波形的结合。

信号通过投影到K最低频率的原子上的方法来近似到这个基上。这种方法具有很强的平滑和降噪效果。因此傅里叶基能高效地描述一致平滑信号。

然而，定位能力的不足使它表示断点时较困难，在所有频率上产生大数值的

系数。因此傅里叶变换通常产生在实际应用中过于平滑的结果。

对于有限信号，傅里叶变换隐式地信号的周期延拓，这在信号的边界处导致了不连续性。离散余弦变换(DCT)是假定信号反对称延拓的结果，这会导致连续的边界，因此产生一个更有效的近似。DCT由于有产生非复杂系数这个额外的优点，在实际应用中通常是首选。

在傅里叶基上的信号近似很快被认为是线性近似的特定实例：假设在上有一个基，信号通过投影到一个确定的子集，即的基元素上进行线性近似。

, (4)

其中通常是双正交基（在标准正交的情况下）。这个过程是一个未完成的的线性变换。且在正确选择了基的情况下，可以实现压缩，即仅用很少系数捕捉信号的有效部分的能力。事实上，压缩的概念将被稀疏代替，虽然这两者是密切相关的。

压缩优化是更有效的表示方法持续发展的主要推动力。在19世纪70年代和80年代，一个新的极具吸引力的压缩资源被发现：数据本身。关注集中于在前半个世纪被发展出来的一组统计工具。它们被称为Karhunen-Lo ève变换(KLT),或主分量分析(PCA)。KLT是一种线性变换，它可以适用于表示服从已知的确定分布的信号。适用过程适合低维的子空间中，最小化逼近误差的数据。具体地，给定数据协方差矩阵Σ（已知的或经验上的），KLT 原子是Σ的本征值分解的前K个特征向量，

从统计学的观点来看，这个过程把数据当作服从低维高斯分布来建模，因此对于高斯数据最有效。

与傅里叶变换相比，KLT在表示效率上更优。然而，这个优势是用非结构性和明显更复杂的转换换来的。我们将会看到，这种在效率与自适应性之间的折衷在现代字典设计方法学中仍扮演着重要的角色。

B.非线性变革与现代字典设计元素

19世纪80年代，统计学的研究领域出现的新的有力方法，即稳健统计。

稳健统计提倡将稀疏作为大范围的复原与分析任务的关键。这种理念来源于经典物理学，发展于近年的信息论，在指导现象描述上提升了简易性与简明性。在这种理念的影响下，80年代与90年代以搜寻更稀疏的表示和更高效的变换为特征。

增强稀疏性需要偏离线性模式，朝更灵活的非线性规划发展。在非线性的实例中，每个信号都可以使用同一字典中一组不同的原子，以此实现最佳近似。因此，近似过程变为

其中是分别适用于每个信号的索引集。

非线性观点为设计更新，更有效的变换铺平了道路。在这个过程中，许多指导现代字典设计的基本概念形成了。我们将沿着历史的时间线，回溯许多最重要的现代字典设计概念的出现。大部分概念是在20世纪的最后20