稀疏表示在信号处理中的应用

1）什么是稀疏表示 2）已知字典和信号， 求最稀疏的表示 3）字典的训练或选取 4）稀疏表示的应用
14
Thanks!
15
3
What are sparse representations/approximations?
4
• 寻找少量重要的系数来表示原始信号的技术被称作 Sparse Coding（稀疏编码或稀疏分解）；
• 从任意一个字典中为原始信号寻找最稀疏的表示常用
的方法分类两类：
①贪婪算法，比如匹配追踪（MP）、正交匹配追踪（OMP）、 弱匹配追踪（WMP）、阈值方法等； ②松弛算法，比如迭代加权最小二乘（Iterative-Reweighed-
Original
What are sparse representations/approximations good for?
12
基于稀疏表示的识别原理：
What are sparse representations/approximations good for?
13


Conclusion
Sparse Representations for Signal Processing and Coding
20140420
1
• • • •
What are sparse representations/approximations? How to find sparse representations/approximations? How to find the dictionary D? What are sparse representations/approximations good for?
outline
2
定义：用较少的基本信号的线性组合来表达大部分或者 全部的原始信号信号。 其中，这些基本信号被称作原子，是从过完备字典中选
出来的；而过完备字典则是由个数超过信号维数的原子
聚集而来。可见，任一信号在不同的原子组下有不同的 稀疏表示。
What are sparse representations/approximations?
• 另外还有inpaintting，deblurring，compression等等..更多应用参考 Elad M的书。
What are sparse representations/approximations good for?
11
去噪：
超分辨率：

Input
Training patches
Output
Least-Squares，IRLS）、基追踪（BP）等。
其中，贪婪算法的特点是速度快，精度相对较低；松弛算法是精 度高，但速度慢。
How to find sparse representations/approximations?
5
现假设已知字典D和信号X，进行稀疏编码的问题可以表示为L0优化 问题 0 2 2
• 学习字典，即通过训练和学习大量的与目标数据相似
的数据来获得。这里，我们介绍一种叫K-SVD的方法。 7
How to find the dictionary D?
假设现在有原始信号矩阵 X ， 该矩阵的每一行表示一个信号或者 一张图片， D 矩阵是字典矩阵，右下方是 稀疏解矩阵S，红色的 点表示非零项。
T
How to find the dictionary D?——K-S VD
8
Step 1: Initialize. 在X T 矩阵中
随机挑选一些行向量(一些原
图），填满矩阵 D，并归一化 每一列。 Step 2: Sparse Coding. 用松弛或者贪婪法进行稀疏编码，使得
ˆi arg min xi D k 1 s.t. 0 L0
How to find sparse representations/approximations?
6
寻找字典的过程称为字典学习。字典学习的一个假
设是字典对于指定信号具有稀疏表示。因此，选择字典
的原则就是能够稀疏地表达信号。 两种方法来设计字典: • 从已知的变换基中选取，比如 DCT 、小波基等，这 种方法很通用，但是不能自适应于信号。

2
2
得到稀疏表示 ˆi 构成稀疏矩阵S的第i行。
How to find the dictionary D?——K-SVD
9
‹#›
来自百度文库
• 稀疏性是DFT、WT和SVD分解得以广泛利用的原因之一，这些 变换的目的都是为了反映信号的确定性结构，并用紧凑的或稀 疏的表示来表征这些结构； • 稀疏表示的思想为模式分类方法建立了基础，比如SVM和RVM， 其中稀疏性直接与估计函数（estimator）的学习能力有关。 • 稀疏表示解决的问题主要集中在：
• 图像去噪（Denoise），代表性paper：Image Denoise Via Sparse and
Redundant Representations Over Learned Dictionaries(Elad M. and Aharon M. IEEE Trans. on Image Processing,Dec,2006);Image Sequence Denoising Via Sparse and Redundant Representations(Protter M. and Elad M.IEEE Trans. on Image Processing,Jan,2009)；
• 超分辨率重建（Super-Resolution OR Scale-Up），代表性paper：Image
Super-Resolution via Sparse Representation（Jianchao Yang, John Wright, Thomas Huang, and Yi Ma，IEEE Transactions on Image Processing, Nov,2010）,A Shrinkage Learning Approach for Single Image Super-Resolution with Overcomplete Representations( A. Adler, Y. Hel-Or, and M. Elad,ECCV,Sep,2010);
opt min
0
s.t.
D X
2

这也是一个组合优化问题。
• 穷举法——NP难： 假设 的非零项数目为L(sparse level)，先令L=1，字典里的每一个原 子（列向量）尝试一遍，看是否满足终止条件，共有K种组合。如果 没有满足，再令L=2，再次尝试，共有K(K-1)/2种组合。还没有满足 条件的，则令L=3……组合的数目呈指数增长，于是遇到了NP难问题。 • 贪婪算法——Matching Pursuit 向量上仅取一个非零项， 第一步，找到最接近X的原子，等效于 求出最接近的原子，保留下来； 第二步，计算误差是否满足要求，如果满足，算法停止，否则， 计算出残差信号，和第一步类似，找到最接近残差向量的原子， 保留下来； 第三步，调整已选向量的系数，使得 D最接近X，重复第二步。 • 松弛算法——Basis Pursuit，将L0问题转化为L1问题，解决的 方法有很多，比如内点法、迭代收缩法等。事实上，它可以 化成一个线性规划的问题，用MATLAB很容易解。