10-稀疏表示与字典学习

1
P m1 (m1 )T m1 (m1 )T
em1 ( I P)em
稀疏表示
• MP缺点 • 如果信号(残值)在已选择的原子进行垂直投 影是非正交性的，这会使得每次迭代的结 果并不少最优的而是次最优的，收敛需要 很多次迭代
稀疏表示
aT b x T a a
3
K
பைடு நூலகம்
M

N A sparse & random vector
N
A fixed Dictionary
D α
x
Sparseland
Signals Are Interesting
• Simple: Every generated signal is built as a linear combination of few atoms from our dictionary D • Rich: A general model: the obtained signals are a special type mixture-of-Gaussians (or Laplacians). • Popular: Recent work on signal and image processing adopt this model and successfully deploys it to applications.
稀疏表示与字典学习
稀疏表示
• Terence Tao • Yi Ma
David L. Donoho
• Elad Michael
Generating Signals in
Sparseland
• Every column in D (dictionary) is a prototype signal (Atom). • The vector is generated randomly with few non-zeros in random locations and random values.
2. 运用机器学习方法，从数据中学习到的
字典学习
min Y DX
D, X
2
X 2
Initialize
1
D
• 交替迭代方法 • 固定D，求解X • 固定X，更新D
Sparse Coding
Dictionary Update
字典学习
• MOD • Sparse Coding 采用的方法是OMP 贪婪算法， • Dictionary Update 采用的是最小二乘法， 即D=argmin norm(y-D*x,2)^2 解的形式是 D=Y*x'*inv(x*x’)。 因此MOD 算法的流程如下：
t t t
通过从e0减去其在Φt所张成空间上的正交投影得到残 差e1； e e Pe ( I P)e
1 0 0 0
(4)对残差迭代执行(2)、(3)步；em1 em Pem ( I P)em
稀疏表示
OMP减去的Pem是em在所有被选择过的原子组成的矩阵 Φt所张成空间上的正交投影， MP减去的Pem是em在本次被选择的原子φm所张成空间 上的正交投影。
OMP分解过程，实际上是将所选原子依次进行 Schimidt正交化，然后将待分解信号减去在正交化后的 原子上各自的分量即可得残差。其实(式3)求残差的过 程也是在进行施密特正交化。
字典学习
• MP 和 OMP 都是基于确定的字典 • 不能随着信号的变化自适应 自适应字典
字典学习
字典学习
• 字典构造分为两大类： 1. 基于数学模型的
k T
k R
k R k T
N k
x x k ,Y Y k , E Ek k
k R k R
Ek k d x k
k k T
k ER U V T
2 F
k k ER d k xR
d k U (:,1)
k xR (1,1)V (:,1)
Given an image with missing values
m1
em em ,m1 m1
(5)直到达到某个指定的停止准则后停止算法。
em , m1
1 m1 em , m1 m1 (m1 )T em T T m1 ( ) ( ) em m1 m1 m1 m1 T T (m1 ) m1 (m1 ) m1
MP 算法流程 用Φ={φk}表示一个原子归一化的字典，x表示信号
(1)首先初始化残差e0=x； (2)匹配追踪的第一步是从字典中找到与e0的内积绝对值 最大的原子，表示为φ1； (3)通过从e0减去其在φ1所张成空间上的正交投影得到残 差e1； e e e ,
1 0 0 1 1
(4)对残差迭代执行(2)、(3)步； e
min x D

无穷多个解
2 2
正则项 Or 稀疏性
稀疏表示
min x 0 s.t. x D min x 1 s.t. x D
min x D 2

2 1
稀疏表示
• 正则项 L2范数 VS. L1范数
稀疏表示
• 如何有效计算图像在字典下最稀疏的表示系数
• 如何设计与有效的稀疏表示字典 • 如何将稀疏表示模型应用
A sparse & random vector
M
Multiply by D
noise
v
Min 0 s.t. x D
α
?
α ˆ
x Dα
4 Major Questions
or even close? Recent results give optimistic answers • Practical ways to get ˆ α ? to these questions • How effective? • Is
Y DX
K
2 F
Y d jx
j 1 2
K
2 T j F
T Y d j xT d x j k k j k F
Ek Y d j xT j
j k
K
字典学习
• K-SVD 用到dk所有信号集合{yi}的索引
k i |1 1 N , x (i ) 0
a b aa p ax a T ( T ) b Pb a a a a
T
T
平面 A [a1,a 2 ]
p x1a1 x2a2 Ax e b Ax T A (b Ax) 0
• MP算法流程
1. 计算信号y与字典矩阵中每列(原子)的内积， 选择绝对值最大的一个原子，它就是与信号y在 本次迭代运算中最匹配的。 y y , xr xr R1
Get the recovered image
60% missing pixels
K-SVD Results Average # coefficients 4.08 RMSE: 11.68
低秩表示
K–Means For Clustering
字典学习
• K-SVD
Initialize D
Sparse Coding
Dictionary Update Column-by-Column by Mean computation over the relevant examples
字典学习
• K-SVD • 第一阶段，稀疏求解用OMP算法
• 第二阶段，通过SVD奇异值分解算法更新一 个原子和相应的系数来最小化逼近误差。
这意味着一个原子不会被选择两次，结果会 在有限的几步收敛。 在正交匹配追踪OMP中，残差是总与已经选 择过的原子正交的。这意味着一个原子不会 被选择两次，结果会在有限的几步收敛。
• OMP算法
(1)用x表示你的信号，初始化残差e0=x； (2)选择与e0内积绝对值最大的原子，表示为φ1； (3)将选择的原子作为列组成矩阵Φt，定义Φt列空间的 正交投影算子为 P (T )1T
稀疏表示
求解方法 • 贪婪算法 MP, OMP, SP • 松弛算法 Lassom, LAR • 非凸算法 迭代加权算法, Beyesian算法
稀疏表示
min x 1 s.t. x D
• MP 基本思想： 1. 从字典矩阵D，选择一个与信号 x 最匹配的 原子(也就是某列)，构建一个稀疏逼近，并 求出信号残差， 2. 然后继续选择与信号残差最匹配的原子， 3. 迭代，信号y可以由这些原子的线性和，再 加上最后的残差值来表示。 4. 很显然，如果残差值在可以忽略的范围内， 则信号y就是这些原子的线性组合。
Apply pursuit (per each block of size(88) using a decimated dictionary with rows removed
Haar Results Average # coefficients 4.42 RMSE: 21.52
Multiply the found representation by the complete dictionary
M
α
Multiply by D
x Dα
The K–SVD: Design of Dictionaries for Redundant and Sparse representation of Signals
Sparseland is here !?
4
Signal Processing in Sparseland
0 0
2. 对残值R1进行步骤[1]同样的分解，那么第K 步可以得到： Rk R k , xr xr Rk 1
k 1 k 1
y i 0 R k , xri xri Rk 1
k
y a1x1 a2 x2 a3 x1 a4 x2
稀疏表示
• OMP 算法的改进： 在正交匹配追踪OMP中，残差是总与已经选 择过的原子正交的。
αα ˆ
• How do we get D? OUR FOCUS TODAY!!
The K–SVD: Design of Dictionaries for Redundant and Sparse representation of Signals
稀疏表示
min x D

2 2
稀疏表示
• 欠定方程