矩阵低秩分解理论

低秩矩阵表示（LRR）
• 低秩矩阵表示（LRR）是将数据集矩阵Ｄ表示成字典矩阵 Ｂ（也称为基矩阵）下的线性组合，即Ｄ＝ＢＺ，并希望 线性组合系数矩阵Ｚ是低秩的。为此，需要求解下列优化 问题：
为便于优化，凸松弛后转化为：
若选取数据集Ｄ本身作为字典，则有
那么其解为
，这里
是D的SVD分解。
当D是从多个独立子空间的采样组合，那么 为对角块矩 阵，每个块对应着一个子空间。此即为子空间聚类（Sparse Subspace Clustering）。
methods，ADM，IALM）
• ADM对ALM做了改善，即不精确拉格朗日乘子法（inexactALM
它不需要求
的精确解，即矩阵Ａ和Ｅ的迭代更
新公式为：
精选ppt
13
求解方法性能比较
精选ppt
14
低秩矩阵恢复应用
• 图像恢复
精选ppt
15
低秩矩阵恢复应用
• 图像去光照影响恢复
精选ppt
16
使用迭代阈值算法交替更新矩阵Ａ,Ｅ和Ｙ。当Ｅ=Ｅk，Ｙ=Ｙk时，
当Ａ＝Ａk+1，Ｙ＝Ｙk时，
当Ａ＝Ａk+1 ，Ｅ＝Ｅk+1时， 其中：步长δk满足０＜ δk ＜1 • ＩＴ算法的迭代式形式简单且收敛，但它的收敛速度比较慢，且难以选取合适的步长
精选ppt
7
加速近端梯度算法（accelerated proximal gradient，
min Ａ,Ｅ Ｌ(Ａ,Ｅ,Ｙk,μ k )。
• 使用精确拉格朗日乘子法交替迭代矩阵Ａ和Ｅ，直到满足终止条件为
止。若
则
精选ppt
11
• 再更新矩阵Ｅ:
•记
分别收敛于
• 最后更新参数μ：
，则矩阵Ｙ的更新公式为
其中：ρ＞１为常数；ε＞０为比较小的正数。
精选ppt
பைடு நூலகம்12
交替方向方法（alternating direction
精选ppt
9
对偶方法（DUL）
• 由于核范数的对偶范数为谱范数，所以优化问题的对偶问题 为：
其中：
表示矩阵元素绝对值最大
的值。当优化问题对偶式取得最优值 时，必定满足
即此优化问题等价于：
上述优化问题是非线性、非光滑的，可以使用最速上升法求 解。当 时，定义正规锥 其中 表示函数Ｊ(.)的次梯度。此时，优化问题的最速 上升方向为Ｗｋ＝Ｄ－Ｄk，其中Ｄk为Ｄ在Ｎ(Ｙk)上的投影。 使用线性搜索方法确定步长大小：
• 在许多实际应用中，给定的数据矩阵Ｄ往往是低秩或近似低 秩的，但存在随机幅值任意大但是分布稀疏的误差破坏了原 有数据的低秩性，为了恢复矩阵Ｄ的低秩结构，可将矩阵Ｄ 分解为两个矩阵之和，即Ｄ＝Ａ＋Ｅ，其中矩阵Ａ和Ｅ未知， 但Ａ是低秩的。当矩阵Ｅ的元素服从独立同分布的高斯分布 时，可用经典的PCA来获得最优的矩阵Ａ，即求解下列最优 化问题：
✓ 低秩矩阵恢复（Low-rank Matrix Recovery）
✓ 鲁棒主成分分析(Robust principle component analysis, RPCA)
✓ 低秩稀疏非相干分解(Rank-spa精r选spiptty incoherence)
3
预备知识
精选ppt
4
低秩矩阵恢复（鲁棒主成分分析RPCA）
其中：
为一线性投影算子，即
• 为便于优化，凸松弛后转化为：
精选ppt
23
低秩矩阵补全求解
• ＭＣ问题可应用ＡＬＭ算法求解，将原优化问题重新表示为： 于是构造上述问题的部分增广拉格朗日函数为
精选ppt
24
低秩矩阵补全应用
• 智能推荐系统
精选ppt
25
低秩矩阵补全应用
• 电影去雨线处理
精选ppt
26
低秩矩阵恢复应用
• 视频背景建模
Candès, Li, Ma, and W., JACM, Ma精y 选20p1p1t .
17
低秩矩阵恢复应用
• 图像类别标签净化
精选ppt
18
低秩矩阵恢复应用
• 文本主题分析
传统PCA
RPCA
精选ppt
19
低秩矩阵恢复应用
• 音乐词曲分离
精选ppt
20
低秩矩阵恢复应用
APG）
• 将优化问题式的等式约束松弛到目标函数中，得到如下的拉格朗日函 数：
记
• 于是L(Ａ,Ｅ,μ)=ｇ(Ａ,Ｅ,μ)+ｆ(Ａ,Ｅ)。函数ｇ(Ａ,Ｅ,μ)不可微，而ｆ (Ａ,Ｅ)光滑且具有李普希兹连续梯度，即存在Lf＞0，使得
其中：
表示函数ｆ(Ａ,Ｅ)关于矩阵变量Ａ和Ｅ的Ｆｒéｃｈｅ
ｔ梯度。此处取Lf =２。对于给定的与Ｄ同型的两个矩阵ＹA和ＹE，作
Ｌ(Ａ,Ｅ,μ)的部分二次逼近：
精选ppt
8
加速近端梯度算法（accelerated proximal
gradient，APG）
为了得到更新ＹA和ＹE时的步长，需先确定参数ｔk+1： 于是ＹA和ＹE的迭代更新公式为:
参数μ的迭代公式为
其中： 为事先给定的正数；0＜η＜１。
尽管ＡＰＧ与ＩＴ算法类似，但它却大大降低了迭代次数。
当Ｅ为稀疏的大噪声矩阵时，问题转化为双目标优化问题：
引入折中因子λ，将双目标优化问题转换为单目标优化问题：
精选ppt
5
RPCA的求解
• 凸松弛
矩阵核范数
NP难问题 松弛后
精选ppt
6
迭代阈值算法（iterative thresholding，IT）
将最优化问题正则化，便得到优化问题：
优化问题式的拉格朗日函数为
• 于是Ｙk的更新过程为
• DULL比APG算法具有更好的可扩展性，这是因为在每次迭
代过程中对偶方法不需要矩精阵选p的pt 完全奇异值分解。
10
增广拉格朗日乘子法（augmented Lagrange
multipliers,ALM）
• 构造增广拉格朗日函数：
• 当Ｙ＝Ｙk，μ＝μ k ，使用交替式方法求解块优化问题
• 图像矫正与去噪
精选ppt
21
低秩矩阵恢复应用
• 图像对齐
精选ppt
22
低秩矩阵补全
• 当数据矩阵Ｄ含丢失元素时，可根据矩阵的低秩结构来恢 复矩阵的所有元素，称此恢复过程为矩阵补全（ＭＣ）。
• 记Ω为集合［ｍ］×［ｎ］的子集，这里［ｍ］表示集合 ｛１,２,…,ｍ｝。ＭＣ的原始模型可描述为如下的优化问 题：
矩阵低秩分解理论及其应用分析
成科扬 2013年9月4日
精选ppt
1
从稀疏表示到低秩分解
• 稀疏表示
✓ 压缩感知(Compressed sensing)
精选ppt
2
从稀疏表示到低秩分解
• 矩阵低秩分解
observation
low-rank
sparse
✓ 矩阵低秩稀疏分解(Sparse and low-rank matrix decomposition)