矩阵低秩分解理论课件

矩阵低秩分解理论
20
低秩矩• 图阵像矫恢正与复去噪应用
矩阵低秩分解理论
21
低秩矩阵恢复应用 • 图像对齐
矩阵低秩分解理论
22
低秩矩阵补全
• 当数据矩阵Ｄ含丢失元素时，可根据矩阵的低秩结构来恢 复矩阵的所有元素，称此恢复过程为矩阵补全（ＭＣ）。
• 记Ω为集合［ｍ］×［ｎ］的子集，这里［ｍ］表示集合 ｛１,２,…,ｍ｝。ＭＣ的原始模型可描述为如下的优化问题：
其中：
为一线性投影算子，即
• 为便于优化，凸松弛后转化为：
矩阵低秩分解理论
23
低秩矩阵补全求解
• ＭＣ问题可应用ＡＬＭ算法求解，将原优化问题重新表示为： 于是构造上述问题的部分增广拉格朗日函数为
矩阵低秩分解理论
24
低秩矩阵补全应用
• 智能推荐系统
矩阵低秩分解理论
25
低秩矩阵补全应用
• 电影去雨线处理
矩阵低秩分解理论
9
对偶方法（DUL）
• 由于核范数的对偶范数为谱范数，所以优化问题的对偶问题
为：
其中：
表示矩阵元素绝对值最大
的值。当优化问题对偶式取得最优值 时，必定满足 即
此优化问题等价于：
上述优化问题是非线性、非光滑的，可以使用最速上升法求
解。当 时，定义正规锥
其ቤተ መጻሕፍቲ ባይዱ
中 表示函数Ｊ(.)的次梯度。此时，优化问题的最速上升
方向为Ｗｋ＝Ｄ－Ｄk，其中Ｄk为Ｄ在Ｎ(Ｙk)上的投影。使用
线性搜索方法确定步长大小：
• 于是Ｙk的更新过程为
• DULL比APG算法具有更好的可扩展性，这是因为在每次迭代
过程中对偶方法不需要矩阵的完全奇异值分解。
矩阵低秩分解理论
10
增广拉格朗日乘子法（augmented Lagrange
multipliers,ALM）
✓ 低秩矩阵恢复（Low-rank Matrix Recovery）
矩阵低秩分解理论
3
✓ 鲁棒主成分分析(Robust principle component analysis, RPCA)
预备知识
矩阵低秩分解理论
4
低秩矩阵恢复（鲁棒主成分分析RPCA）
• 在许多实际应用中，给定的数据矩阵Ｄ往往是低秩或近似低秩 的，但存在随机幅值任意大但是分布稀疏的误差破坏了原有数 据的低秩性，为了恢复矩阵Ｄ的低秩结构，可将矩阵Ｄ分解为 两个矩阵之和，即Ｄ＝Ａ＋Ｅ，其中矩阵Ａ和Ｅ未知，但Ａ是 低秩的。当矩阵Ｅ的元素服从独立同分布的高斯分布时，可用 经典的PCA来获得最优的矩阵Ａ，即求解下列最优化问题：
• 于是L(Ａ,Ｅ,μ)=ｇ(Ａ,Ｅ,μ)+ｆ(Ａ,Ｅ)。函数ｇ(Ａ,Ｅ,μ)不可微，而ｆ(Ａ, Ｅ)光滑且具有李普希兹连续梯度，即存在Lf＞0，使得
其中：
表示函数ｆ(Ａ,Ｅ)关于矩阵变量Ａ和Ｅ的Ｆｒéｃｈｅ
ｔ梯度。此处取Lf =２。对于给定的与Ｄ同型的两个矩阵ＹA和ＹE，作Ｌ
(Ａ,Ｅ,μ)的部分二次逼近：
矩阵低秩分解理论
12
交替方向方法（alternating direction methods，ADM，IALM）
• ADM对ALM做了改善，即不精确拉格朗日乘子法（inexactALM它
不需要求
的精确解，即矩阵Ａ和Ｅ的迭代更新公
式为：
矩阵低秩分解理论
13
求解方法性能比较
矩阵低秩分解理论
14
低秩矩阵恢复应用
矩阵低秩分解理论
26
低秩矩阵表示（LRR）
• 低秩矩阵表示（LRR）是将数据集矩阵Ｄ表示成字典矩阵Ｂ （也称为基矩阵）下的线性组合，即Ｄ＝ＢＺ，并希望线性
组合系数矩阵Ｚ是低秩的。为此，需要求解下列优化问题：
为便于优化，凸松弛后转化为：
若选取数据集Ｄ本身作为字典，则有
那么其解为
，这里
是D的SVD分解。
当D是从多个独立子空间的采样组合，那么 为对角块矩 阵，每个块对应着一个子空间。此即为子空间聚类（Sparse Subspace Clustering）。
矩阵低秩分解理论
27
低秩矩阵表示（LRR）
• 构造增广拉格朗日函数：
• 当Ｙ＝Ｙk，μ＝μ k ，使用交替式方法求解块优化问题
min Ａ,Ｅ Ｌ(Ａ,Ｅ,Ｙk,μ k )。
• 使用精确拉格朗日乘子法交替迭代矩阵Ａ和Ｅ，直到满足终止条件为止。若
则
矩阵低秩分解理论
11
• 再更新矩阵Ｅ:
•记
分别收敛于
• 最后更新参数μ：
，则矩阵Ｙ的更新公式为
其中：ρ＞１为常数；ε＞０为比较小的正数。
优化问题式的拉格朗日函数为
使用迭代阈值算法交替更新矩阵Ａ,Ｅ和Ｙ。当Ｅ=Ｅk，Ｙ=Ｙk时，
当Ａ＝Ａk+1，Ｙ＝Ｙk时，
当Ａ＝Ａk+1 ，Ｅ＝Ｅk+1时，
其中：步长δk满足０＜ δk ＜1
矩阵低秩分解理论
7
加速近端梯度算法（accelerated proximal gradient，APG）
• 将优化问题式的等式约束松弛到目标函数中，得到如下的拉格朗日函数： 记
矩阵低秩分解理论
8
加速近端梯度算法（accelerated proximal gradient，APG）
为了得到更新ＹA和ＹE时的步长，需先确定参数ｔk+1： 于是ＹA和ＹE的迭代更新公式为:
参数μ的迭代公式为 其中： 为事先给定的正数；0＜η＜１。 尽管ＡＰＧ与ＩＴ算法类似，但它却大大降低了迭代次数。
矩阵低秩分解理论及其应用分析
2013年9月4日
矩阵低秩分解理论
1
从稀疏表示到低秩分解
• 稀疏表示
✓压缩感知(Compressed sensing)
矩阵低秩分解理论
2
从稀疏表示到低秩分解
• 矩阵低秩分解
observation
low-rank
sparse
✓ 矩阵低秩稀疏分解(Sparse and low-rank matrix decomposition)
当Ｅ为稀疏的大噪声矩阵时，问题转化为双目标优化问题：
引入折中因子λ，将双目标优化问题转换为单目标优化问题：
矩阵低秩分解理论
5
RPCA的求解
• 凸松弛
矩阵核范数
NP难问题 松弛后
矩阵低秩分解理论
6
迭代阈值算法（iterative thresholding，IT）
将最优化问题正则化，便得到优化问题：
• 图像恢复
矩阵低秩分解理论
15
低秩矩阵恢复应用
• 图像去光照影响恢复
矩阵低秩分解理论
16
低秩矩阵恢复应用
• 视频背景建模
矩阵低秩分解理论
17
低秩矩阵恢复应用
• 图像类别标签净化
矩阵低秩分解理论
18
低秩矩阵恢复应用
• 文本主题分析
传统PCA
RPCA
矩阵低秩分解理论
19
低秩矩阵恢复应用
• 音乐词曲分离