矩阵低秩分解理论

低秩矩阵表示的应用
• 显著性检测
Lang et al. Saliency Detection by Multitask Sparsity Pursuit. IEEE TIP 2012.
低秩矩阵表示新近的发展研究
• Latent LRR
Liu and Yan. Latent Low-Rank Representation for Subspace Segmentation and Feature Extraction, ICCV 2011.
矩阵低秩分解理论及其应用分析
成科扬 2013年9月4日
从稀疏表示到低秩分解
• 稀疏表示
压缩感知(Compressed sensing)
从稀疏表示到低秩分解
• 矩阵低秩分解
observation
low-rank
sparse

矩阵低秩稀疏分解(Sparse and low-rank matrix decomposition) 低秩矩阵恢复（Low-rank Matrix Recovery） 鲁棒主成分分析(Robust principle component analysis, RPCA) 低秩稀疏非相干分解(Rank-sparsity incoherence)
• 为便于优化，凸松弛后转化为：
低秩矩阵补全求解
• ＭＣ问题可应用ＡＬＭ算法求解，将原优化问题重新表示为： 于是构造上述问题的部分增广拉格朗日函数为
低秩矩阵补全应用
• 智能推荐系统
低秩矩阵补全应用
• 电影去雨线处理
低秩矩阵表示（LRR）
• 低秩矩阵表示（LRR）是将数据集矩阵Ｄ表示成字典矩阵 Ｂ（也称为基矩阵）下的线性组合，即Ｄ＝ＢＺ，并希望 线性组合系数矩阵Ｚ是低秩的。为此，需要求解下列优化 问题： 为便于优化，凸松弛后转化为： 若选取数据集Ｄ本身作为字典，则有 那么其解为 ，这里 是D的SVD分解。 当D是从多个独立子空间的采样组合，那么 为对角块矩 阵，每个块对应着一个子空间。此即为子空间聚类（Sparse Subspace Clustering）。
其中： 表示函数ｆ(Ａ,Ｅ)关于矩阵变量Ａ和Ｅ的Ｆｒéｃｈｅ ｔ梯度。此处取Lf =２。对于给定的与Ｄ同型的两个矩阵ＹA和ＹE，作 Ｌ(Ａ,Ｅ,μ)的部分二次逼近：
加速近端梯度算法（accelerated
gradient，APG）
proximal
为了得到更新ＹA和ＹE时的步长，需先确定参数ｔk+1： 于是ＹA和ＹE的迭代更新公式为:
低秩矩阵表示（LRR）
为了对噪声和野点更加鲁棒，一个更合理的模型为：
一般意义上的LRR可以看做：
低秩矩阵表示求解
• 构造上述优化问题的增广拉格朗日乘子函数为 • 当 时,Ｘ的更新公式为
Ｚ的更新公式为 Ｅ的更新公式为 拉格朗日乘子的迭代公式为 参数μ的更新式为
低秩矩阵表示的应用
• 图像分割
B. Cheng et al. Multi-task Low-rank Affinity Pursuit for Image Segmentation, ICCV 2011.
• Kernel LRR
Wang et al., Structural Similarity and Distance in Learning, Annual Allerton Conf. Communication, Control and Computing 2011.
低秩矩阵表示新近的发展研究
参数μ的迭代公式为 其中： 为事先给定的正数；0＜η＜１。 尽管ＡＰＧ与ＩＴ算法类似，但它却大大降低了迭代次数。
对偶方法（DUL）
• 由于核范数的对偶范数为谱范数，所以优化问题的对偶问题 为： 其中： 表示矩阵元素绝对值最大 的值。当优化问题对偶式取得最优值 时，必定满足 即此优化问题等价于： 上述优化问题是非线性、非光滑的，可以使用最速上升法求 解。当 时，定义正规锥 其中 表示函数Ｊ(.)的次梯度。此时，优化问题的最速 上升方向为Ｗｋ＝Ｄ－Ｄk，其中Ｄk为Ｄ在Ｎ(Ｙk)上的投影。 使用线性搜索方法确定步长大小： • 于是Ｙk的更新过程为 • DULL比APG算法具有更好的可扩展性，这是因为在每次迭 代过程中对偶方法不需要矩阵的完全奇异值分解。
加速近端梯度算法（accelerated
APG）
proximal gradient，
• 将优化问题式的等式约束松弛到目标函数中，得到如下的拉格朗日函 数： 记 • 于是L(Ａ,Ｅ,μ)=ｇ(Ａ,Ｅ,μ)+ｆ(Ａ,Ｅ)。函数ｇ(Ａ,Ｅ,μ)不可微，而ｆ (Ａ,Ｅ)光滑且具有李普希兹连续梯度，即存在Lf＞0，使得
• 记
分别收敛于
，则矩阵Ｙ的更新公式为
• 最后更新参数μ：
其中：ρ＞１为常数；ε＞０为比较小的正数。
交替方向方法（alternating
methods，ADM，IALM）
direction
• ADM对ALM做了改善，即不精确拉格朗日乘子法（inexactALM 它不需要求 的精确解，即矩阵Ａ和Ｅ的迭代更 新公式为：
增广拉格朗日乘子法（augmented
multipliers,ALM）
• 构造增广拉格朗日函数：
Lagrange
• 当Ｙ＝Ｙk，μ＝μ k ，使用交替式方法求解块优化问题 min Ａ,Ｅ Ｌ(Ａ,Ｅ,Ｙk,μ k )。 • 使用精确拉格朗日乘子法交替迭代矩阵Ａ和Ｅ，直到满足终止条件为 止。若 则
• 再更新矩阵Ｅ:
低秩矩阵表示新近的发展研究
• Fixed Rank Representation (FRR)
Liu, Lin, Torre, and Su, Fixed-Rank Representation for Unsupervised Visual Learning, CVPR 2012.
低秩矩阵表示新近的发展研究
• 音乐词曲分离
低秩矩阵恢复应用
• 图像矫正与去噪
低秩矩阵恢复应用
• 图像对齐
低秩矩阵补全
• 当数据矩阵Ｄ含丢失元素时，可根据矩阵的低秩结构来恢 复矩阵的所有元素，称此恢复过程为矩阵补全（ＭＣ）。 • 记Ω为集合［ｍ］×［ｎ］的子集，这里［ｍ］表示集合 ｛１,２,…,ｍ｝。ＭＣ的原始模型可描述为如下的优化问 题： 其中： 为一线性投影算子，即
• 基于低秩张量应用研究
Βιβλιοθήκη Baidu
低秩矩阵表示新近的发展研究
• 基于低秩张量应用研究
稀疏表示和矩阵低秩分解类比
研究展望：
• 理论方面： 需要研究在稀疏性或(和) 低秩性之外, 如何 更进一步地去发现和利用数据中潜在的本质结构。 • 算法方面： 需要充分利用问题的结构和现有的硬件条件, 开发快速的、并行的算法变性。 • 应用方面： 需要根据应用问题本身的物理意义, 设计合理 的数学模型, 使用现代凸优化方法进行高效的求解。
求解方法性能比较
低秩矩阵恢复应用
• 图像恢复
低秩矩阵恢复应用
• 图像去光照影响恢复
低秩矩阵恢复应用
• 视频背景建模
Candès, Li, Ma, and W., JACM, May 2011.
低秩矩阵恢复应用
• 图像类别标签净化
低秩矩阵恢复应用
• 文本主题分析
传统PCA
RPCA
低秩矩阵恢复应用
预备知识
低秩矩阵恢复（鲁棒主成分分析RPCA）
• 在许多实际应用中，给定的数据矩阵Ｄ往往是低秩或近似低 秩的，但存在随机幅值任意大但是分布稀疏的误差破坏了原 有数据的低秩性，为了恢复矩阵Ｄ的低秩结构，可将矩阵Ｄ 分解为两个矩阵之和，即Ｄ＝Ａ＋Ｅ，其中矩阵Ａ和Ｅ未知， 但Ａ是低秩的。当矩阵Ｅ的元素服从独立同分布的高斯分布 时，可用经典的PCA来获得最优的矩阵Ａ，即求解下列最优 化问题： 当Ｅ为稀疏的大噪声矩阵时，问题转化为双目标优化问题： 引入折中因子λ，将双目标优化问题转换为单目标优化问题：
RPCA的求解
• 凸松弛
NP难问题 松弛后
矩阵核范数
迭代阈值算法（iterative thresholding，IT）
将最优化问题正则化，便得到优化问题： 优化问题式的拉格朗日函数为
使用迭代阈值算法交替更新矩阵Ａ,Ｅ和Ｙ。当Ｅ=Ｅk，Ｙ=Ｙk时，
当Ａ＝Ａk+1，Ｙ＝Ｙk时，
当Ａ＝Ａk+1 ，Ｅ＝Ｅk+1时， 其中：步长δk满足０＜ δk ＜1 • ＩＴ算法的迭代式形式简单且收敛，但它的收敛速度比较慢，且难以选取合适的步长