矩阵低秩分解理论
低秩矩阵分解与逼近
机器学习10.低秩矩阵分解主要内容低秩矩阵分解问题L2VS L1主要问题：缺失+噪音 CWMMoG主要内容低秩矩阵分解问题L2VS L1主要问题：缺失+噪音 CWMMoG已知数据：计算两个低秩矩阵目标：使低秩矩阵乘积尽可能重目标使低秩矩阵乘积尽可能重建原矩阵大量应用：运动中的结构检测社交网络/推荐系统(E.g.,Eriksson and Hengel ,2010)人脸建模信息提取(E.g.,Cheng et al., 2012)(E.g., Candes et al.,2012)(E.g. Deerwester et al. 1990)关键问题：☐如何度量原数据与重建数据偏差？性能？最常见误差函数选择：最常见误差函数选择主要内容低秩矩阵分解问题 L2VS L1主要问题：缺失+噪音 CWMMoG各自优劣？L2模型的解为？加正交约束有无影响？L2范数模型L1 范数模型 SVDY oung diagram (CVPR, 2008)T orre&Black (ICCV , 2001) R1PCA (ICML, 2006) L2 Wiberg (IJCV , 2007)LM_S/LM_M (IJCV , 2008)SALS (CVIU, 2010)LRSDP (NIPS, 2010)PCAL1 (PAMI, 2008) ALP/AQP (CVPR, 2005) L1Wiberg (CVPR, 2010, best paper award) RegL1ALM (CVPR, 2012) Damped Wiberg (ICCV , 2011)Weighted SVD (T echnometrics, 1979) WLRA (ICML, 2003)Damped Newton (CVPR, 2005) CWM (AAAI, 2013)Reg-ALM-L1 (CVPR, 2013)L2范数模型L1 范数模型SVDY oung diagram (CVPR, 2008) T orre&Black (ICCV , 2001) R1PCA (ICML, 2006) L2 Wiberg (IJCV , 2007) LM_S/LM_M (IJCV , 2008) SALS (CVIU, 2010) LRSDP (NIPS, 2010)PCAL1 (PAMI, 2008) ALP/AQP (CVPR, 2005)L1Wiberg (CVPR, 2010, best paper award) RegL1ALM (CVPR, 2012)Damped Wiberg (ICCV , 2011)Weighted SVD (T echnometrics, 1979) WLRA (ICML, 2003)Damped Newton (CVPR, 2005) CWM (AAAI, 2013)Reg-ALM-L1 (CVPR, 2013)L2范数模型L1 范数模型优点: 光滑模型优点: 对极端异常点表现稳健算法速度快在无缺失前提下有全局极优缺点: 对异常点与强噪音点表现不稳缺点: 非光滑模型算法速度慢健在高斯噪音下表现不佳R b t P bl 为什么？！Robust Problem为什么对于大误差点的惩罚Mean vs Median 误差分布假设主要内容低秩矩阵分解问题 L2VS L1主要问题：缺失+噪音 CWM MoG数据缺失强噪音{01}⨯d n ,{0,1},∈∈ij W R w 为Hardamard 乘积算子L1低秩矩阵分解模型对异常点与强噪音表现稳健！✓Ke and Kanade, CVPR, 2005✓Eriksson and van den Hengel, CVPR, 2010✓Kwak TPAMI 2008Kwak, TPAMI, 2008✓Wright et al., NIPS, 2009✓Zheng et al., CVPR, 2012✓…L1 Low-Ranki i iMatrix Factorization典型方法:✓ALP: Ke and Kanade, CVPR. 2005Wib L1E ik d d H l CVPR2010✓WibergL1: Eriksson and van den Hengel, CVPR. 2010.✓PCAL1: Kwak, TPAMI. 2008.✓Robust PCA: Wright et al., NIPS. 2009.✓RegL1ALM: Zheng et al., CVPR. 2012✓…优点✓对异常点表现稳健缺点✓非光滑非凸模型✓算法速度慢主要内容低秩矩阵分解问题 L2VS L1主要问题：缺失+噪音 CWM MoGCWMCoordinate D t动机在很多其它机器学习问题中坐标下降算法Descent : 在很多其它机器学习问题中，坐标下降算法已经成为非常有效的计算方法之一LassoRidge RegressionElastic Net. (Friedman et al., 2007; 2010)坐标下降：将原问题分解为针对每个变量元素优化的子问题，然后顺序求解，对L1 LRMF 问题而言：每个子问题均是凸的每个子问题均可通过加权均值滤子快速准确求解算法复杂度与数据大小与维度呈近似线性增长Cyclic Weighted MedianW X UVT()L1难点？CWML1 LRMF 模型可按如下两种方式进行分解11()()-=-∑TTj j j L L W X UV W X u v 11()()=-=-∑Ti i i i j ji L L jW E u v w e u ij v 11()()-=-∑Ti j ji L L W X UV we v ij u jT i j j j i E X u v ≠=-∑, j w 与 j w分别为W 的第j 列和行, i j e 与i j e 分别为i E 的第j 列和行,ij u 与ij v 分别为i u 与i v 的第j 个元素.Cyclic Weighted Median-TW X UV 1()L VSVS.1()-i j ji L w e u ij v 1-i j jj i L w e w u ijv ()-i j ji w e v ij u -i j jj i w e w v ij u 1L 1LCyclic Weighted MedianL1 LRMF 关于U，V的子关于每个变量元素的子问题问题Cyclic Weighted Median每个子问题转换为一个标准的加权均值问题！Cyclic Weighted MedianL1 LRMF 目标函数在迭代过程中单调递减！Cyclic Weighted Median计算复杂度:稠密数据：O(d logd)稀疏数据：O(s logs)稠密数据：O(n logn)稀疏数据：O(s logs)s 为数据矩阵每列/行的本质稀疏度当数据矩阵高度稀疏时, CWM 计算复杂度仅为O((n+d)s), 少于现有最快的算法复杂度O(dn).O((+d)) O(d)Cyclic Weighted Median人工: 100个矩阵，每个大小为7×12，秩为3.Cyclic Weighted Median人脸数据人脸数据：Yale B dataset✓Facedata1 & Facedata2:每组包含64张脸，每个脸大小包含一定程度的缺失与24×21，包含定程度的缺失与椒盐噪声点。
矩阵低秩分解理论课件
多媒体技术与小学语文教学的有效融合【摘要】本文旨在探讨多媒体技术与小学语文教学的有效融合。
在介绍了这一主题的重要性。
在分别从多媒体技术在小学语文教学中的应用、提升教学效果、促进学生学习兴趣、缓解教学难点以及实践案例等方面进行了分析。
随后在总结了多媒体技术与小学语文教学融合的重要性，并探讨了未来多媒体技术在小学语文教学中的发展方向，倡导了深度融合的观点。
通过本文的研究，可以清晰地看到多媒体技术在小学语文教学中的价值和潜力，为提升教学质量和学生学习效果提供了新的思路和方法。
【关键词】多媒体技术、小学语文教学、融合、应用、提升效果、提高兴趣、缓解难点、实践案例、重要性、发展方向、深度融合1. 引言1.1 多媒体技术与小学语文教学的有效融合多媒体技术与小学语文教学的有效融合，是当前教育领域中备受关注的话题。
随着科技的发展和普及，多媒体技术在教育教学中的运用逐渐广泛，而在小学语文教学中，充分利用多媒体技术，将会对学生的语文学习起到积极的促进作用。
语文教学是小学教育的重要组成部分，而多媒体技术的引入使得传统的语文教学方式得到了革新和提升。
通过多媒体技术，教师可以呈现丰富多彩的教学内容，如图文并茂的课件、生动有趣的动画等，这不仅可以激发学生的学习兴趣，还能提升教学效果。
多媒体技术还能够帮助教师解决小学语文教学中的难点和问题，比如词语解释、生字认读等。
通过多媒体技术，这些看似抽象难懂的知识可以被生动形象地呈现出来，使学生更容易理解和掌握。
多媒体技术与小学语文教学的有效融合是一种创新、高效的教学方式，它不仅提升了教学效果，还帮助学生增加学习兴趣，促进了语文素养的提高。
在未来，随着多媒体技术的进一步发展，它将在小学语文教学中发挥出更大的作用，倡导多媒体技术与小学语文教学的深度融合将成为当前教育改革的重要方向。
2. 正文2.1 多媒体技术在小学语文教学中的应用多媒体技术在小学语文教学中的应用是指利用计算机、视频、音频、图像等多种媒体形式，结合教学内容和教学目标，为小学生提供多样化的学习方式和资源。
利用低秩分解去除水下图像后向散射干扰的方法研究
利用低秩分解去除水下图像后向散射干扰的方法研究作者：***来源：《江苏理工学院学报》2020年第04期摘要：區别于陆地，环境光在水下传播时存在吸收散射现象，水下成像过程中伴有散射效应，采集得到的水下图像存在视觉退化问题，其中后向散射在原始图像上形成的“雾化”背景是图像对比度降低的主要原因。
如何减小后向散射造成的影响，是目前水下图像复原技术所关注的主要问题。
基于低秩矩阵分解算法，提出一种新的去除目标后向散射噪声的方法，利用稀疏和低秩矩阵分解将散射分量与目标图像分离，达到去除后向散射的目的。
仿真实验结果表明，该方法可以有效提高全局图像对比度。
关键词：水下图像;后向散射;低秩矩阵;图像复原中图分类号：TP391.41 文献标识码：A 文章编号：2095-7394（2020）04-0071-07随着海洋经济发展和海洋军事活动的多样化，对海洋观测和探测开发的需求迅速增长，使得水下集成作业平台和水下传感技术成为近十几年来的研究热点[1-3]。
目前，声纳技术在大范围探测与远距离通讯方面仍是水下主要的传感手段，其空间分辨率和轻便性也在不断提高，但在近距观测和目标识别方面，光学传感技术由于能够提供更高的时空分辨率和更丰富的图像信息而具有不可替代的优势。
水下光传感技术的主要优势在于，它能够实时获取比声传感更丰富的场景信息。
虽然水下图像处理具有众多的应用，但水下成像环境极其复杂：一方面，水体对光的散射和水中的悬浮杂质等的干扰会使水下图像含有很强的噪声，导致图像质量下降，增加了人们获取信息的难度;另一方面，水体对不同波长的光的吸收强度不同，进而导致衰减程度不同，造成成像色彩的退化，使图像呈现绿色或蓝色，如图1所示。
深入了解水下图像退化过程及原理，对降质图像进行恢复，最大程度保留目标信息、去除噪声等的干扰来还原真实图像，能够为后续的目标识别等提供预处理功能，并获得大量在科学、经济和军事等领域具有实际应用价值的信息。
由于受细小颗粒物，如水分子以及浮尘、泥沙、小型微生物等悬浮物的阻挠，光波在水下的传播会偏离原有的传播轨迹，从而产生散射现象[4]。
矩阵补全原理
矩阵补全原理
矩阵补全是指通过已知的部分矩阵元素，推测出矩阵中未知的部分元素的过程。
这个问题可以形式化为寻找一个与给定的矩阵具有相似性质的矩阵，使得两个矩阵在已知元素的位置上尽可能一致。
矩阵补全的原理可以从以下几个方面来理解：
1. 低秩矩阵假设：矩阵往往具有一定的内在结构，可以用较低维度的矩阵来近似表示。
低秩矩阵假设认为补全后的矩阵可以近似表示为一个低秩矩阵加上一些噪声。
2. 矩阵分解方法：常用的矩阵补全方法是使用矩阵分解技术，例如奇异值分解（Singular Value Decomposition, SVD）和主成分分析（Principal Component Analysis, PCA）。
这些方法可以
将原始矩阵分解为两个或多个矩阵的乘积，通过对其中一个矩阵的补全，得到完整的补全矩阵。
3. 正则化方法：为了解决矩阵补全问题的不确定性，常常引入正则化（regularization）方法来约束补全矩阵的性质。
例如，
核范数正则化（Nuclear Norm Regularization）和L1正则化可
以用来限制补全矩阵的低秩性质和稀疏性质。
4. 优化问题求解：矩阵补全可以看作是优化问题，通过最小化补全矩阵与已知元素之间的差异（例如均方误差）来求解未知元素。
常用的优化方法有基于梯度下降的方法和迭代更新方法。
总而言之，矩阵补全原理可以通过低秩矩阵假设、矩阵分解、正则化方法和优化问题求解来解释。
这些方法可以提供一种通用框架来补全未知的矩阵元素。
lu分解例题及解析
lu分解例题及解析Lu分解法是一种将矩阵分解为低秩矩阵的分解方法，主要应用于数据分析、图像处理等领域。
下面以一个例题来介绍Lu分解法的具体步骤及解析过程。
假设有如下矩阵A:$$\begin{bmatrix}2 & 1 & 4 \\8 & 7 & 2 \\6 & 3 & 5 \\\end{bmatrix}$$步骤1：选取矩阵A的第一行作为初始行，将其作为下三角矩阵L的第一行，确定上三角矩阵U的第一行，即：$$L=\begin{bmatrix}1 & 0 & 0 \\l_{21} & 1 & 0 \\l_{31} & 0 & 1 \\\end{bmatrix},U=\begin{bmatrix}u_{11} & u_{12} & u_{13} \\0 & u_{22} & u_{23} \\0 & u_{32} & u_{33} \\\end{bmatrix}$$那么，可以得到：$$\begin{bmatrix}2 & 1 & 4 \\8 & 7 & 2 \\6 & 3 & 5 \\\end{bmatrix}=\begin{bmatrix}1 & 0 & 0 \\& 1 & 0 \\& & 1 \\\end{bmatrix}\begin{bmatrix}& & \\& & \\& & \\\end{bmatrix}$$因此，需要确定L和U的未知量l21、l31、u11、u12、u13、u22、u23和u33。
步骤2：用第一行的元素对矩阵A进行初等变换，使得第一列的下两个元素都为0，即：$$\begin{bmatrix}2 & 1 & 4 \\8 & 7 & 2 \\6 & 3 & 5 \\\end{bmatrix}\xrightarrow{(R_2-4R_1)}\begin{bmatrix}2 & 1 & 4 \\0 & 3 & -14 \\6 & 3 & 5 \\\end{bmatrix}$$此时，可得到：$$\begin{bmatrix}2 & 1 & 4 \\8 & 7 & 2 \\6 & 3 & 5 \\\end{bmatrix}=\begin{bmatrix}1 & 0 & 0 \\& 1 & 0 \\& & 1 \\\end{bmatrix}\begin{bmatrix}u_{11} & u_{12} & u_{13} \\0 & ? & ? \\0 & ? & ? \\\end{bmatrix}$$可以看出，u11=2，u12=1，u13=4。
低秩分解矩阵
低秩分解矩阵低秩分解矩阵是一种常用的矩阵分解方法，它可以将一个复杂的矩阵分解为两个或多个低秩矩阵的乘积形式。
这种分解方法在很多领域都有广泛的应用，如图像处理、推荐系统、自然语言处理等。
低秩分解矩阵的基本思想是通过降低矩阵的秩来近似表示原始矩阵，从而达到压缩数据、降维处理的目的。
在实际应用中，低秩分解矩阵可以提取矩阵中的主要特征，去除噪声和冗余信息，并且可以通过恢复分解矩阵来重建原始数据。
低秩分解矩阵的最常见形式是奇异值分解（Singular Value Decomposition，SVD）。
SVD将一个矩阵分解为三个矩阵的乘积，即A=UΣV^T，其中U和V是正交矩阵，Σ是对角矩阵。
Σ的对角元素称为奇异值，表示矩阵A在对应的特征向量上的投影长度。
通过保留奇异值较大的部分，可以实现对矩阵的低秩近似。
除了SVD，还有其他一些常用的低秩分解矩阵方法，如主成分分析（Principal Component Analysis，PCA）、非负矩阵分解（Non-negative Matrix Factorization，NMF）等。
这些方法在不同的情况下有不同的适用性，可以根据具体的问题选择合适的方法进行矩阵分解。
在图像处理中，低秩分解矩阵可以用于图像压缩和去噪。
通过将图像矩阵进行低秩分解，可以保留图像的主要特征，同时减少存储空间和传输带宽的需求。
在推荐系统中，低秩分解矩阵可以用于用户兴趣建模和商品特征提取，从而实现个性化的推荐。
在自然语言处理中，低秩分解矩阵可以用于词嵌入和语义分析，帮助计算机理解和处理自然语言。
尽管低秩分解矩阵在很多领域都有广泛的应用，但是它也存在一些局限性。
首先，低秩分解矩阵是一种近似表示方法，分解后的矩阵只能近似地表示原始矩阵，可能会损失一部分信息。
其次，低秩分解矩阵的计算复杂度较高，特别是对于大规模矩阵而言，计算时间和空间开销都会很大。
总的来说，低秩分解矩阵是一种重要的矩阵分解方法，具有广泛的应用前景。
梯度稀疏化、量化、低秩分解、知识蒸馏
梯度稀疏化、量化、低秩分解、知识蒸馏梯度稀疏化（Gradient Sparsity）梯度稀疏化是一种优化方法，旨在通过减少神经网络中参数的数量，从而提高计算效率和模型的泛化能力。
在深度学习中，神经网络的参数通常是通过反向传播算法来进行更新的，而梯度稀疏化则是在这个过程中对梯度进行稀疏化处理。
稀疏化梯度可以通过将梯度中的小值置为零来实现，从而减少了网络中需要更新的参数数量。
这样一来，在网络的训练过程中，可以减少计算量和内存消耗，提高训练速度和模型的泛化能力。
量化（Quantization）量化是一种将模型中的浮点数参数转换为定点数参数的技术。
在深度学习中，神经网络通常使用浮点数来表示参数，但是浮点数的存储和计算成本高。
而量化则是通过将浮点数参数映射为定点数参数，从而减少了参数的存储和计算成本。
量化可以通过将参数的取值范围划分为一定数量的区间，然后用一个定点数来表示每个区间的平均值来实现。
这样一来，可以大大减少参数的位数，提高计算效率和模型的速度。
低秩分解（Low-rank Decomposition）低秩分解是一种将高维参数矩阵分解为低秩矩阵的方法。
在深度学习中，神经网络的参数矩阵通常是高维的，而高维参数矩阵的存储和计算成本高。
而低秩分解则是通过将高维参数矩阵分解为多个低秩矩阵的乘积，从而减少了参数的存储和计算成本。
低秩分解可以通过奇异值分解（Singular Value Decomposition, SVD）等方法来实现。
这样一来，可以减少参数的维度，提高计算效率和模型的速度。
知识蒸馏（Knowledge Distillation）知识蒸馏是一种将大型复杂模型中的知识转移到小型简单模型中的方法。
在深度学习中，大型复杂模型往往具有更好的性能，但是其参数量大，计算复杂度高。
而知识蒸馏则是通过将大型模型的知识（如概率分布、类别信息等）传递给小型模型，从而提高小型模型的性能。
知识蒸馏可以通过在训练过程中引入额外的损失函数来实现，其中包括目标模型的输出和大型模型的输出之间的差异。
基于最大范数的低秩稀疏分解模型_王斯琪
其中式(9)为显式形式可直接求解。式(8)为基于 l1 范数的极小化问题， 其最优解可通过软阈值求得[24]：
Ek +1 = sgn Y - Xk +1 - M k ak
(
)
⋅ max Y - Xk +1 - M k ak - l2 ak , 0
{
}
(10)
3.2 Max 极小化问题 由于式(8)，式(9)易于求解，本节中只详细论述 基于 Max-范数的极小化问题的具体求解过程。 为方 便表述，类似式(7)的 Max 范数极小化问题均可简 化为 2 P (X ) = arg minX t X max + X -W F (11) , R 表 其中W 为已知数据阵， t > 0 为均衡参数。令 L T =X 且 使 得 max{|| L ||2 示 式 (3) 中 满 足 LR 2,¥ ,
1 2 F
,R
2 2,¥
}
(1)
这里 ⋅ 2 2,¥ 为 l2,¥ -范数的平方。
+ ak E -Y + Xk +1 + M k ak M k +1 = M k + ak (Xk +1 + Ek +1 -Y )
/2
(8) (9)
3
Max 极小化模型
矩阵的原始低秩稀疏模型可表述为 ü minX ,E rank(X ) + l E 0 ï ï (2) ý ï s.t. Y = X + E ï ï þ 其中 rank(⋅) 表示低秩矩阵的秩函数， ⋅ 0 表示稀疏矩 阵中非零元的个数， l > 0 为均衡参数。 核范数模型为式(2)模型的常见替代模型[2]，可 表述为 ü minX ,E X * + l E 1 ï ï (3) ý s.t. Y = X + E ï ï ï þ 其中 ⋅ * 为核范数，对于任意矩阵 A 满足 || A ||2 £ 1 时，核范数 || A ||* 为秩函数 rank(A) 的凸包络[9]； ⋅ 1
基于低秩矩阵分解的批量扫描文档图像纠偏
基于低秩矩阵分解的批量扫描文档图像纠偏王恒友;余沾;张长伦;何强【摘要】扫描文档图像纠偏的关键是对图像偏转角度进行快速准确的估计.传统的基于图片自身纹理结构的算法,如Hough变换、Radon变换,不仅易受文档自身特殊结构或噪声影响,而且单幅图像纠偏的平均耗时较长.提出了一种基于低秩矩阵分解理论扫描文档图像的批量纠偏方法,该方法将批量图像构造成一个较大的矩阵,通过迭代对每一列进行适当地旋转,达到矩阵具有较低秩的目的,进而实现对每副图像偏转角度的恰当估计及纠偏.实验结果表明,该方法不仅具有较高纠偏的精度,而且单幅图片的平均耗时也小于现有的图片纠偏算法.【期刊名称】《计算机工程与应用》【年(卷),期】2018(054)017【总页数】6页(P175-179,207)【关键词】低秩矩阵分解;扫描文档图像;批量图像纠偏;Hough变换;Radon变换【作者】王恒友;余沾;张长伦;何强【作者单位】北京建筑大学理学院,北京 100044;北京建筑大学理学院,北京100044;北京建筑大学理学院,北京 100044;北京建筑大学理学院,北京 100044【正文语种】中文【中图分类】TP3111 引言随着信息科学技术的迅速发展，档案存储电子化、图书电子化、工程图纸电子化等越来越广泛。
这些技术的应用通常需要将大量的纸质文档资料，通过扫描转换成电子文档图像。
纸质文档扫描转换过程中受扫描仪走纸机制的影响或其他人为操作等因素的影响，难免使得扫描得到的图像发生一定角度的倾斜，特别是批量文档的扫描更容易产生部分文档的倾斜。
在文档图像的后续处理与使用中，对图像的倾斜都很敏感。
如，文字的自动识别、语义理解、在线翻译等。
因此，能否快速有效地完成大量扫描文档图像的纠偏，是后续图像处理工作能否达到预期效果的关键因素。
目前解决该问题的方案有两种：一是进一步提高单幅文档扫描图像的纠偏速度，对图像进行逐一纠偏，从而实现大量文档扫描图像的快速纠偏。
基于 建模的稳健稀疏 低秩矩阵分解
这里 · ∗ 表示矩阵奇异值之和， 称为矩阵的核范数， ·
然而，实际中的系统往往会受噪声影响，矩阵D不能严格地表示成低秩矩阵与稀疏矩阵之和。为 此，文献[7]在假设 D − A − E F δ(δ > 0)的情况下提出稳定主成分追踪（Stable Principle Component Pursuit， SPCP） ， 并证明求解优化问题（3）所得到的矩阵A与E 的误差平方和以O(δ2 )为上界。
A,E ∈Rm×n
min
A
1/2 S 1/2
+λ E
a la F
(4) δ
s.t.
2
D−A−E
1/2 r 其中 A S 1/2 = ( r ) 表示矩阵A所有奇异值{σi }ii= 对应于S chatten p 范数 p = 1 i=1 σi =1 构成向量的l1/2 范数， 2的 m n a 1/a a 情形， 本文简记为S 1/2 范数。 E la = ( i=1 j=1 |Ei j | ) 表示矩阵E 拉直向量的la 范数， 参数a的选取可采 用如下启发式的方法：δ > 0表示在有噪声情况下对矩阵D进行近似分解，取a = 1即用l1 范数刻画矩阵 1 的一维稀疏性； δ = 0表示对矩阵D进行准确分解， 取a = 2 即用l1/2 范数进一步诱导矩阵的一维稀疏性。
min f ( x) + g(z)
x,z
矩阵低秩分解理论
针对噪声和异常值的问题，未来的研究将更加注重提高低 秩分解的鲁棒性，例如通过引入鲁棒性损失函数或采用鲁 棒性优化算法。
模型融合
为了应对不同应用场景的需求，未来的研究将探索如何将 不同的低秩分解模型进行融合，以充分利用各自的优势。
对未来研究的展望
理论分析
尽管矩阵低秩分解已经在许多领域取得了成功应用，但其理论分析仍然不够完善。未来的研究将进一步深入探索低秩 分解的理论性质，例如收敛性、稳定性等。
将任意矩阵分解为三个矩阵的乘积，其中两个是正交矩阵，一
个是对角矩阵，对角线上的元素即为奇异值。
非负矩阵分解（NMF）
02
要求分解后的矩阵元素非负，适用于处理非负数据，如图像和
文本等。
鲁棒主成分分析（RPCA）
03
将原始矩阵分解为低秩矩阵和稀疏矩阵之和，用于处理含有异
常值和噪声的数据。
低秩分解的优化目标
02 矩阵低秩分解的基本原理
矩阵的秩与低秩性
矩阵的秩
矩阵中线秩性
当矩阵的秩远小于其行数和列数时， 称该矩阵具有低秩性。低秩矩阵意味 着其包含大量冗余信息，可通过降维 技术提取主要特征。
矩阵分解的基本方法
奇异值分解（SVD）
01
改进算法探讨
1 2 3
鲁棒主成分分析（RPCA） RPCA针对含有异常值的数据，通过引入稀疏约 束，将数据分解为低秩部分和稀疏部分，提高算 法的鲁棒性。
增量式矩阵低秩分解
针对大规模数据，增量式算法能够逐步更新矩阵 的低秩分解结果，降低计算复杂度和存储空间需 求。
基于深度学习的矩阵低秩分解
利用深度学习模型强大的特征学习能力，结合传 统的矩阵低秩分解算法，进一步提高算法的性能 和适用性。
矩阵低秩近似
矩阵低秩近似
矩阵低秩近似是一种重要的矩阵分解方法，它可以将一个大型矩阵近似地表示为几个小型矩阵的乘积形式，从而在保持精度的同时大大降低了存储和计算成本。
在实际应用中，矩阵低秩近似被广泛用于数据降维、图像和视频压缩、信号处理、机器学习等领域。
其中，SVD分解是求矩阵低秩近似最常用的方法之一，其基本思想是将原始矩阵分解为三个矩阵的乘积形式，其中一个矩阵是对角矩阵，其对角线上的元素由原始矩阵的奇异值组成。
除了SVD分解之外，还有一些其他的矩阵分解方法也可以用于求解矩阵低秩近似，例如PCA分解、NMF分解、Tucker分解等。
这些方法各有特点，在不同场景下可以提供更好的性能和效果。
总之，矩阵低秩近似是一种十分有用的矩阵分解方法，它可以帮助我们更好地理解和处理大规模数据，并在降低存储和计算成本的同时提高算法的效率和准确性。
- 1 -。
自适应超图正则化低秩矩阵分解
第４１卷第４期２０２３年７月 贵州师范大学学报（自然科学版）ＪｏｕｒｎａｌｏｆＧｕｉｚｈｏｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅｓ）Ｖｏｌ．４１．Ｎｏ．４Ｊｕｌ．２０２３引用格式：李毓静，刘奇龙．自适应超图正则化低秩矩阵分解［Ｊ］．贵州师范大学学报（自然科学版），２０２３，４１（４）：４８ ５７．［ＬＩＹＪ，ＬＩＵＱＬ．Ｌｏｗ ｒａｎｋｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎｗｉｔｈａｄａｐｔｉｖｅｈｙｐｅｒｇｒａｐｈｒｅｇｕｌａｒｉｚｅｒ［Ｊ］．ＪｏｕｒｎａｌｏｆＧｕｉｚｈｏｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅｓ），２０２３，４１（４）：４８ ５７．］自适应超图正则化低秩矩阵分解李毓静，刘奇龙（贵州师范大学数学科学学院，贵州贵阳 ５５００２５）摘要：超图正则化非负矩阵分解（ＨＮＭＦ）是一类常用的数据降维方法。
然而，使用预先构造超图的方法不能较好地反映出样本点间的多元关系。
为解决此问题，设计了一类自适应超图的构造方法，结合非负矩阵分解，建立了自适应超图正则化低秩矩阵分解（ＬＭＦＡＨＲ）模型。
利用乘性更新的方法求解该模型，并证明了该模型的目标函数在迭代过程中单调不增。
数值实验表明：ＬＭＦＡＨＲ算法与经典的低秩矩阵分解算法相比，在ＣＯＩＬ２０数据集上评估指标ＡＣＣ和ＮＭＩ分别有０ ６６％～１ ４８％，０ １９％～１ ４３％的提升，在Ｙａｌｅ数据集上评估指标ＡＣＣ和ＮＭＩ分别有０ ０１％～４ ２９％，０ ３％～８ ４４％的提升。
关键词：矩阵分解；自适应超图；流形学习；聚类中图分类号：Ｏ２４１ 文献标识码：Ａ 文章编号：１００４—５５７０（２０２３）０４－００４８－１０ＤＯＩ：１０．１６６１４／ｊ．ｇｚｎｕｊ．ｚｒｂ．２０２３．０４．００４Ｌｏｗ ｒａｎｋｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎｗｉｔｈａｄａｐｔｉｖｅｈｙｐｅｒｇｒａｐｈｒｅｇｕｌａｒｉｚｅｒＬＩＹｕｊｉｎｇ，ＬＩＵＱｉｌｏｎｇ（ＳｃｈｏｏｌｏｆＭａｔｈｅｍａｔｉｃｓＳｃｉｅｎｃｅ，ＧｕｉｚｈｏｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｇｕｉｙａｎｇ，Ｇｕｉｚｈｏｕ５５００２５，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｈｙｐｅｒｇｒａｐｈｒｅｇｕｌａｒｉｚｅｄｎｏｎ ｎｅｇａｔｉｖｅｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎ（ＨＮＭＦ）ｉｓａｐｏｐｕｌａｒｃｌａｓｓｏｆｄａｔａｄｉｍｅｎｓｉｏｎａｌｉｔｙｒｅｄｕｃｔｉｏｎｍｅｔｈｏｄｓ．Ｈｏｗｅｖｅｒ，ｔｈｅｕｓｅｏｆｐｒｅ ｃｏｎｓｔｒｕｃｔｅｄｈｙｐｅｒｇｒａｐｈｓｄｏｅｓｎｏｔｂｅｔｔｅｒｒｅ ｆｌｅｃｔｔｈｅｍｕｌｔｉｖａｒｉａｔｅｒｅｌａｔｉｏｎｓｈｉｐｓａｍｏｎｇｓａｍｐｌｅｐｏｉｎｔｓ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ａｃｌａｓｓｏｆａｄａｐｔｉｖｅｈｙ ｐｅｒｇｒａｐｈｃｏｎｓｔｒｕｃｔｉｏｎｍｅｔｈｏｄｓｉｓｄｅｖｅｌｏｐｅｄ，ａｎｄａｌｏｗ ｒａｎｋｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎｗｉｔｈａｄａｐｔｉｖｅｈｙｐｅｒｇ ｒａｐｈｒｅｇｕｌａｒｉｚｅｒ（ＬＭＦＡＨＲ）ｍｏｄｅｌｉｓｅｓｔａｂｌｉｓｈｅｄｉｎｃｏｍｂｉｎａｔｉｏｎｗｉｔｈｎｏｎｎｅｇａｔｉｖｅｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎ．Ｔｈｅｍｕｌｔｉｐｌｉｃａｔｉｖｅｕｐｄａｔｉｎｇｍｅｔｈｏｄｉｓｕｓｅｄｔｏｓｏｌｖｅｔｈｅｍｏｄｅｌ，ａｎｄｉｔｉｓｐｒｏｖｅｄｔｈａｔｔｈｅｏｂｊｅｃｔｉｖｅｆｕｎｃ ｔｉｏｎｏｆｔｈｅｍｏｄｅｌｉｓｍｏｎｏｔｏｎｉｃａｌｌｙｎｏｎ ｉｎｃｒｅａｓｉｎｇｉｎｔｈｅｉｔｅｒａｔｉｖｅｐｒｏｃｅｓｓ．ＴｈｅｅｘｐｅｒｉｍｅｎｔｓｏｎｉｍａｇｅｄａｔａｓｅｔｓＣＯＩＬ２０ａｎｄＹａｌｅｓｈｏｗｔｈａｔ：Ｃｏｍｐａｒｅｄｔｏｔｈｅｏｔｈｅｒａｌｇｏｒｉｔｈｍｓ，ＬＭＦＡＨＲａｌｇｏｒｉｔｈｍｉｍｐｒｏｖｅｓＡＣＣａｎｄＮＭＩｂｙ０．６６％～１．４８％ａｎｄ０．１９％～１．４３％ｏｎＣＯＩＬ２０ｄａｔａｓｅｔｓ，ｒｅｓｐｅｃｔｉｖｅｌｙ，ａｎｄｉｍ ｐｒｏｖｅｓＡＣＣａｎｄＮＭＩｂｙ０．０１％～４．２９％ａｎｄ０．３％～８．４４％ｏｎＹａｌｅｄａｔａｓｅｔｓ，ｒｅｓｐｅｃｔｉｖｅｌｙ．Ｋｅｙｗｏｒｄｓ：ｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎ；ａｄａｐｔｉｖｅｈｙｐｅｒｇｒａｐｈ；ｍａｎｉｆｏｌｄｌｅａｒｎｉｎｇ；ｃｌｕｓｔｅｒｉｎｇ８４收稿日期：２０２２－１１－２９基金项目：国家自然科学基金资助项目（１２０６１０２５）；贵州省教育厅自然科学研究资助项目（黔教合ＫＹ字［２０２１］２９８） 通讯作者：刘奇龙（１９８８－），男，博士，副教授，研究方向：数值代数，Ｅ ｍａｉｌ：ｑｌｌｉｕ＠ｇｚｎｕ．ｅｄｕ．ｃｎ．Copyright ©博看网. All Rights Reserved.０ 引言 低秩矩阵分解常用于信息检索，数据压缩和降维等领域［１］。
基于稀疏矩阵变换的电网故障电流快速算法
基于稀疏矩阵变换的电网故障电流快速算法陈志光;范幸;李一泉;朱峥;邱建;黄明辉【摘要】结合稀疏矩阵低阶更新算法和低秩分解理论，提出一种电网故障电流快速算法。
首先，基于对称分量法将故障引起的网络结构变化用经过相序变换的修正导纳矩阵表示；然后，根据非负矩阵分解原理将其变换成2个低秩矩阵乘积的形式；最后，利用已形成的因子表，采用低阶更新算法实现故障后网络电流的快速计算。
新算法充分利用了电力网络节点导纳矩阵的稀疏特征，对其进行低阶分解处理，大大减少了等值阻抗的计算量，提高了短路电流的计算速度。
分别在 IEEE-14、IEEE-30、IEEE-118和 IEEE-1047节点系统对新算法进行测试，并与传统的修正导纳矩阵法进行对比，结果表明新方法的计算精度能满足工程要求，在大规模系统中计算速度的优势明显。
%Combining sparse matrix low rank update algorithm and low rank decomposition theory,a kind of fast algorithm for power grid faulted current was proposed.Firstly,change of network structure caused by fault was shown by modified ad-mittance matrix after phase-sequence transformation.Then,according to non-negative matrix decomposition principle,the modified admittance matrix was transformedto form of product of two low rank matrix.Finally,the formed factor table and low rank update algorithm was used to realized fast calculation on network current after the fault.The new algorithm fully used sparse characteristic of admittance matrix of electric power network nodes to deal with low rank decomposition which greatly reduced calculated amount for equivalent impedence and improved calculation speed for short circuit current. IEEE-14 node system,IEEE-30 node system,IEEE-1 1 8 node systemand IEEE-1047 node system was respectively used for testing the new algorithm and compared results of the new algorithm with those of traditional modified admittance matrix methods.Results indicates that calculation precision of the new method could satisfy engineering requirements which is of obvious advantage in calculation speed for large scale system.【期刊名称】《广东电力》【年(卷),期】2015(000)009【总页数】6页(P50-55)【关键词】稀疏矩阵;低阶更新;低秩分解;修改导纳;故障电流【作者】陈志光;范幸;李一泉;朱峥;邱建;黄明辉【作者单位】广东电网有限责任公司电力调度控制中心，广东广州 510000;杭州智光一创科技有限公司，浙江杭州 310058;广东电网有限责任公司电力调度控制中心，广东广州 510000;广东电网有限责任公司电力调度控制中心，广东广州510000;广东电网有限责任公司电力调度控制中心，广东广州 510000;广东电网有限责任公司电力调度控制中心，广东广州 510000【正文语种】中文【中图分类】TM711.2随着电网负荷容量的不断增大、大容量发电机组和变电设备的大量投入以及大规模集中式风电等新能源基地的电源通过高电压等级网络与负荷中心的互联，电网负荷中心与电源的电气距离逐渐缩短，系统的短路电流水平逐渐增大，电网某些区域的线路和母线甚至出现短路电流临近极限的状况，严重威胁着大电网的安全稳定运行。
基于低秩矩阵分解的光场稀疏采样及重构
第 ５ 期
光 学 精 密 工 程
Ｏｐ ｔ ｉ ｃ ｓ ａ ｎｄ Ｐｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ Ｅｎ ｇｉ ｎｅ ｅ ｒ ｉ ｎｇ
Ｖｏ １ ． ２ ５ Ｎｏ ． ５
Ｍ ａｙ ２ ０１７
２ ０ １ ７年 ５月
文章编号
１ ０ ０ ４ — ９ ２ ４ Ｘ（ ２ ０ １ ７ ） ０ ５ — １ １ ７ １ — ０ ７
关 键 词： 计算成像 ； 光 场 成像 ； 低秩稀 疏分解； 压缩采样 ； 图像 重 构
文献标识码 ： Ａ ｄ ｏ ｉ ： １ ０ ． ３ ７ ８ ８ ／ Ｏ Ｐ Ｅ ． ２ ０ １ ７ ２ ５ ０ ５ ． １ １ ７ １
中 图分 类 号 ： Ｔ Ｎ９ ｌ １ ． ７ ４ ； Ｔ Ｐ ３ ９ １ ． ４ １
ＱＩ Ｎ Ｙａ － ｌ ｉ ，ＺＨＡＮＧ Ｘｉ ａ ｏ — ｓ ｈ ｕ ａ ｉ ，ＹＵ Ｌｉ ｎ － ｑ ｉ ａ ｎ
（ Ｃ ｏ ｌ ｌ ｅ ｇ ｅ ｏ ｆ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ， Ｚ ｈ ｅ ｊ ｉ ａ ｎ ｇ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ， Ｈａ ｎ ｇ ｚ ｈ ｏ ｕ ３ １ ０ ０ ２ ３ ， Ｃ ｈ ｉ ｎ ａ ）
Ｓ ｐａ ｒ ｓ ｅ ｓ ａ ｍｐ ｌ ｉ ｎｇ ａ ｎ ｄ ｒ ｅ ｃ ｏ ｎｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ ｏ ｆ ｃ ｏ ｍ ｐｒ ｅ ｓ ｓ ｉ ｖ ｅ ｌ ｉ ｇ ｈ ｔ ｆ ｉ ｅ ｌ ｄ
ｖ ｉ ａ ｌ ｏ ｗ－ － ｒ ａ ｎ ｋ ｍａ ｔ ｒ ｉ ｘ ｄ ｅ ｃ ｏ ｍｐ ｏ ｓ ｉ ｔ ｉ ｏ ｎ
ｉ ｍａ ｇ ｅ ｓ ｕｎ ｄｅ ｒ ｃ ｏ ｍ ｐｒ ｅ ｓ ｓ ｉ ｖ ｅ ｓ ａ ｍｐｌ ｉ ｎ ｇ． Ａｃ ｃ ｏｒ ｄ ｉ ｎｇ ｔ ｏ ｃ ｏ ｎｔ ｅ ｎｔ ｓ ｉ ｍｉ ｌ ａ ｒ ｉ ｔ ｉ ｅ ｓ ｂ ｅ ｔ ｗｅ ｅ ｎ ｅ ａ ｃ ｈ ｖｉ ｅ ｗｐｏ ｉ ｎ ｔ ｉ ｍａ ｇｅ ｉ ｎ ｓ ｔ ａ ｔ ｉ ｃ ｌ ｉ ｇｈｔ ｆ ｉ ｅ ｌ ｄ， ｔ ｈｏ ｓ ｅ ｉ ｍａ ｇ ｅ ｓ ｗｅ ｒ ｅ ｖ ｅ ｃ ｔ— ｄ ｉ ｍｅ ｎｓ ｉ ｏ ｎａ ｌ ｍａ ｔ ｒ ｉ ｘ ｂ ｙ ｃ ｏ ｌ ｕｍｎｓ ． Ｔｈｅ
矩阵低秩分解理论PPT课件
低秩矩阵恢复（Low-rank Matrix Recovery）
鲁棒主成分分析(Robust principle component analysis, RPCA)
低秩稀疏非相干分解(Rank-sparsity incoherence)
3
预备知识
4
低秩矩阵恢复（鲁棒主成分分析RPCA）
8
加速近端梯度算法（accelerated proximal
gradient，APG）
为了得到更新ＹA和ＹE时的步长，需先确定参数ｔk+1： 于是ＹA和ＹE的迭代更新公式为: 参数μ的迭代公式为 其中： 为事先给定的正数；0＜η＜１。 尽管ＡＰＧ与ＩＴ算法类似，但它却大大降低了迭代次数。
9
对偶方法（DUL）
min Ａ,Ｅ Ｌ(Ａ,Ｅ,Ｙk,μ k )。
• 使用精确拉格朗日乘子法交替迭代矩阵Ａ和Ｅ，直到满足终止条件为
止。若
则
11
• 再更新矩阵Ｅ:
•记
分别收敛于
• 最后更新参数μ：
，则矩阵Ｙ的更新公式为
其中：ρ＞１为常数；ε＞０为比较小的正数。
12
交替方向方法（alternating direction
• 构造上述优化问题的增广拉格朗日乘子函数为
•当
时,Ｘ的更新公式为
Ｚ的更新公式为
Ｅ的更新公式为
拉格朗日乘子的迭代公式为
参数μ的更新式为
29
低秩矩阵表示的应用
• 图像分割
B. Cheng et al. Multi-task Low-rank Affinity Pursuit for Image Segmentation, ICCV 2011.
当Ａ＝Ａk+1，Ｙ＝Ｙk时，
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
参数μ的迭代公式为 其中： 为事先给定的正数；0＜η＜１。 尽管ＡＰＧ与ＩＴ算法类似，但它却大大降低了迭代次数。
对偶方法（DUL）
• 由于核范数的对偶范数为谱范数，所以优化问题的对偶问题 为： 其中： 表示矩阵元素绝对值最大 的值。当优化问题对偶式取得最优值 时，必定满足 即此优化问题等价于： 上述优化问题是非线性、非光滑的，可以使用最速上升法求 解。当 时，定义正规锥 其中 表示函数Ｊ(.)的次梯度。此时，优化问题的最速 上升方向为Ｗｋ＝Ｄ－Ｄk，其中Ｄk为Ｄ在Ｎ(Ｙk)上的投影。 使用线性搜索方法确定步长大小： • 于是Ｙk的更新过程为 • DULL比APG算法具有更好的可扩展性，这是因为在每次迭 代过程中对偶方法不需要矩阵的完全奇异值分解。
• 记
分别收敛于
，则矩阵Ｙ的更新公式为
• 最后更新参数μ：
其中：ρ＞１为常数；ε＞０为比较小的正数。
交替方向方法（alternating
methods，ADM，IALM）
direction
• ADM对ALM做了改善，即不精确拉格朗日乘子法（inexactALM 它不需要求 的精确解，即矩阵Ａ和Ｅ的迭代更 新公式为：
低秩矩阵表示（LRR）
为了对噪声和野点更加鲁棒，一个更合理的模型为：
一般意义上的LRR可以看做：
低秩矩阵表示求解
• 构造上述优化问题的增广拉格朗日乘子函数为 • 当 时,Ｘ的更新公式为
Ｚ的更新公式为 Ｅ的更新公式为 拉格朗日乘子的迭代公式为 参数μ的更新式为
低秩矩阵表示的应用
• 图像分割
B. Cheng et al. Multi-task Low-rank Affinity Pursuit for Image Segmentation, ICCV 2011.
增广拉格朗日乘子法（augmented
multipliers,ALM）
• 构造增广拉格朗日函数：
Lagrange
• 当Ｙ＝Ｙk，μ＝μ k ，使用交替式方法求解块优化问题 min Ａ,Ｅ Ｌ(Ａ,Ｅ,Ｙk,μ k )。 • 使用精确拉格朗日乘子法交替迭代矩阵Ａ和Ｅ，直到满足终止条件为 止。若 则
• 再更新矩阵Ｅ:
低秩矩阵表示新近的发展研究
• Fixed Rank Representation (FRR)
Liu, Lin, Torre, and Su, Fixed-Rank Representation for Unsupervised Visual Learning, CVPR 2012.
低秩矩阵表示新近的发展研究
• Kernel LRR
Wang et al., Structural Similarity and Distance in Learning, Annual Allerton Conf. Communication, Control and Computing 2011.
低秩矩阵表示新近的发展研究
其中： 表示函数ｆ(Ａ,Ｅ)关于矩阵变量Ａ和Ｅ的Ｆｒéｃｈｅ ｔ梯度。此处取Lf =２。对于给定的与Ｄ同型的两个矩阵ＹA和ＹE，作 Ｌ(Ａ,Ｅ,μ)的部分二次逼近：
加速近端梯度算法（accelerated
gradient，APG）
proximal
为了得到更新ＹA和ＹE时的步长，需先确定参数ｔk+1： 于是ＹA和ＹE的迭代更新公式为:
低秩矩阵表示的应用
• 显著性检测
Lang et al. Saliency Detection by Multitask Sparsity Pursuit. IEEE TIP 2012.
低秩矩阵表示新近的发展研究
• Latent LRR
Liu and Yan. Latent Low-Rank Representation for Subspace Segmentation and Feature Extraction, ICCV 2011.
矩阵低秩分解理论及其应用分析
成科扬 2013年9月4日
从稀疏表示到低秩分解
• 稀疏表示
压缩感知(Compressed sensing)
从稀疏表示到低秩分解
• 矩阵低秩分解
observation
low-rank
sparse
矩阵低秩稀疏分解(Sparse and low-rank matrix decomposition) 低秩矩阵恢复（Low-rank Matrix Recovery） 鲁棒主成分分析(Robust principle component analysis, RPCA) 低秩稀疏非相干分解(Rank-sparsity incoherence)
• 基于低秩张量应用研究
低秩矩阵表示新近的发展研究
• 基于低秩张量应用研究
稀疏表示和矩阵低秩分解类比
研究展望：
• 理论方面： 需要研究在稀疏性或(和) 低秩性之外, 如何 更进一步地去发现和利用数据中潜在的本质结构。 • 算法方面： 需要充分利用问题的结构和现有的硬件条件, 开发快速的、并行的算法变性。 • 应用方面： 需要根据应用问题本身的物理意义, 设计合理 的数学模型, 使用现代凸优化方法进行高效的求解。
加速近端梯度算法（accelerated
APG）
proximal gradient，
• 将优化问题式的等式约束松弛到目标函数中，得到如下的拉格朗日函 数： 记 • 于是L(Ａ,Ｅ,μ)=ｇ(Ａ,Ｅ,μ)+ｆ(Ａ,Ｅ)。函数ｇ(Ａ,Ｅ,μ)不可微，而ｆ (Ａ,Ｅ)光滑且具有李普希兹连续梯度，即存在Lf＞0，使得
• 音乐词曲分离
低秩矩阵恢复应用
• 图像矫正与去噪
低秩矩阵恢复应用
• 图像对齐
低秩矩阵补全
• 当数据矩阵Ｄ含丢失元素时，可根据矩阵的低秩结构来恢 复矩阵的所有元素，称此恢复过程为矩阵补全（ＭＣ）。 • 记Ω为集合［ｍ］×［ｎ］的子集，这里［ｍ］表示集合 ｛１,２,…,ｍ｝。ＭＣ的原始模型可描述为如下的优化问 题： 其中： 为一线性投影算子，即
RPCA的求解
• 凸松弛
NP难问题 松弛后
矩阵核范数
迭代阈值算法（iterative thresholding，IT）
将最优化问题正则化，便得到优化问题： 优化问题式的拉格朗日函数为
使用迭代阈值算法交替更新矩阵Ａ,Ｅ和Ｙ。当Ｅ=Ｅk，Ｙ=Ｙk时，
当Ａ＝Ａk+1，Ｙ＝Ｙk时，
当Ａ＝Ａk+1 ，Ｅ＝Ｅk+1时， 其中：步长δk满足０＜ δk ＜1 • ＩＴ算法的迭代式形式简单且收敛，但它的收敛速度比较慢，且难以选取合适的步长
求解方法性能比较
低秩矩阵恢复应用
• 图像恢复
低秩矩阵恢复应用
• 图像去光照影响恢复
低秩矩阵恢复应用
• 视频背景建模
Candès, Li, Ma, and W., JACM, May 2011.
低秩矩阵恢复应用
• 图像类别标签净化
低秩矩阵恢复应用
• 文本主题Байду номын сангаас析
传统PCA
RPCA
低秩矩阵恢复应用
• 为便于优化，凸松弛后转化为：
低秩矩阵补全求解
• ＭＣ问题可应用ＡＬＭ算法求解，将原优化问题重新表示为： 于是构造上述问题的部分增广拉格朗日函数为
低秩矩阵补全应用
• 智能推荐系统
低秩矩阵补全应用
• 电影去雨线处理
低秩矩阵表示（LRR）
• 低秩矩阵表示（LRR）是将数据集矩阵Ｄ表示成字典矩阵 Ｂ（也称为基矩阵）下的线性组合，即Ｄ＝ＢＺ，并希望 线性组合系数矩阵Ｚ是低秩的。为此，需要求解下列优化 问题： 为便于优化，凸松弛后转化为： 若选取数据集Ｄ本身作为字典，则有 那么其解为 ，这里 是D的SVD分解。 当D是从多个独立子空间的采样组合，那么 为对角块矩 阵，每个块对应着一个子空间。此即为子空间聚类（Sparse Subspace Clustering）。
预备知识
低秩矩阵恢复（鲁棒主成分分析RPCA）
• 在许多实际应用中，给定的数据矩阵Ｄ往往是低秩或近似低 秩的，但存在随机幅值任意大但是分布稀疏的误差破坏了原 有数据的低秩性，为了恢复矩阵Ｄ的低秩结构，可将矩阵Ｄ 分解为两个矩阵之和，即Ｄ＝Ａ＋Ｅ，其中矩阵Ａ和Ｅ未知， 但Ａ是低秩的。当矩阵Ｅ的元素服从独立同分布的高斯分布 时，可用经典的PCA来获得最优的矩阵Ａ，即求解下列最优 化问题： 当Ｅ为稀疏的大噪声矩阵时，问题转化为双目标优化问题： 引入折中因子λ，将双目标优化问题转换为单目标优化问题：