Sparse and Low-Rank Matrix Decompositions

Sparse and Low-Rank Matrix Decompositions

摘要：我们考虑如下的基本问题：给定一个由未知稀疏矩阵和未知的低秩矩阵的和的矩阵，能够精确的恢复他们吗？这种恢复的能力有很大的用处在许多领域，一般情况下，这个目标是病态的和NP难的。本文提出了如下的研究：（a）一个新的矩阵不确定性原则；（b）一个简单的基于凸优化的精确分解方法。我们的不确定规则是一个量化的概念，即矩阵不可能稀疏当有漫行列空间时。他决定了什么时候分解问题是病态的，并形成了我们的分解方法和分析基础。我们提出决定条件—在稀疏和低秩元素上—在这种条件下我们的方法可以精确的恢复。

1、引言

给定一个由未知稀疏矩阵和未知低秩矩阵加和的矩阵，我们研究如何把矩阵分开为稀疏成分和低秩成分。这样的问题在很多领域得到应用，比如：统计模型选择，机器学习，系统鉴别，计算复杂度理论，及光学等。本文我们提出在何种条件下这个分解问题是适定的，例如，稀疏和低秩成分在根本上是可识别的，目前的凸松弛精确的恢复稀疏和低秩成分。

主要结果：令，是一个稀疏矩阵，是一个低秩矩阵。给定矩阵C后，目标是在不知道的稀疏模式和的秩或奇异值的情况下恢复和。在没

有额外条件下这个问题是完全不适定的。在很多条件下，一个特定的解是不存在的；比如说低秩矩阵本身就稀疏，这就使得很难从另一个稀疏矩阵中唯一的区别出来。为了知道何时精确解所示可能的，我们定义了新的秩-稀疏不相关概念，他通过一个不确定原则将矩阵的稀疏模式和矩阵的行或列空间联系到一起。我们的分析是几何形式的，并且从切空间到稀疏和低秩矩阵代数簇扮演了重要的角色。

解决这样的分解问题是NP难的。一个合理的首要方法是最小化，满足约束条件A+B=C，式中，作为稀疏和秩的折中。这个问题在解决上是复杂且顽固的；我们提出一个较好的凸优化问题，目标是

的凸松弛。我们松弛

通过用L1范数来代替他，他表示矩阵A中所有元素绝对值的和。我们松弛通过用核范数来代替他，核范数是矩阵B的奇异值的和。注意到核范数可以被看作是‘L1范数’施加到奇异值上（即矩阵的秩是非零奇异值的个数）。L1范数和核范数是

非常好的替代品，并且一些结果给出在一些条件下这些松弛可以恢复稀疏和低秩对象。因此，我们得目的是把C分解为，用如下的凸松弛：

我们可以把（1）式转会为一个半定问题（SDP）【18】，并且这个半定问题存在多项式时间内的通用求解器。我们指出，稀疏和低秩矩阵在特定条件下，SDP式（1）的最优特定解是。事实上，精确恢复的条件只是基础辨识条件的轻度紧缩。本质上这些条件需要稀疏矩阵没有集中在一个行或列上的支撑，而低秩矩阵没有行或列空间与坐标轴严格对齐。我们的条件的一个有趣的特点是对稀疏矩阵非零值和低秩矩阵的奇异值的幅度没有假设要求。我们同时给出的数值决定方式。本文不给出结果的详细的证明。在【3】中有证明。

应用：我们简要的列出我们的方法的部分应用；【3】中有更详细的细节。在统计模型选择设置上，稀疏矩阵可以和高斯图模型相关【11】，低秩矩阵可以总结未观察，潜在变量的效果。把一个给定的模型分解为这些简单的部分对研究有效的评估和推理算法是很有用的。在计算复杂度上，矩阵刚性的概念捕捉矩阵（矩阵应该改变（这种变化可以是任意幅度的变化），为了减小矩阵的秩到特定的水平之下）元素的最小值。矩阵的刚性界复杂性理论中有几个意义。相似的，在系统鉴定设置上，低秩矩阵代表系统的一个小的模型阶，而稀疏矩阵代表系统有一个稀疏冲击响应。把系统分解为这

些简单的成分可以提供简单的更有效的描述。在光学上，许多现实世界的图像成像系统有效的描述为一个对角矩阵（代表所谓的‘非相干’系统）和一个低秩矩阵（相干分量）的和。我们的结果提供好的方法来描述一个有简单系统组成的复合光学系统。更一般地，我们的方法同时也扩展秩最小化的适用性，比如说光谱数据分析。

II、可识别性

就像在引言中介绍的那样，在没有额外条件下矩阵分解问题是病态问题。本节中，我们讨论和量化使分解唯一的所需要的加在稀疏和低秩矩阵上的假设条件。贯穿全文，我们把我们限制在的矩阵来避免杂乱的符号。我们的分析扩展到矩形矩阵，如果我们用代替n。

A、准备工作

我们首先以简单的描述和稀疏低秩矩阵的代数簇特性

开始。代数簇是一个多项式方程系统的解的集合。稀疏矩阵被他们的支撑的大小所约束，可以看作代数簇：

这个簇的维度是m.事实上，可以看作个子空间的联合，并且每一个子空间

。一看就知道是一个簇，我们注意到簇的联合也是一个

簇，中个子空间可以表述为一个线性方程系统。对任何一个，M中关于

的切空间由下式给出：

如果，的维数就是m。我们把当作中的子空间。

秩约束矩阵的簇定义为：

这个簇的维度是。一看就知道，是一个簇，注意到中的一个矩阵中的任何一个（k+1）*（k+1）子矩阵的行列式一定是0。在矩阵的元素(复数)中任何一个子矩阵的行列式是一个多项式，那么就是一个多项式方程的解的集合。对任何一个矩阵，M中关于

的切空间是所有矩阵的集合，与任意和M中相同的行空间或者列空间。特别的，令

是M的奇异值分解，，

，然后我们有；

T（M）的维度是k(2n-k).前面我们把T（M）看作中的子空间。既然T（M）和都是中的子空间，我们可以比较这两个子空间的向量。详细的见文献【3】。

B、可识别问题

我们介绍两种情况。这些例子意味着额外的约束，这些约束被需要，为了确保存在独特的分解为稀疏和低秩矩阵。

首先，令是任意的稀疏矩阵，令，式中表示第i个标准的基向量。既然这样，秩为1的矩阵也是稀疏的，并且一个有效的稀疏加低秩分解可能是

。这样我们需要条件使得低秩矩阵不是太稀疏的。对任何一个矩阵M，考虑如下的相对于切空间的数量：

式中是谱范数（比如说最大奇异值），表示行和最大。这样就很小，意味着切空间的元素不可能有他们的支撑在几个集中的地方；结果是M不可能很稀疏。我们形式化这个想法，通过把行列空间不相干概念和联系起来，这里我们把行或列空间当作不相干的，在关于标准基时，如果这些空间不和坐标轴对齐。令

，用如下的公式描述M中行列空间的不相干性：