Sparse and Low-Rank Matrix Decompositions

Sparse and Low-Rank Matrix Decompositions摘要：我们考虑如下的基本问题：给定一个由未知稀疏矩阵和未知的低秩矩阵的和的矩阵，能够精确的恢复他们吗？这种恢复的能力有很大的用处在许多领域，一般情况下，这个目标是病态的和NP难的。

本文提出了如下的研究：（a）一个新的矩阵不确定性原则；（b）一个简单的基于凸优化的精确分解方法。

我们的不确定规则是一个量化的概念，即矩阵不可能稀疏当有漫行列空间时。

他决定了什么时候分解问题是病态的，并形成了我们的分解方法和分析基础。

我们提出决定条件—在稀疏和低秩元素上—在这种条件下我们的方法可以精确的恢复。

1、引言给定一个由未知稀疏矩阵和未知低秩矩阵加和的矩阵，我们研究如何把矩阵分开为稀疏成分和低秩成分。

这样的问题在很多领域得到应用，比如：统计模型选择，机器学习，系统鉴别，计算复杂度理论，及光学等。

本文我们提出在何种条件下这个分解问题是适定的，例如，稀疏和低秩成分在根本上是可识别的，目前的凸松弛精确的恢复稀疏和低秩成分。

主要结果：令，是一个稀疏矩阵，是一个低秩矩阵。

给定矩阵C后，目标是在不知道的稀疏模式和的秩或奇异值的情况下恢复和。

在没有额外条件下这个问题是完全不适定的。

在很多条件下，一个特定的解是不存在的；比如说低秩矩阵本身就稀疏，这就使得很难从另一个稀疏矩阵中唯一的区别出来。

为了知道何时精确解所示可能的，我们定义了新的秩-稀疏不相关概念，他通过一个不确定原则将矩阵的稀疏模式和矩阵的行或列空间联系到一起。

我们的分析是几何形式的，并且从切空间到稀疏和低秩矩阵代数簇扮演了重要的角色。

解决这样的分解问题是NP难的。

一个合理的首要方法是最小化，满足约束条件A+B=C，式中，作为稀疏和秩的折中。

这个问题在解决上是复杂且顽固的；我们提出一个较好的凸优化问题，目标是的凸松弛。

我们松弛通过用L1范数来代替他，他表示矩阵A中所有元素绝对值的和。

我们松弛通过用核范数来代替他，核范数是矩阵B的奇异值的和。

注意到核范数可以被看作是‘L1范数’施加到奇异值上（即矩阵的秩是非零奇异值的个数）。

L1范数和核范数是非常好的替代品，并且一些结果给出在一些条件下这些松弛可以恢复稀疏和低秩对象。

因此，我们得目的是把C分解为，用如下的凸松弛：我们可以把（1）式转会为一个半定问题（SDP）【18】，并且这个半定问题存在多项式时间内的通用求解器。

我们指出，稀疏和低秩矩阵在特定条件下，SDP式（1）的最优特定解是。

事实上，精确恢复的条件只是基础辨识条件的轻度紧缩。

本质上这些条件需要稀疏矩阵没有集中在一个行或列上的支撑，而低秩矩阵没有行或列空间与坐标轴严格对齐。

我们的条件的一个有趣的特点是对稀疏矩阵非零值和低秩矩阵的奇异值的幅度没有假设要求。

我们同时给出的数值决定方式。

本文不给出结果的详细的证明。

在【3】中有证明。

应用：我们简要的列出我们的方法的部分应用；【3】中有更详细的细节。

在统计模型选择设置上，稀疏矩阵可以和高斯图模型相关【11】，低秩矩阵可以总结未观察，潜在变量的效果。

把一个给定的模型分解为这些简单的部分对研究有效的评估和推理算法是很有用的。

在计算复杂度上，矩阵刚性的概念捕捉矩阵（矩阵应该改变（这种变化可以是任意幅度的变化），为了减小矩阵的秩到特定的水平之下）元素的最小值。

矩阵的刚性界复杂性理论中有几个意义。

相似的，在系统鉴定设置上，低秩矩阵代表系统的一个小的模型阶，而稀疏矩阵代表系统有一个稀疏冲击响应。

把系统分解为这些简单的成分可以提供简单的更有效的描述。

在光学上，许多现实世界的图像成像系统有效的描述为一个对角矩阵（代表所谓的‘非相干’系统）和一个低秩矩阵（相干分量）的和。

我们的结果提供好的方法来描述一个有简单系统组成的复合光学系统。

更一般地，我们的方法同时也扩展秩最小化的适用性，比如说光谱数据分析。

II、可识别性就像在引言中介绍的那样，在没有额外条件下矩阵分解问题是病态问题。

本节中，我们讨论和量化使分解唯一的所需要的加在稀疏和低秩矩阵上的假设条件。

贯穿全文，我们把我们限制在的矩阵来避免杂乱的符号。

我们的分析扩展到矩形矩阵，如果我们用代替n。

A、准备工作我们首先以简单的描述和稀疏低秩矩阵的代数簇特性开始。

代数簇是一个多项式方程系统的解的集合。

稀疏矩阵被他们的支撑的大小所约束，可以看作代数簇：这个簇的维度是m.事实上，可以看作个子空间的联合，并且每一个子空间。

一看就知道是一个簇，我们注意到簇的联合也是一个簇，中个子空间可以表述为一个线性方程系统。

对任何一个，M中关于的切空间由下式给出：如果，的维数就是m。

我们把当作中的子空间。

秩约束矩阵的簇定义为：这个簇的维度是。

一看就知道，是一个簇，注意到中的一个矩阵中的任何一个（k+1）*（k+1）子矩阵的行列式一定是0。

在矩阵的元素(复数)中任何一个子矩阵的行列式是一个多项式，那么就是一个多项式方程的解的集合。

对任何一个矩阵，M中关于的切空间是所有矩阵的集合，与任意和M中相同的行空间或者列空间。

特别的，令是M的奇异值分解，，，然后我们有；T（M）的维度是k(2n-k).前面我们把T（M）看作中的子空间。

既然T（M）和都是中的子空间，我们可以比较这两个子空间的向量。

详细的见文献【3】。

B、可识别问题我们介绍两种情况。

这些例子意味着额外的约束，这些约束被需要，为了确保存在独特的分解为稀疏和低秩矩阵。

首先，令是任意的稀疏矩阵，令，式中表示第i个标准的基向量。

既然这样，秩为1的矩阵也是稀疏的，并且一个有效的稀疏加低秩分解可能是。

这样我们需要条件使得低秩矩阵不是太稀疏的。

对任何一个矩阵M，考虑如下的相对于切空间的数量：式中是谱范数（比如说最大奇异值），表示行和最大。

这样就很小，意味着切空间的元素不可能有他们的支撑在几个集中的地方；结果是M不可能很稀疏。

我们形式化这个想法，通过把行列空间不相干概念和联系起来，这里我们把行或列空间当作不相干的，在关于标准基时，如果这些空间不和坐标轴对齐。

令，用如下的公式描述M中行列空间的不相干性：这里表示向量的L2范数，表示投影到行或列空间。

因此，评价的是行列空间与坐标轴最对齐的投影。

对任何秩为k的矩阵M，我们有，式中最小边界如果在行或列空间属于任何k个n*n正交Hadamard矩阵的列的集合（span(v1,v2……vk)）,而上界可以到达如果行或列空间包含标准的基向量。

典型的一个矩阵M有不相干的行或列空间，就会有。

如下的结果表明M中的行或列越不相干，就越小。

命题1：对任何，我们有，（6）和（7）中对有定义。

实例：如果是一个满纸的矩阵，或者一个诸如的矩阵，那么。

那么M中行或列不相干的边界对确定的边界很重要。

下一步考虑是任何一个低秩矩阵，，v是的第一列。

那么，就有零元素在第一行，，C和有相同的列空间。

一个合理的稀疏加低秩分解在这种情况下可能是及。

这里。

需要稀疏矩阵有有界度（比如每一行或列有很少的非零元素）来避免可识别问题。

对于任何矩阵M，我们定义如下的关于切空间的数量：一个矩阵的数量很小意味着切空间的元素的光谱不是很集中，例如这些要素的奇异值不是很大。

在下面的问题中将看到，一个有界度（每行或列有很少的非零值）稀疏矩阵M有小的。

命题2：令是任何一个每行或列最多有个非零元的矩阵，并且每行或列至少有个非零元。

在式（8）中已经定义，我们有：实例：注意到如果有满支撑，例如：。

因此，每行或列中零元素的个数对的边界来说是一个很好的约束。

我们在这里强调，简单的对M中非零值个数设定边界是不充分的；稀疏模式在确定的值时也起到很大的作用。

III、秩稀疏不确定原则和精确恢复本节中，我们看到，稀疏矩阵有小的，低秩矩阵有小的，，并且，事实上，可以精确的恢复通过使用SDP（1）。

A、切空间可识别性在分析能否被精确恢复之前（用SDP（1）），我们问一个简单的问题。

假设我们有关于切空间的先验信息，并且给定。

我们能唯一的从C恢复出吗？假设这种切空间的先验信息在实际上是不现实的，相当于假设的支撑和的行或列空间的先验知识；然而，我们对在精确分解上有关于稀疏和低秩矩阵的非常有用的条件有很好的了解。

给定且空间的信息，一个唯一恢复的充分必要条件是且空间和横向相交：也就是，子空间有简单的交叉点。

条件的充分性对分解的唯一性是很清楚的。

对于必要性的部分，suppose for the sake of a contradiction that 一个非零矩阵M 属于；则可以分别加和减M从，而仍然有有效的分解，这违反了唯一性的要求。

事实上，公式（9）所描述的切空间的横向交叉也是使SDP（１）有唯一优化解的一个条件之一。

如下的命题提出了一个关于的简单的条件，使得切空间横向相交。

命题３：对任何两个矩阵，我们有：式中，在（６）和（８）中定义，切空间在（３）和（５）中定义。

很小意味着空间横向相交；所以，我们可以精确的恢复在给定时。

在下面的一部分，我们将会看到对命题３的适当的收紧对识别来说也是充分的，来确保恢复的精确性用SDP（１）方法。

命题３的另一个重要的结果是我们对如下的秩－稀疏不确定准则有初步的证据。

定理１：对任何矩阵M不等于０，有。

证明：给定，很显然，比如说M同时是两个切空间的元素。

然而，意味着，这是矛盾的。

所以，我们有。

因此，对于任意矩阵，不肯很小。

注意到命题３包括是对不同矩阵的断言，而定理１是对相同矩阵的关于的声明。

本质上，不确定性准则断言，不可能有矩阵太稀疏当有不相干的行和列空间时。

极端的例子是矩阵，他有这样的特性：。

B、使用半定规划问题精确恢复我们主要的结果是如下样本，确定性充分条件用来精确恢复使用SDP（1）。

定理2：给定，如果：那么，问题（1）的特定优化是，在的变化范围为：应用命题1和2及定理2，我们有如下的结果，他给出了具体的能被精确恢复的稀疏和低秩矩阵类别。

推论3：假设满足。

给定的特定最优解是，在的变化范围内。

（用SDP（1）方法）。

因此，稀疏矩阵with bounded degree及低秩矩阵with row/column spaces not closelyaligned with the coordinate axes 可以被特定的分解。

我们在这里强调，我们的结果提供确定性的充分条件对精确分解来说。

我们同时注意到，这些条件仅仅包含A* 的稀疏模式和B* 的行列空间。

对A* 的非零元素和B* 的奇异值没有依赖。

原因是（1）的梯度最优条件仅仅包括切空间，而不是A* 的具体非零元或B* 的奇异值。

IV、仿真结果我们确定本文的理论用简单实验的实验结果。

在这些实验中，我们产生如下的任意的秩为k的矩阵B* 在中：产生任意，服从独立同分布的高斯元，设置。

我们产生一个随机的m稀疏的矩阵A*通过设置均匀随机的大小为m的支撑，并且，设置支撑值是服从独立同分布高斯分布。