基于 建模的稳健稀疏 低秩矩阵分解

摘要 为实现稳健的稀疏-低秩矩阵分解，本文首次引入矩阵的S 1/2 范数以诱 导矩阵的低秩性来构建新模型，并在ADMM算法框架下设计了高效的交替阈值迭 代算法。该算法采用增广拉格朗日乘子技术，在迭代过程中交替更新低秩矩阵和 稀疏矩阵。由于这两个矩阵的最优更新具有显式形式，算法整体的计算精度和时 间代价得以控制。 大量的数值模拟实验说明：相较于目前最好的不精确ALM算法， 交替阈值迭代算法的迭代次数与时间代价大幅降低，对噪声更为稳健，分解出的 低秩矩阵的秩与稀疏矩阵的稀疏度更接近于真实值。 在对监控视频进行背景建模 这一实际问题中， 交替阈值迭代算法得到的背景矩阵更为低秩， 更符合问题先验， 且时间代价相较于不精确ALM算法降幅高达一个数量级，这说明新模型与算法能 有效解决相关实际问题。
考虑到S 1/2 模型的目标函数与约束条件关于稀疏矩阵与低秩矩阵是可分的， 本文基于ADMM[12] 算 法思想提出交替阈值迭代算法。 该算法利用增广拉格朗日乘子技术， 在迭代过程中采用交替投影的思 想逐个更新低秩矩阵、 稀疏矩阵和拉格朗日乘子。 低秩矩阵与稀疏矩阵的更新需要求解两个非线性非
2
中国科学 : 信息数学 第 40 卷 第 1 期
A,E ∈Rm×n
min
A
∗
+λ E
l1 F
(3) δ
s.t.
D−A−E
为求解优化问题（2）与（3） ，文献[6]基于目标函数的一阶信息提出了阈值迭代框架，但算法的 收敛速度很慢， 且每次迭代都要进行一次奇异值分解， 无法快速求解大型实际问题。此后， 文献[8]提 出了直接求解原始问题的APG算法和求解相应对偶问题的梯度上升算法，并通过实验说明这两种算 法在处理1000 × 1000的矩阵时相较于阈值迭代算法加速了50倍。 进一步地， 文献[9]基于拉格朗日乘子 技术提出了不精确ALM算法（简称为ALM算法） ，在显著提高计算精度的同时其计算速度是APG算法 的5倍， 这是目前已知的求解大规模问题的最好算法。 稀疏-低秩矩阵分解问题可理解成从稀疏矩阵与低秩矩阵组成的过完备字典中寻找矩阵D的（近 似）最简单表示A + E ，其中稀疏矩阵E 的简单程度用其非零元素的个数即矩阵的l0 范数来刻画，可视 为矩阵在一维意义下的稀疏度，低秩矩阵A的简单程度则用矩阵秩即非零奇异值的个数来刻画，可视 为矩阵在二维意义下的稀疏性。PCP与SPCP受到广泛关注的原因就在于：用矩阵的l1 范数代替l0 范数 来刻画矩阵的一维稀疏度，用核范数即奇异值向量的l1 范数代替矩阵秩来刻画矩阵的二维稀疏度，从 而得到原始组合优化问题（1）的最紧凸松弛形式。 近年来已发展成熟的l1/2 正则化理论[10,11] 则说明： 相较于常用的l1 范数， l1/2 范数可进一步诱导向量 的稀疏性， 在稀疏信号重建中对噪声具有更强的稳健性。 为得到矩阵D更为简单的 （近似） 表示， 本文 将向量的l1/2 范数推广到矩阵， 分别用S 1/2 范数和l1/2 范数来刻画矩阵二维与一维稀疏度， 提出如下实现 （近似）稀疏-低秩矩阵分解的S 1/2 模型：
A,E ∈Rm×n
Байду номын сангаас
min
A
1/2 S 1/2
+λ E
a la F
(4) δ
s.t.
2
D−A−E
1/2 r 其中 A S 1/2 = ( r ) 表示矩阵A所有奇异值{σi }ii= 对应于S chatten p 范数 p = 1 i=1 σi =1 构成向量的l1/2 范数， 2的 m n a 1/a a 情形， 本文简记为S 1/2 范数。 E la = ( i=1 j=1 |Ei j | ) 表示矩阵E 拉直向量的la 范数， 参数a的选取可采 用如下启发式的方法：δ > 0表示在有噪声情况下对矩阵D进行近似分解，取a = 1即用l1 范数刻画矩阵 1 的一维稀疏性； δ = 0表示对矩阵D进行准确分解， 取a = 2 即用l1/2 范数进一步诱导矩阵的一维稀疏性。
k+1 k k +1 k+1
上述交替阈值迭代算法的关键是在每次迭代中交替更新低秩矩阵、 稀疏矩阵和拉格朗日乘子， 直 到满足预先设定的收敛条件。因此，算法整体的计算精度与时间代价在很大程度上取决于（10）中两 个子问题的求解。
2.2 两个子问题的显式最优解
（10）中更新稀疏矩阵和低秩矩阵所需要求解的两个子问题可分别简化成如下形式：
A,E ∈Rm×n
min rank(A) + λ E s.t. D= A+E
l0
(1)
其中rank(A)表示矩阵A的秩， E l0 表示矩阵E 的非零元个数即l0 范数， 参数λ则用于平衡矩阵A的低秩程 度和矩阵E 的稀疏程度。 显然，稀疏-低秩矩阵分解问题通常是病态的 （NP-hard） 。受压缩感知与统计领域相关研究工 作[1,2] 的启发，文献[3]基于“秩-稀疏不相关性”（rank-sparsity incoherence）给出了问题可解的条件，
min X − W
X 2 F 2 F
+λ X
a la 1/2 S 1 /2
(11) (12)
min X − W
X
+λ X
问题（11） 的求解比较简单， 文献[9]已证明a = 1时的最优解为S T λ/2 (W )， 即以 λ 2 为阈值对矩阵W 的 [12] 每个元素进行Soft阈值收缩， 相应的Soft阈值算子 定义为： x − sgn( x)λ, | x| > λ (13) S T λ ( x) = 0, 其它 其中 sgn(·)是符号函数。
1 引言
论 文
基于S 1/2建模的稳健稀疏-低秩矩阵分解
饶过x , 彭毅x , 徐宗本x ∗
x 西安交通大学信息与系统科学研究所, 西安710049 *通信作者E-mail: raoguo2010@, weichiche@, zbxu@ 2012–xx–xx 2012–xx–xx 国家自然科学基金(批准号: 61075054,60975036,11171272)资助项目
凸优化问题， 本文通过将作用于向量的Soft[13] 与Half[10] 阈值算子推广到矩阵情形以给出其最优解的显 式形式， 这从很大程度上保证了所设计算法的高精度与低时间代价特性。 与目前最好的ALM算法相比，大量的模拟实验说明本文所提出的交替阈值迭代算法具有以下优 点： 达到收敛所需迭代次数与时间代价大幅降低， 对噪声有更强的稳健性， 分解出的低秩矩阵的秩更 接近于真实值， 同时算法的可靠性对矩阵A的低秩程度依赖更少。 另外， 在监控视频背景建模[4] 这一实 际应用中， 交替阈值迭代算法能得到更为低秩的背景矩阵， 这一现象更符合建模时利用的先验， 且时 间代价相较于ALM算法降幅高达一个数量级， 这对实际中海量视频数据的快速处理具有重要意义。
关键词
S 1/2 范数，稀疏-低 秩矩阵分解，快速 稳健，交替阈值迭 代
1 引言
在工程应用中，许多复杂的系统通常是由多个简单的系统组成。为更好的理解复杂系统的行为 与性质， 人们往往利用复杂系统的可分解性将其分解成若干简单系统来进行研究。特别地， 当复杂系 统的矩阵表示是一个稀疏矩阵与一个低秩矩阵之和时，分解该复杂系统可描述成稀疏-低秩矩阵分解 问题：已知矩阵D可表示成低秩矩阵A与稀疏矩阵E 之和，A的秩信息与E 的稀疏结构信息未知，如何 由D准确地分解出矩阵A与E？该问题的数学模型如下：
min f ( x) + g(z)
x,z
(5)
s.t. Mx + Nz = c
其中 x ∈ Rn ， z ∈ Rm ，M ∈ R p×n ，N ∈ R p×m ，f 、 g为凸函数。 考虑问题的增广拉格朗日乘子形式：
1 Lµ ( x, z, y) = f ( x) + g(z) + y ( Mx + Nz − c) + µ Mx + Nz − c 2 (6) 2 2 其中y表示线性等式约束的乘子，µ > 0表示对不满足线性等式约束的惩罚因子，也称为增广拉格朗日
(7)
显然， ADMM与对偶上升法和乘子法非常相似， 由 x极小化、 z极小化和对偶变量y更新组成， 且对偶变 量的更新步长与乘子法一样取为µ。 虽然ADMM的收敛性理论建立在目标函数 f (·)和g(·)为凸函数的基础上， 但其思想可推广到非凸优 化问题的求解， 本文正是基于这样的推广来设计求解新模型 （4） 的交替阈值迭代算法。 我们先考虑新 模型的增广拉格朗日乘子形式： 1 1/2 2 Lµ (A, E , Y ) = A S +λ E a (8) la + < Y, D − A − E > + µ D − A − E F 1/2 2 其中Y ∈ Rm×n 是线性约束乘子， µ > 0表示对不满足等式约束D = A + E 的惩罚因子， 其取值依赖于模型 （4）中正参数δ， 特别地， 当δ = 0时µ = ∞。为极小化Lµ (A, E , Y )， 我们通过迭代求解如下三个子问题： Ak+1 = arg min Lµ (A, Ek , Yk ) A (9) Ek+1 = arg min Lµ (Ak+1 , E , Yk ) E Yk+1 = Yk + µ(D − Ak+1 − Ek+1 )
饶过等: 基于S 1/2 建模的稳健稀疏-低秩矩阵分解
文献[4,5,6]则提出通过求解如下凸优化问题实现主成分追踪（Principle Component Pursuit，PCP） ，以准 确分解出稀疏与低秩矩阵：
A,E ∈Rm×n
min
A
∗
+λ E
l1
(2)
s .t .
D= A+E
l1 表示矩阵所有元素绝对值之和。