NMF综述报告

人脸识别的非负矩阵分解(NMF)方法文献综述

摘要：人类对整体的感知是基于对部分的感知，NMF（非负矩阵分解，Non-negative matrix factorization）的思想正是源于此。通过对矩阵分解因子加入了非负性约束，使得对高维非负原始数据矩阵的分解结果不存在负值，且具有一定的稀疏性，因而得到了相对低维、纯加性、拥有一定稀疏特性的分解结果。与PCA（主成分分析，principal components analysis）等传统人脸识别方法相比，NMF的基图像就是人脸的各个局部特征，并且通过对经典算法的一系列优化，改进的NMF算法的识别率和鲁棒性较传统方法有着显著优势。此外，NMF在机器学习、语义理解等领域也有着重要应用。

关键词：非负矩阵分解（NMF）稀疏性改进的NMF 语义理解

一、引言

在实际中的许多数据都具有非负性，而现实中对数据的处理又要求数据的低秩性经典的数据处理方法一般不能够确保非负性的要求，如何找到一个非负的低秩矩阵来近似原数据矩阵成为一个关键问题。在这样的背景下，NMF方法应运而生。

NMF方法思想最早可以追溯到由Paatero和Tapper在1994年提出的正矩阵分解（Positive Matrix Factorization,PMF）[1]；此后1999年，Lee和Seung提出了一个以广义KL散度为优化目标函数的基本NMF模型算法，并将其应用于人脸图像表示[2]；2001年，Lee和Seung通过对基本NMF算法进行深入研究，又提出了两个经典的NMF算法，即基于欧氏距离测度的乘性迭代算法和基于广义KL散度的乘性迭代算法，并给出了收敛性证明[3]，这两种算法称为NMF方法的基准算法，广泛应用于各个领域。

但是在实际应用中，由于经典的基准NMF算法存在收敛速度较慢，未利用统计特征，对光线、遮挡等敏感，以及无法进行增量学习等问题，各种改进的NMF算法被提出。其中包括Lin提出的基于投影梯度（Projected Gradient，PG）的NMF方法[3]，该方法有着很高的分解精度；Berry提出的基于投影非负最小二乘（Projected Non-negative Least Square，PNLS）的NMF方法[5]，通过这种方法得到的基矩阵的稀疏性、正交性叫基准NMF方法都更好；此外还有牛顿类方法[6]和基于有效集[7]的NMF方法等。

二、NMF的基准算法

1.NMF模型

给定一个非负矩阵(即)，和一个正整数，求未知非负矩阵和，使得

用表示逼近误差矩阵。可以用下图表示该过程：

可以看出，原始数据的高维大矩阵被分解成了两个低维矩阵的乘积，相当于将数据点从高维空间

中变换到了低维空间中，矩阵中r个列向量构成了该空间的一组基，中的列向量是将每个原始数据矢量（矩阵的列向量）近似地表示为该组基的线性表示。这样我们就可以用矩阵来表示原始数据，进而利用经典的数据分析方法进行数据处理工作。

既然是逼近，也定义了逼近误差，那么问题就转化为了如何让逼近的误差最小。Lee和Seung 提出了两种测度，用于表征该逼近误差[3]，其一是利用欧式空间的距离，将问题转化为：

另一种测度是利用广义KL散度来刻画逼近误差,即：

2.基准求解算法（Lee和Seung的乘性迭代算法[3]）

(2.1)中的优化目标函数为逼近误差的F范数。Lee和Seung采用了类似于EM算法的优化策略去交替优化，得到了乘性迭代算法，其优化核心为：

具体地，两人对该算法的收敛性给出了证明[7]：即当算法收敛到可行域内部的有限点时，该点是稳定的，不过该稳定点可能是，也可能不是局部极小点；当有限点落在可行域的边界时，其稳定性不确定。

针对(2.2)式，乘性迭代算法的优化规则为：

三、其他NMF算法

1.梯度下降算法

梯度下降法是求解NMF的比较典型的第二类算法，比如Hoyer在[8]中提出的求解带有稀疏性约束的NMF算法，以及Shahnaz等在[9]中提出的最小二乘约束下的梯度下降法（GD-CLS）来求解NMF等。

基于梯度下降的NMF求解算法的一般框架如下：

Step 1：输入非负矩阵，随机初始化和;

Step 2: 对k=1,2,3,4…迭代

A）

(3.1)

(3.2)

B）检验和是否满足给定的收敛准则，若满足，则结束该步骤；否则重复。

Step 3：算法终止。

基于梯度下降的NMF算法简单而容易实现，但该算法实际使用并不多，因为不仅收敛速度满，而且对于参数和的值非常敏感。

2.基于交替非负最小二乘法的算法

基于交替非负最小二乘法（ANLS）的NMF算法（ANLS-NMF）最早是由Paatero和Tapper提出的[1]，目标函数为(2.1)式，当和同时变化时，目标函数是非凸的，此时可能找不到极值点；但当二者中有一个是固定的，例如基图像集固定的时候，目标函数是关于另一个变量的凸函数。ANLS-NMF算法正是用这样的思想进行优化，选定基图像集后，针对系数矩阵用非负最小二乘法进行优化；然后互换角色，固定当前系数矩阵，反过来优化基图像集；重复该迭代过程以达到局部极小点。

算法框架如下：

Step 1：输入非负矩阵，随机初始化和;

Step 2: 对k=1,2,3,4…迭代

A）

(3.3)

(3.4)

B）检验和是否满足给定的收敛准则，若满足，则结束该步骤；否则重复。

Step 3：算法终止。

3.梯度投影法改进的NMF算法

在基准的乘性迭代算法中，Lee和Seung根据算法可使目标函数值非严格单调下降，由此证明该算法可以得到局部最优解。但后来多次被证明这个论断是错误的[7,10]，这是因为，乘性迭代算法产生的迭代点列的极限点并不一定是稳定点，原因就是目标函数并非关于的严格凸函数。此外，乘性迭代过程中存在0死锁危机，即的某一元素一旦迭代到0值，将永远保持为0，而不会再被更新。

基于此，Lin在[4]中提出了一种用梯度投影法改进的NMF算法。相比乘性迭代算法，基于梯度投影的算法具有很好的收敛性，且有效避免了0死锁问题。但是该算法收敛较慢，没有乘性迭代算法收敛速度快。

首先，Lin给出了给出了梯度投影法求解一般边界约束优化问题的算法。对于边界约束优化问题