基于低秩描述的特征提取算法

基于低秩描述的特征提取算法
郭海红;马杰;刘建龙
【摘要】低秩表示算法是通过最小化矩阵核范数来求解低秩表示系数,然而待求解的低秩表示系数的稀疏性低的要求导致求解不稳定的情况.针对这个问题,在基本的图像低秩表示算法中引入一个约束条件来保证系数的最稀疏性,在特征提取过程中来获取图像数据在各个空间中的整体几何结构.通过对不同的加噪图像进行去噪恢复和分类识别,并与现有算法对比,证明改进算法的低秩特性更具有效性和判别性.在ORL库和Yale B库人脸库上的实验结果证明,改进的算法比原算法在图像去噪效果上更有效,具有较高的识别率.
【期刊名称】《科学技术与工程》
【年(卷),期】2016(016)010
【总页数】5页(P200-204)
【关键词】低秩表示;特征提取;分类识别
【作者】郭海红;马杰;刘建龙
【作者单位】河北工业大学电子信息工程学院,天津300401;河北工业大学电子信息工程学院,天津300401;中国石油天然气有限公司华北石化分公司,任丘062550【正文语种】中文
【中图分类】TP391.41
随着互联网技术和数字图像技术的快速发展，人们对图像分类的要求也越来越高，使得人脸识别技术成为目前模式识别领域的一个重要研究方向。

人脸识别技术主流
的方法有小波变换(Gabor)[1，2]、主成分分析法(PCA)[3]和线性鉴别分析(LDA)[4]。

Gabor小波从不同尺度和不同方向上提取人脸特征，但是其计算过程
产生的高维数有可能导致计算机内存的耗尽，并且计算过程相当耗时。

PCA算法
作为一种无监督的学习方法，虽然充分地将人脸图像的有效信息保留，但是在将图像转换为向量后也破坏了人脸原先的二维结构，同时由于没有考虑样本间的类别信息，使得识别率很低。

后来，稀疏表示算法被Yang提出并直接用于分类[5]，该
算法是对每个数据点进行单独的学习，当数据来自多个独立的子空间或存在受到较大污染的奇异数据时，该识别算法由于没有对数据进行全局联合的表示而受到较大的影响。

鲁棒主成分分析(RPCA)[6]被Candes等人提出，用于数据的预处理，可使人脸识别算法不再受数据污染的影响；该算法虽然提高了鲁棒性，但是在数据来自多个子空间的情况下，数据低秩结构也会受到破坏。

近年来，秩最小化问题受到高度关注，低秩表示理论被学者提出，用于子空间估计和分割，在非监督聚类任务中得到了成功的应用。

Liu等人在RPCA的基础上引入一个适当的字典，提出了低秩表示模型(LRR)[7，8]，目的是通过构建算法模型学
习出数据在自身数据集作为字典下的联合最低秩表示系数，该算法能够最大限度的保持原始数据在各个空间中的整体几何结构，可以有效地对受损的人脸图像进行恢复。

然而现有的低秩表示算法对训练样本中含噪的图像去噪恢复的稳定性不好，导致识别率较低，针对这些问题，本文研究在原算法模型的基础上引入一个约束条件来保证系数的最稀疏性，以此来增强低秩表示模型对数据全局结构信息的揭示能力，使所提取的低秩特性具有更好的有效性和判别性。

通过仿真实验表明，所提出的改进算法在增强图像去噪效果的情况下，有效地提高了图像分类的识别率。

低秩表示模型(LRR)是Liu等人[9]根据低秩矩阵逼近的相关想法，在RPCA的基础上引入一个适当的字典而提出的。

研究表明，LRR算法在人脸识别的应用领域取
得了较好的识别效果。

后来，基于LRR算法的人脸识别受到了众多关注。

许多学
者在这方面展开了相关的研究工作，通常都是在该算法中将观测的数据本身当做字典，用低秩表示模型获取数据的全局结构，构建一个无约束的算法。

LRR 算法对
给定的训练样本集通过由自身数据集作为字典下学习出联合最低秩表示系数，并且求解出的稀疏表示系数能够最大限度的保持图像数据在多重空间内的几何结构，使得数据在空间分布中的全局结构信息和鉴别信息能够很好地被揭示出来。

该算法有效地恢复受到噪声污染的人脸图像，且在非约束环境下的鲁棒性很强。

假设训练数据样本由X=[x1,x2,…,xn]构成，寻找字典A=[a1,a2,…,am]表示该训练数据样本：X=AZ，其中Z为稀疏表示系数。

LRR算法模型可以表示为式(1)。

式(1)中，‖Z‖*σk(Z)表示矩阵Z的核范数，就是矩阵Z的奇异值之和。

实际数据
采集过程中，考虑噪声数据干扰的情况，选择L2,1范数来模型化受大噪声干扰的“奇异点样本”；参数λ>0作为正则项系数，在平衡低秩部分与噪声部分的过程
中起着关键作用。

将X投影到X自身，并使Z的秩尽量降低。

这样就可以得到X的一个求低秩表示系数的近似表示为式(2)。

由式(2)可知，数据X的低秩成分可由XZ*得到，(Z*,E*)为式(2)的最优解，可由增广拉格朗日乘子法很快地求得其最优解。

研究发现，低秩表示模型是一个无约束的算法，具有一定的局限性，对于稀疏矩阵的稀疏性有特别的要求，去噪效果不稳定。

在文献[10]中证明了在满足某些条件下，低秩算法的一个特性就是来自同一个子空间数据之间的联系可以通过低秩表示系数来得到准确的揭示，并用此特性进行数据子空间的分割；但是，该算法在原始数据的整体几何结构得到保持的同时，数据的局部几何结构不能得到保持，对于局部噪声很敏感, 去噪恢复的效果不好。

因此，研究一种改进的低秩表示模型，将图像数据的系数矩阵的核范数和L1范数相结合，系数矩阵的稀疏性由L1范数控制，确
保算法的稀疏结构或局部线性结构，构建一个有约束的算法。

系数矩阵的唯一性由
核范数控制，确保算法的低秩结构或全局子空间结构。

本文算法用高维数据的稀疏低秩特性来构建一个有效的数据表示，达到提取有效的数据表示和算法结构的目的。

图像特征的数据结构通过以下算法模型来构造。

式(3)中，‖Z‖1通过保证矩阵的稀疏性使相似图像的数据特征的局部线性结构得到描述，L1范数是计算矩阵Z中所有元素绝对值之和，参数γ作为系数，在稀疏部分对结果的影响过程中有着一定的作用。

将问题最优化处理求解如下：
目标函数(4)是一个连续的凸函数，有且仅有一个最优解，通过非精确的增广拉格
朗日算法能够很快地求得其最优解。

首先由于低秩是对系数矩阵整体的约束，因此低秩表示的方法是从全局的观点出发的；其次由于噪声会提高数据的秩，因此在低秩的约束下自然就去掉了噪声；最后L1范数有效地保证了稀疏矩阵的稀疏性，所以该低秩表示方法对噪声的鲁棒性很强。

式(5)通过增广拉格朗日算法[11]求解，优化以下拉格朗日函数：
L(Z,E,Y,μ)=‖Z‖*+λ‖E‖2,1+γ‖Z‖1+
tr[YT(X-AZ-E)]+
对式(5)采用变量分裂的方式进行交替求解，模型如下：
L(Z,E,Y,μ)=‖Z‖*+λ‖E‖2,1+γ‖Z‖1+
tr[YT(X-AZ-E)]+
s.t. W=Z
式(6)的无约束拉格朗日形式，进一步变形如式(7)。

式(7)中，核范数的最小值问题可以由奇异值收缩算子近似替代，其替代形式如下：
(1) 当g(X)=‖X‖1时，X=Sτ(W),即Sτ(W)=max(|W|-ε,0)sgn(W)。

(2) 当g(X)=‖X‖*时，X=Dτ(W),即Dτ(W)=USτ[W]VT。

L2,1范数由NSVT算子[12]近似代替，其定义如式(9)。

ΦW(M)=Udiag({max(σi-ωi,0)})VT
拉格朗日函数中的各个参数通过交替迭代策略分别进行单个寻优，具体优化步骤如下：
算法为非精确拉格朗日乘子法求解基于稀疏低秩表示的算法流程(步骤)
输入：数据矩阵X，参数λ。

(1) 初始化：
Z=0,E=0,Y1=0,Y2=0,μ=10-6,maxμ=1010,ρ=1.1,ε=10-8
While not converged do
(2) 其他的，通过下式来更新W
(3) 固定其他的，通过下式更新E
‖
(4) 固定其他的，通过下式更新Z
(5) 通过下式更新乘法因子
Y1=Y1+μ(X-AZ-E)；
Y2=Y2+μ(W-Z)。

(6) 通过下式更新参数μ
μ1=min(ρμ1,maxμ)；
μ2=min(ρμ2,maxμ)。

(7) 检查收敛的条件
‖X-AZ-E‖<ε,‖W-Z‖<ε。

end while
输出：数据低秩矩阵Z和稀疏矩阵E。

在整个计算过程中，通过不同的求解方式对步骤(2)、步骤(3)和步骤(4)进行凸优化
计算：通过软阈值运算符[13]对步骤(2)求解，通过文献[14]中的定理3.2对步骤(3)求解，通过奇异值阈值运算符[15]对步骤(4)求解，通过步骤(5)、(6)来更新乘法因子Y和参数μ，进而重复步骤(2)、(3)、(4)直到达到步骤(7)的收敛条件，最后输出Z、E，即式(4)的最优解(Z*,E*)，那么，图像的特征描述为：V=X×Z*。

利用CPU 为2.0 GHz，内存为2 GB 的计算机，实验通过MATLAB R2008a 编程实现。

在ORL和Yale人脸数据集上，将提出的改进算法和基本LRR算法进行数据降维实验对比。

ORL人脸库包含了40个类别的人脸数据，每个类别含有10张不同的姿态、人脸表情和图像大小的人脸图像。

YaleB人脸库包含15个类别的人脸数据，每个类别包含有11张脸部表情发生较大变化的图片。

在分类实验中，为了计算的有效性，每张图像的尺寸被压缩为32×32像素，分别从每人的全部人脸图像中随机选取T(T∈{4,6,8})张图像构成训练样本集，而测试样本集则由剩下的图像构成。

为了减少随机抽样对实验结果的影响，对每个特定的T进行重复实验4次，根据上面的两种算法对图像数据进行特征提取，通过最近邻分类器进行图像识别分类，最后取4次实验的平均识别率为最终识别率。

4.1 ORL数据集上的实验
4.1.1 图像低秩恢复实例
为了更直观的表现实验效果，图1所示将改进模型与LRR基本模型对添加不同噪声的人脸图像进行对比，其中图(b)分别为含方差0.25的高斯噪声、含10%椒盐噪声和指数为6的斑点噪声的加噪图像。

从图像低秩恢复结果可以看出：图(d)比图(c)恢复效果理想，改进模型保证了解的稳定性，可以更有效地去除训练样本图像中的遮挡、污损、光照、噪声等误差，抗干扰性更强，是低秩表示分类算法更具鲁棒性的关键。

4.1.2 图像分类结果
为了全面评估两种算法的性能，在ORL人脸数据库上，本文针对人脸图像未添加
噪声、添加方差0.25的高斯噪声和添加了10%椒盐噪声这三种情况进行独立实验。

表1给出了ORL人脸数据库上，改进算法与基本LRR算法的人脸图像平均识别率对比。

4.2 Yale B数据集上的实验
4.2.1 图像低秩恢复实例
与在ORL人脸库上的实验类似，在Yale B人脸库上的实验中，图2所示将改进模型与LRR基本模型对添加不同噪声的人脸图像进行对比。

其中图 (b)分别为含方差0.25的高斯噪声、含10%椒盐噪声和指数为6的斑点噪声的加噪图像。

从实验结果可以看出：图(d)比图(c)恢复效果理想，说明了改进算法模型的实际意义，对图像的去噪效果更理想。

4.2.2 图像分类结果
同样地，在Yale B人脸数据库上，本文针对人脸图像未添加噪声、添加方差为
0.25高斯噪声和添加了10%椒盐噪声这三种情况进行独立进行实验。

表2给出了Yale B人脸数据库上，改进算法与基本LRR算法的人脸图像平均识别率对比。

由上述两个数据库上的对比结果表1、表2可以看出：
(1)在ORL、Yale B人脸数据库中，人脸图像未添加噪声相比于添加噪声，改进算法的识别率明显优于基本的LRR算法；在图像添加噪声情况下，虽然改进算法识别率的提高不是很大，但同样优于基本的LRR法，这进一步说明改进算法保证了
解的稳定性，能够加强抑制噪声的能力，使得其低秩特性不但能准确地描述在光照、表情、姿态等误差下的人脸图像，而且对加噪的图像的描述也比较准确，尤其对高斯噪声达到去除大噪声的效果理想。

(2)算法的识别率随着训练样本数的增加而有一定的提高。

这一点体现了低秩表示
算法的局限性，当参与样本数太少时，可能无法准确地获取数据的低秩特性，有待进一步的研究和改进。

针对提取出来的特征向量对稀疏性的要求导致去噪不稳定的问题，本文研究了一种基于某种约束条件的低秩表示人脸图像识别算法。

该算法通过保证了系数矩阵的最稀疏性，对高斯噪声、椒盐噪声和斑点噪声有较强的抑制作用，使得图像恢复效果更加稳定，在一定程度上提高了图像分类的识别率。

在ORL和Yale B数据库上的实验结果表明，和基本LRR算法相比，改进模型的去噪效果较好，在图像分类过程中增强了图像分类算法的鲁棒性，具有较好的分类性能。

本文提出的方法仅用分类任务中的数据特征提取，下一步研究在训练样本参数较少的情况下的识别率的提高。

【相关文献】
1
Yang F,Zhang L. Facial expression recognition based on Gabor parameters matrix and imp roved Adaboost. Journal of Computer Applications,2014;34(4):1134—1138
2
Zhang L,Tjondronegoro D, Chandran V. Random Gabor based templates for facial expressi on recognition in images with facial occlusion. Neurocomputing, 2014; 145: 451—464
3
Wang J, Yin L, Wei X, et al. 3D facial expression recognition based on primitive surface fea ture puter Vision and Pattern Recognition, 2006 IEEE Computer Society C onference on, 2006; 2: 1399—1406
4
Institute of Electrical and Electronics Engineers. IEEE Transactions on Pattern Analysis and Machine Intelligence， PAMI NA, 1979
5
Wright J, Yang A Y,Ganesh A, et al. Robust face recognition via sparse representation. Patt ern Analysis and Machine Intelligence, IEEE Transactions on, 2009;31(2): 210—227
6
Partridge M,Jabri M. Robust principal component analysis.Neural Networks for Signal Proc essing X, 2000. Proceedings of the 2000 IEEE Signal Processing Society Workshop. IEEE, 20 00;1: 289—298
7 Liu G, Lin Z, Yan S, et al. Robust recovery of subspace structures by low-
rankrepresentation. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2013; 35(1): 171—184
8
Zhang H, Lin Z, Zhang C, et al. Robust latent low rank representation for subspaceclusterin
g. Neurocomputing, 2014, 145: 369—373
9 Liu G, Lin Z, Yu Y. Robust subspace segmentation by low-
rank representation.Proceedings of the 27th international conference on machine learning (ICML-10)， 2010: 663—670
10 Li Y, Liu J, Li Z, et al.Learning low-rank representations with classwise block-diagonal structure for robust face recognition.Twenty-
Eighth AAAI Conference on Artificial Intelligence, 2014
11 Zhang Y, Jiang Z, Davis L S. Learning structured low-
rank representations for image puter Vision and Pattern Recognition (C VPR), 2013 IEEE Conference on. IEEE, 2013: 676—683
12 Peng Y, Suo J, Dai Q, et al. Reweighted low-
rank matrix recovery and its application in image restoration. Cybernetics, IEEE Transactio ns on, 2014;44(12): 2418—2430
13 Zhuang L, Gao H, Lin Z, et al. Non-negative low rank and sparse graph for semi-supervised puter Vision and Pattern Recognition (CVPR), 2012 IEEE Conferen ce on. IEEE, 2012: 2328—2335
14 Liu G,Xu H, Yan S. Exact subspace segmentation and outlier detection by low-
rank representation. arXiv Preprint arXiv:1109.1646, 2011
15 Liu G, Lin Z, Yu Y. Robust subspace segmentation by low-
rank representation.Proceedings of the 27th International Conference on Machine Learnin g (ICML-10)， 2010: 663—670。