基于NPP和LDA融合算法的人脸识别

Science &Technology Vision
科技视界作者简介：罗磊（1982—），男，河南西华人，博士，讲师，主要研究方向为信号处理、目标识别等。

基于NPP 和LDA 融合算法的人脸识别
罗磊徐晨周晖
(南通大学电子信息学院,江苏南通226019)
【摘要】流形学习算法NPP 具有保持数据局部几何结构的特点，而经典线性特征提取算法LDA 则能够很好应对分类问题，充分利用二者优势，并进行算法融合，提出NPP-LDA 算法。

该算法是一种有监督算法，能够利用类别信息，且保持了数据的局部信息。

将算法应用于人脸识别，ORL 人脸数据库实验结果表明算法具有较好的性能。

【关键词】NPP ；LDA ；
融合；人脸识别0引言
随着计算机视觉和模式识别的迅速发展，人脸识别已成为一研究热点。

人脸数据一般为高维图像数据，计算机处理时不得不面临“维数
灾难”问题，特征提取（即维数约简）十分必要。

通过提取高维数据中的
有用部分，可减少数据冗余，降低分类识别复杂度。

传统特征提取以线性方法为主，典型算法包括PCA [1-2]、LDA [3-4]等。

线性方法认为数据集的全局结构为线性，且变量之间互相独立，在数学上可通过欧氏空间来描述。

然而在实际获取人脸数据时，往往受到各种可见和隐蔽因素的影响。

而各个因素对模式类的影响不仅仅是线性叠加的，这样获得的数据集实际上具有高度的非线性。

2000年以来，以流形学习算法为代表的非线性特征提取方法的产生，为人脸识别提供了另一研究方向，典型算法包括ISOMAP [5]、LLE [6]、Laplacian Eigenmaps [7]等。

但这些算法复杂度非常高，且没有明确的映射关系矩阵，很难处理新样本。

而后提出的LPP [8]和NPP [9]算法分别为Laplacian Eigenmaps 和LLE 的线性近似，既保留了原算法的非线性特点，又能直接处理新样本点。

本文综合考虑人脸识别中线性算法LDA 在分类识别中的优势，及流形学习算法NPP 在保持数据局部几何信息上的优势，对二者进行融合，提出基于NPP 和LDA 融合的人脸识别算法NPP-LDA ，实验结果
证明了算法的优越性。

1NPP 算法
设初始的D 维数据集为X =｛x 1，x 2，…，x N ｝，共有C 个模式类ω1，ω2，…，ωC ，特征提取需要寻找映射矩阵A ，使得D 维的高维数据映射到d （d ≪D ）维的低维空间中，那么映射后的数据集为Y =｛y 1，y 2，…，y N ｝
可通过Y =A T
X 得到。

NPP 算法的具体步骤为：
（1）寻找每个样本的邻域，有两种方法。

一种为取与每个x i 的欧氏距离最小的k 个点为x i 的邻域，另一种为取与每个x i 的欧氏距离小于σ的点为x i 的邻域，k 和σ需人工确定；
（2）计算利用邻域重构x i 时的权值W ij ，使代价函数最小，代价函数为：
ε（W ）=i
∑x i -K
j =1
∑W ij x j
2
（1）
而权值W ij 满足约束条件∑j W ij =1，且当x i 和x j 不是近邻点时W ij =
0。

（3）最终变换矩阵A =｛a 1，a 1，…，a d ｝的求解可以转化为广义特征值问题
XMX T A =λXX T A
（2）式中M =（I -W ）（I -W ）T
，I 是单位矩阵，向量a 1，a 1，…，a d 可以根据它们对应的特征值0<λ1<λ2<…<λd 重新排序得到。

（4）降维后的数据可以通过Y =A T X 计算。

2NPP 和LDA 融合的特征提取算法NPP-LDA
LDA 算法为了应对分类问题，定义了类间散布矩阵和类内散布矩阵，将二者引入到NPP 算法当中，最大化类间距离，便可使算法更适合分类。

数据的整体散布矩阵为：
S t =
1N ()
N
i =1∑（x i -r ）（x i -r ）T =1N ()X I -ee T N
()
X T =XGX T （3）
其中r =（1/N ）∑N i=1x ，
e =（1，1，…，1）T
，G =I -（1/N ）ee T 。

数据的类内散布矩阵为：S w =C c =1∑x ϵω
∑=（x -q c ）（x -q c ）T
=X （I -E ）X T =XDX T （4）其中q i =（1/n i ）∑xϵωx ，D =I -E 。

如果x i 和x j 同属于ω，则E ij =1/n c ，否则
E ij =0。

那么类间的散布矩阵S b 可由S t -S w 计算得到，即：S b =S t -S w =X （G -D ）X T =XLX
T
（5）其中L=G-D 。

则类间距离可通过下面函数计算：J b （A
）=C
i ，j =1
∑‖p i -p j ‖2
=C
i ，j =1∑‖1n i ()
x ϵω∑A T x -1n j ()
x ϵω∑A T x ‖2=C
i ，j =1
∑‖A T （q i -q j ）‖
2
（6）=trace ｛C
i ，j =1
∑A T （q i -q j ）（q i -q j ）T
A ｝=trace ｛A T S b A ｝=trace
｛A T XLX T A ｝其中p i =（1/n i ）∑xϵωy 。

NPP 算法的代价函数为：
J NP P （A
）=N i =1
∑‖y i -k
j =1
∑y i W ij ‖2=‖Y （I-W ）‖
2
=trace ｛Y （I-W ）（I-W ）T Y T
｝
（7）=trace
｛YMY T
｝=trace ｛（A T X ）M
（A T X ）T
｝=trace
｛A T XMX T
A ｝其中，约束条件为：1N YY T =1N
A T XX T A =I （8）NPP 算法为了保持邻域数据结构需要最小化代价函数J NP P ，
而为了更好的应对分类，需要同时最大化类间距离J b 。

同时满足两种需求，只需最小化：
J （A ）=J NP P （A ）-J b （A
）=tr ｛AXMX T A T
｝-tr
｛AXLX T A T ｝（9）=tr ｛AX （M -L ）X T A T
｝约束条件同式（8）。

那么关于含约束条件的最小化目标函数问题min 1/N （A XX A=I ）｛J
（A ）｝，可通过拉格朗日乘子法求解，即：
ϑ（A ）=A T X （M -L ）X T
A +λ（N I-A T XX T A ）（10）令式（10）关于A 的偏导数为0，即əϑəA
=0⇒X （M -L ）X T A -λXX T A =0
（11）⇒X （M -L ）X T A =λXX T
A
. All Rights Reserved.
Science &Technology Vision 科技视界(上接第157页)总额达92227.22万元,统筹基金支出为80255.79万
元,基金总共盈余11971.46万元。

2012年,统筹基金为104143.00万元,统筹基金支出为100488.70万元,基金盈余3654.3万元。

而2013年统筹基金为117234.80万元,基金支出122235.40万元,基金赤字5000.6万元。

显然,基金筹集需要拓宽基金筹集渠道,提高医疗保险制度的保障水平。

3对嘉兴市城乡居民基本医疗保险制度存在问题的有效建议
3.1提高医疗机构的服务能力,简化报销手续3.1.1完善医疗部门的服务设施
政府部门加大对医疗部门的投资力度,尤其是农村地区社区卫生机构的服务设备,从而提高卫生服务质量。

3.1.2简化报销手续
报销手续的繁琐对于农民造成很大不便,显然成为农户对基本医疗制度不满的原因之一,因此必须建立便民化、亲民化的报销制度,让地方的的医疗机构管理系统与市级医疗机构的基本医疗保险系统有效的对接。

3.2针对资金筹集不足解决建议3.2.1拓宽基本医疗保险的筹资渠道
在进口国外的产业中征收一定的健康保险费,增加政府的收入,
以资助基本医疗保险制度的发展。

同时可以接受社会捐款,扩大筹资渠道。

3.2.2建立与经济增长同步的医疗保险筹资机制
改革开放以来,我国经济处于稳步增长态势,居民的收入也呈稳步增长态势,要从根本上解决就医负担重的问题,必须建立起与经济同步增长的医疗保险筹资机制。

在保证居民生活的前提下,提高医疗保险的筹资水平,提高医疗保险的待遇,减轻参保人的负担。

[1]陈宜梅,张燕.论重庆城乡居民合作医疗保险的问题与对策思路[J].重庆城市管理职业学院学报,2014(4).
[2]施建祥,李美红.新型农村合作医疗保险补偿制度的调查分析———以嘉兴市为例[D].浙江工商大学,2011(3).
[3]周文魁.四川新型农村合作医疗保险实施情况和发展对策研究[J].江苏省科技情报研究所,2013.
[4]郑瑞英.浅析城镇居民医疗保险与新型农村合作医疗并轨[J].北京农学院,2014.
[5]周文魁,黄斌.我国新型农村合作医疗保险实施情况及影响因素研究[J].江西农业学报,2015,25(10).
[责任编辑:汤静]
这样问题最终转化为了X （M -L ）X T A =λXX T A 的广义特征值问题。

由此得出NPP 和LDA 融合的特征提取算法步骤为：
步骤1：计算每个x i 的邻域，方法同NPP 算法步骤（1）；步骤2：计算重构权值矩阵W ，方法同NPP 算法步骤（2）；
步骤3：映射矩阵A 的求解转换为X （M -L ）X T A =λXX T
A 的广义特征值问题，最终A =｛a 1，a 1，…，a d ｝可以根据它们对应的特征值0<λ1<λ2<…<λd 重新排序得到。

步骤4：通过Y =A T X 进行特征提取。

3实验与结果分析
选用ORL 人脸数据库进行测试，并与PCA 、LDA 、LPP 和NPP 算
法进行性能比较。

分类算法统一采用最近邻算法。

ORL 数据库共有40个人的400幅人脸图像，
每人10幅，表情姿态各不相同。

原始图像分辨率为92×112，进行压缩后得到大小为23×
28的图像。

随机选用每人6幅
（共240幅）图像作为训练集，剩余部分作为测试集，重复多次，取平均识别率和最高识别率。

表1给出了不同算法的最高识别率及对应的低维空间的维数，图1给出了各种算法在不同低维空间维数（以10递进）的平均识别率曲线。

表1不同算法最高识别率及对应低维空间维数
从表1可以看出NPP-LDA 算法在低维空间维数为40时取得了
最高识别率92.54%，相对于其它算法识别率最高，且低维空间维数仅大于LDA 。

而LDA 由于算法由于自身限制，最多只能提取比类别数小1个特征，
故在低维空间为39时就取得了最高识别率，但在所有比较的算法中，识别率最差。

LPP 和NPP 算法性能相近，略低于本文算法。

图1各种算法在不同低维空间维数下的平均识别率曲线
由图1可知，本文算法在各种低维空间维数下的平均识别率均高
于其它算法，且识别率在低维空间维数大于40以后基本稳定，只有轻微的波动。

NPP 和LPP 算法的平均识别率曲线互有交叉，水平十分接近。

PCA 算法则随着低维空间维数的增加逐渐上升，但识别率明显低于NPP 、LPP 和本文算法。

LDA 算法在低维空间维数达到39后便具有最大识别率，且保持不变，不存在低维空间维数大于39的情况。

4结论
综合考虑传统线性特征提取方法LDA 在分类方面的优势，及流形学习算法NPP 保持数据局部结构优势，融合两种算法，推导出NNP-LDA 算法。

通过人脸识别实验验证，NPP-LDA 算法能够较好地进行人脸识别，性能较PCA 、LDA 、LPP 、NPP 等有一定优势。

［1］孙即祥.现代模式识别[M].第二版.北京:高等教育出版社,2008.［2］Hoyle David C.Automatic PCA dimension selection for high dimensional data and small sample sizes[Z].Journal of Machine Learning Research,2008,9(12):2733-2759.［3］Song Fengxi,Zhang David,Wang Jizhong,et al..A parameterized direct LDA and its application to face recognition[J].Neurocomputing,2007,71(1-3):191-196.
［4］Abrishami Moghaddam H,Matinfar M.Fast adaptive LDA using quasi-Newton
algorithm[J].Pattern Recognition Letters,2007,28(5):613-621.［5］Tenenbaum J B,Silva V,Langford J C.A global geometric framework for
nonlinear dimensionality reduction[Z].Science,2000,290(5500):2319-2323.
［6］Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding[Z].Science,2000,290(5500):2323-2326.［7］
Belkin M and Niyogi placian eigenmaps for dimensionality reduction and data representation[Z].Neural Computation,2003,15(6):1373-1396.
［8］He X F,Yan S C,Hu Y X,et al..Face recognition using Laplacian faces.
IEEE Transaction on Pattern Analysis and Machine Intelligence,2005,27(3):328-340[Z].［9］Pang Y W,Zheng L,Liu Z K,et al..Neighborhood preserving projections (NPP):a novel linear dimension reduction method.ICIC 2005,Part I,Lecture Notes in Computer Science,Springer,Berlin,2005,vol.3644:117-125[Z].
［责任编辑：王楠］
算法PCA LDA LPP NPP NPP-LDA 低维空间维数9039706040
最高识别率（%）88.6783.7991.2691.3292.54169
. All Rights Reserved.。