应用非负矩阵分解和RBPNN模型的掌纹识别方法
增量式鉴别非负矩阵分解算法及其在人脸识别中的应用
增量式鉴别非负矩阵分解算法及其在人脸识别中的应用蔡竞;王万良;郑建炜;李吉明【摘要】针对在线学习的人脸识别效率问题,提出了一种增量式鉴别非负矩阵分解算法.在以往无监督学习模式下的增量式非负矩阵分解算法基础上,利用初始训练样本数据和新增训练样本的类别信息,将同类别训练样本对应的系数向量均值作为初始迭代值,并在类内欧氏距离最小的约束下建立目标泛函,从而获得更具鉴别性的特征并使优化求解时所需迭代次数明显减少.通过在ORL和PIE人脸数据库上的实验验证了该算法收敛速度快、分类精度高,且较批量式算法有更高的效率优势.%Aiming at the efficiency and efficacy of online feature learning for face recognition, a novel incremental discriminant learning algorithm of non-negative matrix factorization is proposed. Compared with former unsupervised online matrix factorization methods, our approach takes good advantage of the label information of training samples. Coefficient vector means of the same class were used for initialization, then the algorithm iterates with constraints on minimizing Euclidean distance of in-class samples. Which results more discriminative features and less iterations in computation. Experiments on ORL and PIE face datasets demonstrated that the proposed algorithm achieved better classification accuracy and converged faster than former batch based non-negative matrix factorization algorithms.【期刊名称】《图学学报》【年(卷),期】2017(038)005【总页数】7页(P715-721)【关键词】人脸识别;有监督学习;非负矩阵分解;增量学习【作者】蔡竞;王万良;郑建炜;李吉明【作者单位】浙江工业大学计算机科学与技术学院,浙江杭州 310023;浙江警察学院刑事科学技术系,浙江杭州 310053;基于大数据架构的公安信息化应用公安部重点实验室,浙江杭州 310053;浙江工业大学计算机科学与技术学院,浙江杭州310023;浙江工业大学计算机科学与技术学院,浙江杭州 310023;基于大数据架构的公安信息化应用公安部重点实验室,浙江杭州 310053【正文语种】中文【中图分类】TP391.4高维度的原始数据在计算机视觉、信号处理以及模式识别等领域中是极为常见的现象。
非负矩阵分解及其在模式识别中的应用1
其中 Bn×r 称为基矩阵, Cr×m 为系数矩阵. 若选择 r 比
n 小, 用系数矩阵代替原数据矩阵, 就可以实现对原
241
第 51 卷 第 3 期 2006 年 2 月
评述
数据矩阵的降维, 得到数据特征的降维矩阵, 从而减 少存储空间, 节约计算资源; 从数据编码表示来看, 以基矩阵为码本, 则系数矩阵就为相应的编码系数. 文献[3]从矩阵分解的角度就主成分分析、向量量化、 独立分量分析和非负矩阵分解作了讨论.
2πσ ij ). (7)
∑ 若假设 σ ij = 1 并忽略因子1 2 和常数项 log( 2πσ ij ),
ij
则得到
∑ LED (B, C) = ⎡⎣ Xij − (BC)ij ⎤⎦2.
(8)
ij
采用传统的梯度法, 有
( ) ( ) ∂LED
∂Bik
=
−2
⎡ ⎢⎣
XCT
−
ik
BCCT
ik
⎤ ⎥⎦
∑ s.t. B ≥ 0, C ≥ 0, Bi2k = 1, ∀k.
i
其迭代算法如下:
.
( ) ( ) 如果设置 φik =
Bik BCCT
, ϕkj =
Ckj BT BC
, 式 (10)加
ik
kj
性迭代规则就变成了如下的乘性迭代规则[5]:
Bik
←
Bik
( XCT )ik (BCCT )ik
,
Ckj
← Ckj
(BT X )kj (BT BC)kj
.
(11)
如果考虑噪声为泊松噪声, 即有
( ) p(Xij
| B,C) = exp ⎧⎪⎨− ⎪⎩
非负矩阵因子及在人脸表情识别中的应用
非负矩阵因子及在人脸表情识别中的应用黄勇【摘要】提出了一种基于二维非负矩阵因子的人脸表情识别方法.该算法直接将2维人脸表情图像矩阵作为2维矩阵并结合NMF进行表情特征提取,称之为2DNMF.与NMF等不同,2DNMF充分利用表情图像矩阵中的行向量间的信息和列向量间的信息,尽可能地保留了原始的表情信息.基于CED-WYU(1.0)和JAFFE两个表情数据库的识别结果表明,基于2维非负矩阵因子的特征提取方法能有效地提高识别率及效率.【期刊名称】《计算机工程与应用》【年(卷),期】2010(046)026【总页数】3页(P182-183,187)【关键词】非负矩阵因子;2 维非负矩阵因子;表情识别【作者】黄勇【作者单位】柳州铁道职业技术学院,电子工程系,广西,柳州,545007【正文语种】中文【中图分类】TP391.411 引言传统的基于图像局部的分析技术（如PCA[1]），是一种基于全局子空间的分析方法，然而在人脸表情识别的学习和分析中，基于局部特征具有较全局更好的性能，如厌恶表情，主要体现在嘴巴的变化上。
基于以上考虑，文献[2-3]提出了一种非负矩阵因子（Non-negative Matrix Factorization，NMF）算法来学习和分析物体或图像的局部，该算法通过对矩阵引入非负性约束，在图像重构过程中仅允许图像由基图像或局部的加法来构成，不允许减法或加减法组合的出现，来保证基于局部的感知行为。
文献[4]以此算法及改进算法（Local Non-negative Matrix Factorization，LNMF）实现了人脸表情识别，得出了较好的结果。
但在NMF中，需要将2维的表情图像矩阵转换为1维的表情图像向量。
这样一方面这将会产生高维的向量空间，寻找优良的基图像就相对困难一些；另一方面也可能在转换过程中导致原始的2维表情图像中的一些隐藏的结构特征信息丢失。
受2维主元分析2DPCA的启发，不进行图像矩阵转换，将2维表情图像看作2维矩阵，再应用NMF进行表情特征提取，称为2维非负矩阵因子（2-Dimensional Non-negative Matrix Factorization，2DNMF）。
非负矩阵分解
非负矩阵分解非负矩阵分解（NonnegativeMatrixFactorization，NMF）是一种重要的数值分解技术，它可以将一个实对称矩阵分解成两个非负矩阵，其中元素都大于等于零。
它可以用来提取相关数据之间的关系，从而从模糊的数据中提取出有价值的信息，因此经常被应用于聚类、概念提取等机器学习的领域中。
首先，要理解NMF，我们需要介绍其基本概念，它是一种矩阵分解技术，一般可以将一个实对称矩阵分解为两个非负的矩阵，这些元素都大于等于零。
其中，一个矩阵称为基矩阵，用来描述数据之间的关系；另一个称为内积矩阵，用来描述数据之间的相关性。
NMF由布罗基-亨利林（Brock-Hennely）在1999年提出，是一种重要的半正则化方法，能够从给定的非负矩阵中恢复出潜在的内容主题，其计算结果可以看作是一种“直观的抽象”，可以给出一个“更容易理解”的表示。
NMF的思想是将一个非负实矩阵X分解成两个非负矩阵W和H，令X≈WH，这两个矩阵的元素均为非负值，分别叫做基矩阵W和内积矩阵H，其计算过程是令X，W，H分别尽可能接近W，H，X，使得W 和H的乘积最小。
W和H可以用来描述原始矩阵X中的数据之间的关系，而不是直接用原始矩阵来表示X。
NMF有很多应用，如用于聚类分析，文档检索，内容提取，图像处理等机器学习领域，其主要的优点是：(1)能够从模糊的数据中提取出有价值的信息，(2)可以自动化，减少神经网络算法中专家知识的应用，(3)可以用于实时处理大量数据，(4)可以用于视觉系统，提出新的视觉模型，从而对计算机视觉系统有很大帮助。
NMF在聚类分析中也有很好的应用，它可以自动发现原始数据中的隐藏信息，并把它们聚合成不同的类别。
它的聚类特性使得它可以用来处理复杂数据集，具有很多分类任务的优点。
例如，可以使用NMF来分析文本数据，将一些紧密相关的文本聚合到一起；可以用来分析视觉数据，将图像中的主要特征提取出来；还可以用来分析声音数据，将语音识别任务简化成一个重要的计算任务。
非负矩阵分解在图像分析中的应用
量)中包含大部分为0的系数，因此基图像矩阵牙和编码图像矩阵H是稀疏的(sParse)。
基图像的稀疏是因为它是非整体的而且包含多个版本的嘴、鼻子和其它面部元件，在这里各种版本的嘴、鼻子和其它面部元件是在不同的位置和处于不同的形式。
整张脸的多样性就是通过组合这些不同的部件所生成的。
尽管所有的部件至少被一张脸使用，但对于给定的脸并不一定同时使用所有的可用的部件。
这就导致了一个稀疏地分散的图像编码，与v Q的一元编码和P C A的全部分散的编码形成鲜明的对比。
N M F口」二叫叫l111l ll口L」乞_」卜尸叫叫卜一卜扁洲洲...l l习「二]]]l‘蓄日.l ll.l ll...「「]]]至习}}州州I11卜州卜了--.!!!...l一~门门一门门r一，「一几几鱼鱼匕列列「「」.!!!「翌r~~~~呈呈_」月匡匡{{{李一{{{江习l二月一一l r一-，厂气飞一1一T丁一疡一}}牲大1__里f户_」~__l l..!!里哩到「「工二)))钾一:片.r l‘r r一1:阅一宁一卞一二，二，户l l，、百..11.气馨。
书一各.本.4本4一一··1一f+于+卡一··上址全士上上福福~备牛4半4--p C A辍蟒矍黔鬓辍卜卜玺玺铆铆~呀，.曰卜，44r尹石畏‘‘‘气丁习巨蒸蒸俘砚勺勺爵自自酬酬爵圃令令麒圃麒麒肠肠翻嚷寥娜娜氢氢翩翩{密令润瞬绝翻眯眯之麟爵观胰爵广截截彝啊!!!版{{{嗽叫解解遗、髯摹!!!瓮髯酬111·惑一履图2.1N M F、V Q、P C A对人脸的表示N M F是对人脸的的基于部分的表达，而V Q和P C A是对人脸的基于整体的表达。
这三种分析方法都被应用到一个m=2429的人脸图像数据库中，每个图像由n=19xl9像素组成，最终形成一个n x m矩阵V。
这三种方法都是设法找到一种V的近似分解V二不朽叮，但是牙和H规定不同的约束条件。
非负矩阵分解及在人脸识别的应用PPT课件
How do you subtract a face? What does subtraction mean in the context of document
classification? back
2021
7
Non-negative Matrix Factorization
[4]J.Lu andY.-P.Tan,“Doubly weighted nonnegative matrix factorization for imbalanced face recognition”,Proc.IEEE Int.Conf.Acoustics,Speech,andSignalProcessing,2009,pp.877¨C880
2021
12
NMF Basis Imagesnmf_basis
Only allowing adding of basis images makes intuitive sense
– Has physical analogue in neurons
Forcing the reconstruction coefficients to be positive leads to nice basis images
VWH
2021
24
back 2021
25
Weighted NMF
2021
26
2021
27
back
2021
28
结论及未来工作
综上所述，非负矩阵分解是一种的提取 图像局部特征信息的有效的方法，目前 在很多领域得到广泛应用，值得我们关 注。
问题
（1）非平衡样本集识别率低的问题
基于非负矩阵分解算法的人脸识别方法
基于非负矩阵分解算法的人脸识别方法彭梦冉【期刊名称】《《长春工程学院学报（自然科学版）》》【年(卷),期】2019(020)003【总页数】5页(P104-108)【关键词】人脸识别; 非负矩阵分解; 最速下降法; 稀疏约束【作者】彭梦冉【作者单位】安徽工商职业学院信息工程学院合肥231131【正文语种】中文【中图分类】TP312人脸识别是利用计算机提取人脸的相关特征，并由此辨别人物身份的一种应用技术，与其他生物特征识别技术相比，它具有无侵犯性、便于安装、成本投入少、不需要人工完成就可以自动执行等优势，因此，人脸识别技术广泛应用于信息、公共、金融等安全领域。
整个人脸识别的流程如图1所示，其中人脸图像的特征提取是人脸识别过程中最关键的技术之一，它在寻求最具有鉴别性的描述特征的同时，可以在适当的情况下实现模式数据描述的维数约减。
常用的人脸特征提取方法有基于几何特征方法、基于特征脸方法、局部特征法和基于弹性模型法等。
而非负矩阵分解算法就是一种局部特征提取方法。
图1 人脸识别流程1 基本理论1.1 非负矩阵分解算法简介非负矩阵分解算法是由日本学者Lee和Seung于1999年在《Nature》上发表的论文中提出的，与其他矩阵分解相比，其特点是找出表明事物中隐藏的特征，用局部特征的方式去辨别物体本身，同时加入了非负元素值的约束条件。
非负矩阵分解算法的基本思想是对于给定的任意一个n行m列非负矩阵V，能够找到一个非负矩阵W和一个非负矩阵V，使其满足V=WH，其中r的选择要满足(n+m)r<mn，这样W和H将会小于原始矩阵V，能够得到原始数据矩阵V的一个压缩模型。
1.2 目标函数与迭代规则Lee和Seung引入目标函数概念，该目标函数为K-L散度与欧式距离，度量时采用欧式距离时，目标函数如下：(1)目标函数采用欧氏距离‖V-WH‖度量，从负梯度方向进行迭代，则在如下的更新规则下非增：(2)(3)1.3 传统的NMF算法步骤已知非负数据矩阵与可接受最大误差，计算得到非负分解矩阵。
非负矩阵分解与RBF网络的人脸识别方法
4.4 Kernel RBF 网络的训练
1.利用kernel k-means算法将输入数据在Kernel 特征空间 内聚类。 (RBF网络则是利用k-means 算法将输入数据 局类).
2.根据训练数据的每一类训练RBF函数的参数（中间节点 的参数）
T
h
j
:
H中类i的平均 值。
SB
1 C(C 1)
C i 1
C
(ui
j 1
u j )(ui
u j )T
• 迭代算法
hkl b b2 4 vil i
wik hkl k wik hkl
2 niC
4 ni2 (C
1)
b 4
们可以得到下面的矩阵分解：
V WH
W是基矩阵， H 是系数矩阵，这样人脸向量可 以表示为基向量的线性累加。
3.2 非负矩阵分解（NMF）Lee 和 Seung在 1999 年提出
• NMF 对W 和 H 加了非负的约束. 这样可以直观 地将基图像累加成为一个完整的人脸
• NMF 使用 V 与其近似 Y 的divergence。
V Y WH
• 目标函数定义为
Min D(V
B,H
Y
WH )
i, j
vij
log vij yij
vij
yij
s.t. W , H 0, bij 1 j
i
3.3 局部非负矩阵分解（LNMF） LNMF 通过对NMF加如三个约束，能够得到更加局部的 特征。 (1) 减少基图像的组成。 (2) 减小不同基之间的冗余。 (3) 在基图像中保留最重要的一些信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
应用非负矩阵分解和RBPNN模型的掌纹识别方法尚丽;崔鸣;杜吉祥【摘要】提出一种基于非负矩阵分解(NMF)和径向基概率神经网络的掌纹识别方法.NFM是一种有效的图像局部特征提取算法,用于图像分类时能得到较高的识别率.考虑PolyU掌纹图像数据库,应用NMF、局部NMF(LNMF)、稀疏NMF(SNMF)和具有稀疏度约束的NMF(NMFSC)算法分别对掌纹图像进行特征提取,并对提取到的局部特征基图像进行分析对比；在特征提取的基础上,应用径向基概率神经网络(RBPNN)模型对掌纹特征进行分类,分类结果表明了RBPNN模型对掌纹特征具有较好的识别能力.实验对比结果证明了基于RBPNN的NMF掌纹识别方法在掌纹识别中的有效性,具有一定的理论研究意义和实用性,%A palmprint recognition method based on Non-negative Matrix Factorization (NMF) and Radial Basis Probabilistic Neural Network(RBPNN) is proposed. NMF is an efficient local feature extraction algorithm of images, and it can obtain high recognition rate in image classification task. Considered PolyU palmprint image database, the palm features are extracted by using several algorithms, such as NMF, Local NMF(LNMF), Sparse NMF(SNMF), and NMF with Sparseness Constraints(NMFSC) et al. And these feature basis images extracted are analyzed and compared. On the basis of feature extraction, the RBPNN classifier is utilized to classify palmprint features, and the classification results show that the RBPNN model has better palmprint recognition property. Compared classification results obtained by different algorithms, it is clear to see that the palmprint recognition results based on RBPNN and NMF are indeed efficient, and thesealgorithms behave certain theory research meaning and application in practice.【期刊名称】《计算机工程与应用》【年(卷),期】2012(048)004【总页数】5页(P199-203)【关键词】非负矩阵分解;局部特征提取;特征基图像;掌纹识别;径向基概率神经网络(RBPNN)分类器【作者】尚丽;崔鸣;杜吉祥【作者单位】苏州市职业大学电子信息工程系,江苏苏州215104;苏州市职业大学电子信息工程系,江苏苏州215104;中国科学技术大学自动化系,合肥230026;华侨大学计算机科学与技术系,福建泉州362021【正文语种】中文【中图分类】TN911.73图像特征的选择将左右图像识别的结果，能否在高维的原始数据空间内恰当有效地进行特征的提取和选择关系到下一步的分类决策操作，因此特征提取在模式识别中一直占据着重要的地位。
仅对掌纹图像而言，目前已涌现出大量的掌纹特征提取算法，特别是基于特征子空间的一些方法已成为研究者关注的主要内容，如线性判决分析（Linear Discriminant Analysis，LDA）[1]、主分量分析（Principal Component Analysis，PCA）方法[2]、独立分量分析（Independent Component Analysis，ICA）方法[2-3]、非负矩阵分解（Non-negative MatrixFactorization，NMF）[4-5]、核主元分析（Kernel PCA，KPCA）方法[6]、核独立元分析（Kernel ICA，KICA）[7]等。
其中，非负矩阵分解（NMF）是一种新兴的矩阵分解算法，能够提取图像的局部特征。
该方法区别于上述提到的LDA、PCA、ICA 等方法，它使分解后的所有分量均为非负值，同时实现非线性的维数约减。
在传统的NMF算法基础上，分解结果加入包括非负性限制在内的其他限制条件，则形成了一些改进的NMF 算法，如局部非负矩阵分解（Local NMF，LNMF）[8]算法、具有稀疏度约束的非负矩阵分解（NMF with Sparseness Constraints，NMFSC）[9-10]算法、稀疏非负矩阵分解（Sparse NMF，SNMF）[5，11]算法等。
上述各类NMF算法的限制性条件和目标最小优化算法各不相同，但在约束条件下均能有效地提取出图像的特征，目前已被广泛应用于图像处理领域[1，5，10]，特别是目前较热门的生物特征识别技术领域，如人脸图像识别、指纹图像识别和掌纹图像识别等研究领域[12-13]。
在上述各类NMF算法研究的基础上，本文针对掌纹图像数据，探讨各类NMF算法对掌纹图像特征提取的有效性；进一步地，利用距离和径向基概率神经网络（Radial Basis Probabilistic Neural Networks）分类器[14-15]来讨论和分析各种NMF 算法对掌纹识别的性能，简要概括了各种NMF算法在掌纹识别中的优缺点，为掌纹识别技术的研究提供一定的理论研究依据。
1 非负矩阵分解的定义在数学上，从计算的观点看，矩阵分解结果中存在负值是正确的，但是由于许多数据本身就是非负的，如灰度图像、物质成分含量、文章中单词出现的次数和统计学中的概率转移矩阵等，如果采用传统的因子分析方法使得分解结果中存在负值，则会失去数据本身的物理意义，在实际问题中没有任何意义。
因此，探索矩阵的非负分解方法一直是很有意义的研究问题。
非负矩阵分解是一种多变量分析方法。
假设非负矩阵表示M 个N 维的样本集合，行向量vk 表示第k 行样本数据，则矩阵V 的大小为N×M。
对输入数据矩阵V 进行线性分解，使得V ≈WH。
其中称为特征基矩阵，大小为N×r，wk 表示特征基矩阵W 的第k 列列向量称为特征系数矩阵，hk 为H 的第k 行行向量，大小为r×M。
如选择r ＜N，用系数矩阵代替原数据矩阵，就可以实现对原数据矩阵的降维，从而减少存储空间。
从数据编码表示来看，W 矩阵是码本，H 矩阵是编码系数，W 和H 均是非负矩阵。
2 各类非负矩阵分解（NMF）算法2.1 传统NMF算法NMF是一种基于局部的子空间投影方法。
该方法类似于正定矩阵分解，已被广泛应用于不同的领域。
由于NMF对特征基矩阵和特征系数矩阵都施加了非负性约束，使得重建图像是由基图像的非负叠加组合而成，体现出人类思维中“部分构成整体”概念[9-10]。
NMF算法常用的两种目标函数为[9-10]：式（1）和式（2）中矩阵V、W 和H 均为非负矩阵。
对应式（1）的迭代公式为：随机选取非负矩阵作为W 和H 的初始矩阵，然后使用上述迭代规则就可以保证目标函数是一直下降的，同时在迭代过程中矩阵W 和H 也能保证一直是非负的。
2.2 LNMF算法局部NMF（LNMF）算法是在NMF方法的基础上提出的[9]，该方法了增加了下面3 个约束条件：（1）最小化，增强权值矩阵H 的最大化稀疏性；（2）最大化(HH T)，增强特征基矩阵W 的最大化代表性；（3）增强特征基矩阵W 的正交性。
这三个限制条件强调了原图像分解过程中基本特征成分的局部化。
LNMF的目标函数如下所示[8]：其中，参数α、β 为正常数。
采用轮流更新W 和H 的方式实现目标函数的最小化，乘性迭代公式如下所示：由于采用了一些近似处理，算法中的参数α、β 选用正的常数，并没有出现在迭代公式中，关于此问题，至今并没有文献给出合理的解释，还有待于进一步的研究。
2.3 稀疏NMF（SNMF）算法Liu等人[11]提出了稀疏NMF（SNMF）算法，其目标函数如下：其中，参数β 为正的常数其乘性迭代规则如下：上述SNMF算法和Hoyer提出的非负稀疏编码（Non-Negative Sparse Coding，NNSC）算法类似[9-10]，区别在于SNMF 算法采用了广义K-L散度（Generalized Kullback-Leibler Divergence，GKLD）和L1 范数定义的稀疏性惩罚项组合而成；对W 和H采用了类似最大期望（EM）算法的方式优化，迭代公式全部采用乘性迭代规则，能很好地保持数据的非负特性。
2.4 具有稀疏度约束的NMF（NMFSC）算法Hoyer 在NNSC 的基础上提出了可精确控制稀疏性的算法——具有稀疏度约束的NMF算法（NMFSC），这个算法最有特点也是最具创新性的地方是以非线性投影实现对稀疏性的精确控制，其目标函数如下[9，11]：上式满足约束条件：W 和H 为非负矩阵；对任意i：sparsness(wi)=Sw；sparsness(hi)=Sh。
这里wi 是W 的第i 列列向量；hi 是H 的第i 行行向量；Sw 和Sh 分别是W 和H 期望的稀疏度。
一个向量x 稀疏度是基于L1 和L2 范数的关系，定义如下：其中n 表示x 的维数。
应用NMFSC算法的迭代过程为：（1）如果对特征基矩阵W 进行稀疏约束，则W 的迭代公式为：同时根据非负稀疏投影算法将W 的每一列变为非负值，使其L2 范数不变，但L1 范数达到要求的稀疏度。
（2）如果对稀疏系数矩阵H 应用稀疏约束则其迭代公式为：同样地，根据非负稀疏投影算法将H 的每一列变为非负值，使其L2 范数不变，但L1 范数达到要求的稀疏度。
（3）如果对W 和H 都不进行稀疏约束，则用标准乘法运算公式对W 和H 进行迭代：这里数学符号⊗和Ø 都是基于矩阵元素的乘除法，μW 和μH是迭代步长，是非常小的正数，用于控制迭代的进行，保证算法收敛。