非负矩阵分解与RBF网络的人脸识别方法

• KRBF网络与RBF网络的网络结构相同。 • 它们的不同主要在于训练过程。
4.4 Kernel RBF 网络的训练
1.利用kernel k-means算法将输入数据在Kernel 特征空间 内聚类。 (RBF网络则是利用k-means 算法将输入数据 局类).
2.根据训练数据的每一类训练RBF函数的参数（中间节点 的参数）
T
h
j
:
H中类i的平均 值。
SB

1 C(C 1)
C i 1
C
(ui
j 1
u j )(ui
u j )T
• 迭代算法

hkl b b2 4 vil i
wik hkl k wik hkl

2 niC

4 ni2 (C
1)

b 4
们可以得到下面的矩阵分解：
V WH
W是基矩阵， H 是系数矩阵，这样人脸向量可 以表示为基向量的线性累加。
3.2 非负矩阵分解（NMF）Lee 和 Seung在 1999 年提出
• NMF 对W 和 H 加了非负的约束. 这样可以直观 地将基图像累加成为一个完整的人脸
• NMF 使用 V 与其近似 Y 的divergence。
V Y WH
• 目标函数定义为
Min D(V
B,H
Y
WH )
i, j


vij

log vij yij
vij


yij


s.t. W , H 0, bij 1 j
i
3.3 局部非负矩阵分解（LNMF） LNMF 通过对NMF加如三个约束，能够得到更加局部的 特征。 (1) 减少基图像的组成。 (2) 减小不同基之间的冗余。 (3) 在基图像中保留最重要的一些信息。
k (xi , xi ) 2k (xi , x j ) k (x j , x j )
4.5 人脸识别
1.核函数的选取：多项式核函数
k(xi , x j ) (xi , x j )d
2.特征提取
KRBFNN的 隐 层 是 一 些 聚类 ， 输 入层 输 入 的数 据 在 Kernel空间中，到这些聚类中心的距离就是KRBFNN
• 与NMF相比，LNMF可以得到更加局部的特征。
3.4 Fisher 非负矩阵分解(FNMF)
• NMF 与 LNMF保证在将基图像累加为人脸图像的过 程为非减的。
• FNMF对NMF加入了Fisher 线性判别(FLDA)的约束。
• FLDA 最小化类内距 最大化类间距.
3.5 FNMF 算法
• FERET 人脸库样本
• FNMF, LNMF 和NMF在 FERET 数据集 上的识别比较
R ecognition rate
Race recognition rate 0.85
0.75
0.65
0.55
4
5
6
7
S quare rootof num ber of
bases
NM F LNM F FNM F
70/350 140/280 210/210 28ห้องสมุดไป่ตู้/140 350/70 train data /test data
KRBF RBF
FERET 数据集人脸识别
4.7总结
KRBFNN 和 RBFNN一样，具有计算简单、网络结构 简洁、完善的数学理论等特点 。
另外，KRBFNN在kernel特征空间中提取人脸图像的 非线性特征。
R B FN N KRBFNN d=2 KRBFNN d=3 KRBFNN d=4
ORL 库人脸识别
•FERET人脸库样本
FERET库试
验
R ecognition rate
R ecognition rate on FER ET dataset
0.85 0.8
0.75 0.7
0.65 20 30 40 50 60 70
D(V
WH )
i, j

vij
log vij yij
vij

yij


SW
S B
>0, 为常数;
SW, 系数矩阵的类内距:
SW
SB,
1 C 1 ni
C i1 ni
(hj ui )(h
j 1
ui
系数矩阵的类间距:
j ui )
1 ni ni j1
最后，识别结果好于RBF网络。
5.总结
本文提出了两种人脸识别算法 • Fisher NMF，提取有直观意义的特征，得到较
高的识别率。
• Kernel RBF网络，利用RBF网络在Kernel特征 空间提取人脸的非线性信息，有较好的识别效 果。
谢 谢！
Thanks
N um ber of hidden layer nodes
R B FN N KRBFNN d=2 KRBFNN d=3 KRBFNN d=4
Recognition rate
FERET库试验
Recognition rate of FERET database
1 0.9 0.8 0.7 0.6 0.5 0.4
2.人脸识别方法总述
2.1难点
• 人脸的旋转 • 人脸表情的变化 • 不同的光照条件 • 人的发型、饰物（如眼镜等） • 不同的背景等
2.2前人贡献
子空间的人脸识别方法 • 主元分析（PCA） • 独立元分析（ICA） • Fisher 线性判别（FLDA） • 非负矩阵分解（NMF） • 局部非负矩阵分解（LNMF）
• FNMF, LNMF 和 NMF 在 ORL 人脸库的识别 比较.
R ecognition rate
Face re co g n itio n rate
0.95 0.9
0.85 0.8
0.75 456789
S quare rootof num ber of bases
NM F LNM F FNM F
3.7 总结
•FNMF 是一种学习局部特征的子空间人脸识别 方法。. • 在人脸识别方面，FNMF好于LNMF和NMF. • FNMF不但具有NMF和LNMF的性质，还能最 大化类间距，最小化类内距。.
4.Kernel RBF网络 的人脸识别方法
4.1 目的 • 一个线性的系统不能描述人脸图像的非线性因素。 • Kernel特征空间可以反映人脸的非线性特信息。 • Kernel RBF网络在Kernel空间中提取特征。
niC(C 1)
j
(ukj

(uki

hkl ni
))

2 niC
uki
1
wkl wkl
j vkj
hlj k wkl hlj
j hlj
wkl
wkl k wkl
3.6 实验 •ORL人脸库样本
FNMF得到的基图
像
3.6 实验
NMF得到的基图像
LNMF得到的基图
像
3. 训练隐层与输出层的权值。
Kernel K-means 聚类算法
如何从k-means 聚类算法得到kernel k-means 聚类 算法？
关键是如何计算kernel空间中两点间的距离
D 2 (ui ,u j ) (xi ) (x j ) 2 2 (xi ) 2 (xi ) (x j ) 2 (x j )
4.2 RBF网络结构
output1
output2
输出层输出结果
Hidden 1
Hidden2
Hidden3
隐层：每一个节 点是一个RBF函 数（如高斯函 数）。
函数的参数由聚 类样本求出。
(x)

exp

xi 2h
k k2
2
聚
Input
类
输入层：输入人脸数据
4.3 Kernel RBF网络与RBF网络的联系
提取的特征。
3.分类器 最近邻分类器 (NN);
4.6 实验 •ORL人脸库样本
ORL库试验
ORL库试验
R ecognition rate
R ecognition rate of O R L database
1 0.95
0.9 0.85
0.8 0.75
80/320
240/160
Training data /Testdata
基于Kernel 空间的方法
• Kernel PCA • Kernel FDA • 支持向量机（SVM）
基于神经网络的方法
• BP网络 • 径向基函数网络（RBFNN）
3.基于Fisher NMF 的人脸识别方 法
3.1矩阵分解
当有 m 张人脸图片 (每一张n 个像素)，则这 m
张人脸图片可以表示为 nm 的矩阵 V, 这样我
V Y WH
Fisher • 系数矩阵 H的列与矩阵V的列是一一对应的, 我们试图 最大化系数矩阵的类间距，最小化系数矩阵的类内距。 •FNMF的目标函数定义为 :
D(V
WH )
i, j


vij
log
vij yij
vij


yij


SW
S B
•FNMF的目标函数 :
非负矩阵分解与RBF网络的人 脸识别方法
导师：贾云得 答辩人：王缘
大纲
• 课题的意义 • 人脸识别方法总述 • 基于Fisher NMF 的人脸识别方法 • 基于Kernel RBF网络的人脸识别方法 • 总结
1.课题意义
应用前景
• 人机交互 • 安全防范 • 视频监控
理论价值
• 人脸识别涉及了模式识别、图象处理、认知科学、 生理学、心理学等多门学科的知识，具有很高的 研究价值。