210980622_联合Gabor滤波器和核池化特征学习的单样本人脸识别与验证★

第54卷 第2期
2023年3月
太
原理
工大学学
报
J O U R N A L O F T A I Y U A N U N I V E R S I T Y O F T E C HN O L O G Y
V o l .54N o .2
M a r .2023
引文格式:周稻祥,冯姝.联合G a b o r 滤波器和核池化特征学习的单样本人脸识别与验证[J ].太原理工大学学报,2023,54
(2):384-391.
Z HO U D a o x i a n g ,F E N G S h u .S i n g l e s a m p l e f a c e r e c o g n i t i o n a n d v e r i f i c a t i o n v i a f e a t u r e l e a r n i n g w
i t h g a b o r f i l -t e r a n d k e r n e l p o o l i n g [J ].J o u r n a l o f T a i y u a n U n i v e r s i t y o f T e c h n o l o g y
,2023,54(2):384-391.
收稿日期:2022-09-05
基金项目:国家自然科学基金资助项目(62101376);山西省应用基础研究计划基金项目(201901D 211078,20210302124543
) 通信作者:周稻祥(1987-),博士,讲师,主要从事人脸识别和人脸反欺诈研究,(E -m a i l )z h o u d a o x i a n g @t y
u t .e d u .c n 联合G a b o r 滤波器和核池化特征学习的
单样本人脸识别与验证
周稻祥1,2
,冯 姝3
(1.太原理工大学大数据学院,山西晋中030600;2.
重庆大学大数据与软件学院,重庆401331;3.山西农业大学基础部,山西太谷030801
)摘 要:针对深度网络模型的结构复杂问题,受构建G a b o r 滤波器无需任何学习过程且与训
练数据无关,以及径向基(r a d i a l b a s i s f u n c t i o n ,R B F )
核池化能够提取非线性二阶特征的启发,提出一种联合G a b o r 滤波器和R B F 核池化的轻量卷积网络方法㊂首先对人脸图像进行G a b o r 卷积得到特征图;然后采用双曲正切函数t a n h 激励特征图以提高特征的表达能力;最后利用多尺度金字塔策略将特征图划分为多个区域,在每个区域上做R B F 核池化,所有区域的核池化特征串联得到人脸特征表示㊂探讨了多个参数对识别性能的影响,对比了协方差池化和核池化的区别和性能㊂
在三个单样本人脸识别和一个视频人脸验证数据集上进行大量实验,结果表明本文方法学习的人脸特征具有优秀的判别能力,对光照㊁遮挡㊁年龄等因素具有强鲁棒性㊂
关键词:人脸识别;轻量卷积网络;G a b o r 滤波器;
核池化;空间金字塔中图分类号:T P 391 文献标识码:A
D O I :10.16355/j .c n k i .i s s n 1007-9432t y
u t .2023.02.019 文章编号:1007-9432(2023)02-0384-08S i n g l e S a m p l e F a c e R e c o g n i t i o n a n d V e r i f i c a t i o n v i a F e a t u r e L e a r n i n g
w i t h G a b o r F i l t e r a n d K e r n e l P o o l i n g
Z H O U D a o x i a n g 1,2,
F E N
G S h u 3
(1.C o l l e g e o f D a t a S c i e n c e ,T a i y u a n U n i v e r s i t y o f T e c h n o l o g y ,J i n z h o n g 0
30600,C h i n a ;2.S c h o o l o f B i g D a t a a n d S o f t w a r e E n g i n e e r i n g ,C h o n g q i n g U n i v e r s i t y ,C h o n g q i n g
401331,C h i n a ;3.D e p a r t m e n t o f F o u n d a t i o n ,S h a n x i A g
r i c u l t u r a l U n i v e r s i t y ,T a i g
u 030801,C h i n a )A b s t r a c t :A i m i n g a t t h e c o m p l e x s t r u c t u r e o f d e e p n e t w o r k m o d e l s ,i n s p i r e d b y t
h e f a c t t h a t t h e c o n s t r u c t i o n o f G a b o r f i l t e r s d o e s n o t r e q u i r e a n y l e a r n i n g p r o c e s s a n d h a s n o t h i n g
t o d o w i t h t r a i n i n g d a t a ,a n d t h a t r a d i a l b a s i s f u n c t i o n (R B F )k e r n e l p o o l i n g c a n e x t r a c t n o n l i n e a r s e c o n d -o r d e r f e a t u r e s ,a l i g h t w e i g h t c o n v o l u t i o n a l n e t w o r k a p p r o a c h c o m b i n i n g G
a b o r f i l t e r s a n d R B F k e r n e l p o o l i n g w a s p r o p o s e d .F i r s t ,G a b o r c o n v o l u t i o n i s p e r f o r m e d o n t h e f a c e i m a g e t o o b t a i n t h e f e a t u r e m a p ;t h e n t h e h y p e r b o l i c t a n g e n t f u n c t i o n t a n h i s u s e d t o a c t i v a t e t h e f e a t u r e m a p
w i t h t h e h o p e o f e n h a n c i n g t h e d i s c r i p t i o n a b i l i t y o f t h e f e a t u r e ;f i n a l l y ,t h e m u l t i -s c a l e p y
r a m i d Copyright ©博看网. All Rights Reserved.
s t r a t e g y i s a p p l i e d t o d i v i d e t h e f e a t u r e m a p i n t o m u l t i p l e r e g i o n s,R B F k e r n e l p o o l i n g i s c o n d u c-t e d o n e a c h r e g i o n,a n d t h e k e r n e l p o o l i n g f e a t u r e s o f a l l r e g i o n s a r e c o n c a t e n a t e d t o o b t a i n t h e f a c e f e a t u r e r e p r e s e n t a t i o n.T h e i n f l u e n c e o f m u l t i p l e p a r a m e t e r s o n t h e r e c o g n i t i o n p e r f o r m a n c e w a s d i s c u s s e d,a n d t h e d i f f e r e n c e a n d p e r f o r m a n c e o f c o v a r i a n c e p o o l i n g a n d k e r n e l p o o l i n g w e r e c o m p a r e d.E x t e n s i v e e x p e r i m e n t s w e r e c a r r i e d o u t o n t h r e e s i n g l e-s a m p l e f a c e r e c o g n i t i o n d a t a-s e t s a n d o n e v i d e o f a c e v e r i f i c a t i o n d a t a s e t.T h e r e s u l t s d e m o n s t r a t e t h a t t h e f a c e f e a t u r e s l e a r n e d b y o u r m e t h o d h a v e e x c e l l e n t d i s c r i m i n a t i v e p o w e r a n d s t r o n g r o b u s t n e s s t o t h e f a c t o r s s u c h a s i l-l u m i n a t i o n,o c c l u s i o n,a n d a g e.
K e y w o r d s:f a c e r e c o g n i t i o n;l i g h t w e i g h t c o n v o l u t i o n a l n e t w o r k;G a b o r f i l t e r;k e r n e l p o o l i n g;
s p a t i a l p y r a m i d
人工智能技术随着深度学习的复兴得到了迅速的发展,人脸识别是真正落地实现的人工智能技术之一㊂近年来人脸识别逐渐走向市场化和商业化,在身份认证㊁视频监控㊁信息安全㊁人机互动等方面发挥重要的作用㊂然而,在诸如刑事侦查的罪犯追踪㊁解救/寻找被拐儿童等应用场景中,只能获得少量甚至一幅人脸图像,导致模型难以从单幅图像中学习到具有强判别性和鲁棒性的人脸图像特征㊂此外人脸图像在拍摄时易受光照㊁视角㊁遮挡㊁年龄㊁表情等因素的干扰,导致识别难度提升㊂由此可见,单样本人脸识别依然是一个具有挑战性的研究问题㊂为了提高人脸图像特征的判别能力和鲁棒性,在过去二十年大量特征学习方法被提出,这些方法主要分为两大类:手工设计特征的方法和学习特征的方法㊂
手工设计特征的方法:谭晓阳等提出通过局部三值模式(l o c a l t e r n a r y p a t t e r n,L T P)提取图像的纹理信息[1]㊂Z H A N G e t a l[2]基于梯度比像素更稳定提出经典的梯度脸方法㊂G a b o r卷积后提取的局部量化模式(l o c a l q u a n t i z e d p a t t e r n s,L Q P)特征[3]能够显著提高识别率㊂Z HU e t a l[4]在拉普拉斯高斯滤波后的幅值和方向图像上提取对数梯度直方图特征(l o g a r i t h m g r a d i e n t h i s t o g r a m,L G H).上述手工特征在某些数据集和条件下能够取得良好的人脸识别结果,但是其鲁棒性和泛化性依然存在提升的空间㊂
学习特征的方法:受益于卷积神经网络(c o n v o-l u t i o n a l n e u r a l n e t w o r k,C N N)的分布式抽象特征学习能力,人脸识别技术取得了迅猛的发展和巨大的进步㊂牛津大学V G G团队提出著名的深度人脸识别方法V G G F a c e[5].D e e p F a c e[6]是另一个经典的深度人脸特征学习方法,其在识别和验证任务上均取得了优秀的结果㊂刘凡等针对单样本人脸识别,结合圆环自编码网络(c y c l e-a u t o e n c o d e r)和块稀疏联合表示(b l o c k s p a r s e j o i n t r e p r e s e n t a t i o n)设计了C A E-B S J R方法[7]㊂然而,由于深度卷积网络的结构深㊁参数多,所以需要丰富的训练技巧与调参经验,对硬件及训练数据量的要求高,因此难以在移动设备及微型计算机上进行普及使用㊂
鉴于深度网络的上述缺点,轻量卷积网络在近几年得到了广泛关注和研究㊂受C N N和小波散射网络的启发,C H A N e t a l[8]提出了主成分分析网络(p r i n c i p l e c o m p o n e n t a n a l y s i s n e t w o r k,P C A N e t),在人脸和纹理图像识别任务上取得了非常优秀的结果,该网络模拟C N N的核心模块(卷积㊁激励和池化),即用预设P C A滤波器替代网络学习滤波器,用哈希二值化替代非线性激励函数,而且直方图统计本质是一阶无序求和池化㊂随后T E O H团队提出离散余弦变换网络(d i s c r e t e c o s i n e t r a n s f o r m, D C T N e t)模型[9]㊂为了扩大卷积滤波器的数量和多样性,以学习更丰富的判别特征,该团队以G a-b o r㊁P C A和独立成分分析(i n d e p e n d e n t c o m p o n e n t a n a l y s i s,I C A)等滤波器为基础,通过多折卷积融合运算策略(m u l t i-f o l d f i l t e r c o n v o l u t i o n,M F F C)提高人脸图像特征的判别能力[10]㊂虽然上述轻量卷积网络学到的人脸特征具有良好的判别性,但是存在以下缺陷:1)他们仅仅考虑特征图的一阶信息,没有考虑特征图的二阶信息;2)预先学习的P C A 和I C A滤波器依赖于训练数据;3)没有提取特征的空间布局信息㊂
受上述模拟C N N结构而设计的轻量卷积网络的启发,同时为了克服上述三个缺点,本文提出一种新的联合G a b o r滤波器和R B F核池化的轻量人脸特征学习网络,其网络结构如图1所示㊂
本文的主要贡献如下:
1)提出一种轻量卷积网络以学习人脸图像特征,其中包含预设G a b o r滤波器㊁利用双曲正切函
583
第2期周稻祥,等:联合G a b o r滤波器和核池化特征学习的单样本人脸识别与验证
Copyright©博看网. All Rights Reserved.
数t a n h 进行特征激励以及基于空间金字塔策略的
R B F 核池化;
2
)传统一阶池化提取同一通道特征之间的关系,本文研究的二阶池化能够提取两两通道特征之间的关系㊂此外本文用R B F 核函数学习特征之间的非线性二阶关系;
3
)所提方法在三个单样本人脸识别数据集和一个视频人脸验证数据集上取得了优良的识别率和鲁棒性,证明了本文方法的有效性和学习特征的强判别性㊂
Gabor
滤波器卷积
h
d
输入人脸图像
w h
d
w tanh 激励串联
核池化
空间金字塔划分
特征表示
图1 本文所提出的网络结构
F i g .1 O u r p r o p
o s e d n e t w o r k s t r u c t u r e 1 本文方法
1.1 数据预处理
假设x ɪR h ˑw 表示一幅人脸图像,稠密地提取大小为p ˑp 的图像块,然后减去所有图像块的平均亮度且除以方差,即作对比度归一化,最后为了降
低像素之间的相关性,进行Z C A (z e r o -p
h a s e c o m -p o n e n t a n a l y
s i s )白化㊂1.2 G a b o r 特征提取
研究[11-12
]表明哺乳动物大脑视觉皮层中的简单
细胞可以用G a b o r 滤波器模拟,G a b o r 滤波器的方向以及频率与视觉认知系统的感受野形状非常接近,因此通过G a b o r 滤波器进行图像分析的过程被公认为类似人类视觉系统中的感知㊂更为重要的是,无论是深度卷积网络的端到端方式学习滤波器,还是基于主成分分析㊁聚类等算法学习滤波器,这些策略均属于数据驱动式㊂然而G a b o r 滤波器可以直接生成,不依赖任何数据,而且包含多尺度多方向信息,因此更适用于构建轻量卷积网络㊂G a b o r 滤波器的公式如下:
G μ,v (
z )= k μ,
v 2
σ
2
e
- k μ,v 2 z 2
2σ
2 e
i k μ,v
z -e -σ22
.
(1
)式中:μɪ{
0,1, ,U -1}和v ɪ{0,1, ,V -1}表示滤波器的方向和尺度,通常U 和V 的默认值是8和5.k μ,
v =(k m a x /f v )e i (πμ/U )
,k m a x 表示最大频率,默认值为π/2;f 是频域中滤波器之间的间距因子,
默认值为2.标准差σ的值越大G a b o r 滤波器的形状越大㊂z 是复数空间的变量㊂图2展示了12个方向和5个尺度的G a b o r 滤波器,不同于常规的8个方向,本文研究提取不同方向数量的人脸图像特征信息㊂假设
G a b o r 滤波器的尺寸为p ˑp .
图2 12个方向的G a b o r 滤波器(σ=π)
F i g
.2 G a b o r f i l t e r s w i t h 12o r i e n t a t i o n s (σ=π)为了使输入图像x 和卷积后图像的大小一致,
本文对x 进行边缘扩充㊂随后将图像x 与G a b o r 滤波器作如下卷积运算:
F μ,v =x
G μ,v ɪ
R h ˑw
.(2)特征图F 的维度是d ˑh ˑw ,其中d =U V .
高盛华等研究[13]指出在轻量网络中,双曲正切函数
t a n h 比其他激励函数(s i g
m o i d 和R e L U )在人脸识别任务上表现更好㊂为了模拟C N N 网络的激励层,本文采用t a n h 对特征图F 作非线性激励运算,如图1所示㊂
1.3 空间金字塔与核池化
全局和局部信息对人脸识别均有重要的作用,空间金字塔是一种能够同时提取局部特征和全局特征的通用思想,因此本文采用多级的空间金字塔池化策略对特征图进行空间划分,如图1所示㊂假设进行[1,2,4]级的空间划分,则得到21=1+4+16
个空间区域㊂最大的空间区域即为整个特征图㊂传统一阶池化在同一维度(即通道)内进行平均/最大值池化,无法刻画两两维度之间的相关关系㊂为了学习不同维度之间的关系,协方差(C o v a r -
i a n c e
)池化是一种常见的二阶池化方法㊂对特征图F ɪR
d ˑh ˑw
进行维度调整得到E ɪR d ˑn ,其中n =h w ,如图3所示㊂假设a i 和a j 表示E 的第
i 行和第j 行,二阶C O V 平均池化的计算公式如下:
C (i ,j )=1n -1a i a T
j =1n -1
<a i ,a j
>.(3)由于向量a i 乘a j 转置是内积运算,所以本质上C 是一种线性核函数㊂然而对于受到严重光照干扰或
683太原理工大学学报 第54卷
Copyright ©博看网. All Rights Reserved.
姿态变化大的人脸识别,人脸模式特征之间是高度
非线性关系,因此仅仅考虑不同通道特征向量的线
性相关性来区分人脸图像是不充分的㊂此外C =
E E T /(n -1)ɪR d ˑd
,其秩满足r a n k (C )ɤm i n (d ,n -1
),当d >n 时将导致奇异矩阵问题㊂基于此,为了刻画两两通道特征之间的非线性关系,本文采用径向基核函数R B F 进行池化运算㊂二阶R B F 平均池化的计算公式如下:
B (i ,j )=1n -1
e -β a i -a j
2
.(4
)图3展示R B F 平均池化过程㊂M i c c h e l l i 定
理
[14
]指出无论维度d 和n 的大小关系如何,均能够
保证核池化矩阵B 具有非奇异性,而且B 善于捕捉特征之间的非线性关系㊂由于二阶池化矩阵的对称性,所以提取矩阵的上三角元素即可,即图中的黑色三角形㊂此外由于二阶池化使特征处于黎曼流形空
间,所以本文采用l o g a r i t h m 函数将其投影回欧氏空间㊂在得到每个空间子区域的特征表示向量之后,串联所有空间子区域上的核池化特征即可得到图像x 的最终人脸特征表示㊂
第i 行特征第j 行特征
d
维度
调整
d w hw RBF
d
d
B （i ，j ）
logm
池化矩阵B
特征图E
特征图F
h
图3 R B F 核池化展示
F i g .3 R B F k e r n e l p o o l i n g
2 模型参数分析
2.1 R B F 和C O V 的对比
为了验证非线性核函数R B F 比线性核函数
C O V 提取人脸图像特征的能力更强,本文在E x -
t e n d e d Y a l e B 的测试子集4和5上进行验证实验㊂
滤波器尺寸变化范围是15到23,
步长为2,实验结果如图4所示㊂可以看出R B F 在两个测试子集上均能取得超过99%的识别率㊂随着滤波器尺寸的增大,C O V 识别率在逐渐上升,但在测试子集4上最高识别率约75%,
在测试子集5上最高识别率约45%,远低于R B F 的识别结果㊂由此可以看出,R B F 比C O V 在特征提取能力方面具有更大的优势㊂在F E R E T 等其他人脸识别数据集上同样可以观察到相似的对比结果㊂
2.2 不同β值对性能的影响
本小节在F E R E T 数据集上研究R B F 池化计
算公式(4)中的参数β对识别性能的影响㊂设β的变化范围为0.2到3.4,步长为0.4,
滤波器尺寸为17,
识别结果如图5所示㊂可以看到4个测试集上的识别率随着β值的增大呈现逐步上升的趋势,当β值在2.
6左右时,识别率均达到饱和稳定状态㊂继续增大β值,识别率反而出现下降现象,因此本文设置β的默认值为2.6.
100908070
605040
识别精度/ %
1517
19
2123
滤波器尺寸
RBF
COV
Extended yale B 测试子集4
100
80
60
40
20识别精度/ %
15
17
19
21
23
滤波器尺寸
RBF COV
Extended yale B 测试子集5
■
■
■
■
■
▲
▲
▲
▲
▲■
▲
■▲
■■
■
■
▲
▲
▲
▲
■
▲
图4 R B F 和C O V 的识别率对比
F i g .4 A c c u r a c y c o m p
a r i s o n
b e t w e e n R B F a n d C O V 10098
96949290
识别精度/ %
0.2β
Fb
Fc Dup1Dup2
0.61 1.4
1.8
2.2
2.6
3 3.4
图5 模型参数β对人脸识别性能的影响
F i g .5 E f f e c t o f m o d e l p a r a m e t e r βo
n t h e f a c e r e c o g n i t i o n p e r f o r m a n c e 2.3 滤波器尺寸对性能的影响
不同尺寸滤波器的感受野不同,提取特征的能
7
83 第2期 周稻祥,等:联合G a b o r 滤波器和核池化特征学习的单样本人脸识别与验证Copyright ©博看网. All Rights Reserved.
力也不同㊂本小节在F E R E T 的测试子集D u p
1和D u p
2上分析G a b o r 滤波器尺寸对识别率的影响㊂滤波器尺寸变化范围是13到23,步长为2,β值设置为2.6.识别率结果如图6所示,可以看出随着尺寸的增大,识别率先上升,然后下降,在尺寸为17
时,D u p 1和D u p
2均达到最高识别率㊂97
9695
94
93
识别精度/ %
13
滤波器尺寸
Dup1
Dup2
16
1719
2123
图6 识别率随着滤波器尺寸的变化
F i g .6 R e c o g
n i t i o n r a t e v a r i a t i o n w i t h f i l t e r s i z e 3 实验验证
3.1 度量指标
对于人脸识别,本文采用识别率作度量指标㊂对于人脸验证,本文首先计算每个阈值对应的真阳率以及假阳率,然后绘制接受者操作特征曲线,最后计算A U C (a r e a u n d e r c u r v e
)值,同时计算真阳率与假阳率相等时的等错误率(e q
u a l e r r o r r a t e ,E E R ).3.2 F E R E T 上单样本人脸识别结果
F E R E T 是一个经典的人脸数据集[15
],共1196
个类㊂训练对比集G a l l e r y 包含11
96幅图像,表情测试集F b 包含1195幅图像,光照测试集F c 包含
194幅图像,年龄测试集D u p 1和D u p
2分别包含722和234幅图像,例子图像如图7所示㊂为了验证本文方法对年龄㊁轻度光照㊁表情的鲁棒性,所以在F E R E T 上进行单样本人脸识别实验㊂
本文方法在F E R E T 上的参数设置为σ=π,
空间金字塔池化为[1,2,4,8],12个方向5个尺度共
60个G a b o r 滤波器,滤波器尺寸为17.
为了降低特征的冗余信息,本文采用白化主成分分析W P C A 将特征维度降至1000.
从表1的对比结果可以看出:1)在以G a b o r 为基础的方法中,相较G a b o r -L Q P [3]和2F F C [10
],本文方法G a b o r -R B F 的识别率
更高,尤其在跨年龄的测试集D u p 1和D u p 2上,优势更明显㊂
2)在轻量卷积网络中,P C A N e t ㊁2F F C 方法及
D C T N e t 的性能均低于本文的G a b o r -R B F ,
说明空间金字塔与核池化具有强大的提取特征能力
㊂
Fc
Fb
Gallery 1 196个类
Dup1
Dup2
图7 F E R E T 数据集的例子图像
F i g .7 E x a m p l e i m a g
e s
f o r F E R E T d a t a s e t 3)深度卷积网络V G G F a c e 的性能不佳的原因
是训练数据量不足且网络结构复杂导致的过拟合㊂
4)在F c 测试集上100%的识别率表明G a b o r -R B F 对光照有较好的鲁棒性㊂
表1 数据集F E R E T 上的识别率对比T a b l e 1 A c c u r a c y c o m p
a r i s o n o n F E R E T d a t a s e t %对比方法
F b
F c
D u p
1D u p
2G a b o r -L Q P [3]
99.90100
93.2091.00V G G F a c e [5]
98.7496.3986.2887.61P C A N e t [8]99.5810095.4394.02D C T N e t
[9]
99.6710095.5794.022F F C -G a b o r -P C A
[10]99.5010096.2694.872F F C -G a b o r -G a b o r [10]
99.4110095.9894.022F F C -G a b o r -I C A
[10]
99.5010096.1294.87本文方法
99.75
100
96.54
96.15
3.3 A R 上单样本人脸识别结果
A R 数据集[16]
包含100个类,
图像分为两个时期拍摄,每个时期对每个人各拍摄13幅图像,
总共2600幅图像㊂每个人在时期一的第1幅图像用作训练对比集,每个时期的第2-13幅图像被划分为四个测试集:光照(3幅)㊁表情(3幅)㊁遮挡(2幅)㊁遮挡光照(4幅),如图8所示㊂为了验证本文方法对遮挡和年龄的鲁棒性,所以在A R 数据集上进行
单样本人脸识别实验㊂
Gallery 100个类
时
期一
时
期二
光照（3幅）表情（3幅）
遮挡（2幅）
遮挡+光照（4幅）
图8 A R 数据集的例子图像
F i g .8 E x a m p l e i m a g
e s
f o r A R d a t a s e t 883太原理工大学学报 第54卷
Copyright ©博看网. All Rights Reserved.
本文方法在A R上的参数设置为σ=π㊁空间金字塔池化为[1,2,4,8,16],共6个方向5个尺度30个滤波器,滤波器尺寸设置为17,利用W P C A算法将特征维度降低至100.对比方法有:P C A N e t㊁自编码网络C A E-B S J R㊁判别分析特征[17]和通用特征方法[18-19]㊂从表2和3可得到如下观察:1)本文方法在4个测试集上取得了最高的识别率,在遮挡和遮挡光照测试集上的优势更明显;2)所有方法在时期一的结果高于时期二,其原因是每个人的单幅训练图像来自时期一,拍摄时期不同导致人脸图像在像素空间上存在差异,因此所有方法在时期二的识别率下降;3)本文方法在时期二的识别率相对其他方法的最大提升量是0.8%㊁7.73%㊁2.2%和4.5%,大于在时期一的提升量0%㊁0.16%㊁0.1%和1%,该现象显示本文方法对时间年龄具有更强的抗干扰能力㊂4)G a b o r-R B F在两个时期的结果均超过P C A N e t,表明本文所提轻量卷积网络的人脸特征学习能力更强,这归因于多尺度多方向的G a b o r特征学习以及核函数R B F学习两两通道特征的非线性关系㊂
表2数据集A R时期一上的识别率对比
T a b l e2 A c c u r a c y c o m p a r i s o n o n s e s s i o n1o f A R%对比方法光照表情遮挡遮挡光照P C A N e t[8]10096.0099.0098.25判别分析[17]97.0097.1099.4094.10通用特征1[18]99.3095.3094.0090.48通用特征2[19]98.0096.7090.0089.70 C A E–B S J R[7]10099.1798.8098.10
本文方法10099.3399.5099.25
表3数据集A R时期二上的识别率对比
T a b l e3 A c c u r a c y c o m p a r i s o n o n s e s s i o n2o f A R%对比方法光照表情遮挡遮挡光照P C A N e t[8]98.6784.0095.0091.50判别分析[17]91.7084.6091.2576.56通用特征1[18]90.0080.0077.0073.70通用特征2[19]87.3080.0075.0071.70 C A E-B S J R[7]99.2084.2096.3090.60
本文方法10092.3398.5096.00
3.4 E x t e n d e d Y a l e B上单样本人脸识别结果
E x t e n d e d Y a l e B数据集[20]包含38个类,每个类大约有64幅受到不同程度光照污染的人脸图像㊂根据光照角度的不同,整个数据集被划分成五个子集,如图9所示,子集1-5分别包含263㊁456㊁455㊁526和714幅图像㊂按照标准的测试方案,在子集1中选择38幅图像组成训练对比集,每个类选择一幅图像㊂光照是影响人脸识别结果的重要因素之一,为了验证本文方法的光照鲁棒性,本小节选择在E x t e n d e d Y a l e B数据集上进行实验㊂
Gallery
38个类
子集1子集2子集3子集4子集5
图9 E x t e n d e d Y a l e B数据集的例子图像
F i g.9 E x a m p l e i m a g e s o f E x t e n d e d Y a l e B d a t a s e t
本文方法在E x t e n d e d Y a l e B数据集上的参数设置为σ=π,空间金字塔池化为[1,2,4,8,16],共6个方向5个尺度30个滤波器,滤波器尺寸为17.由于训练集仅有38幅图像,特征降低至38维将导致关键信息丢失,因此本文在该数据集上不采用W P-
C A做特征降维㊂从表4的结果可得到如下观察:
1)梯度脸和局部三值模式L T P在轻度光照情形下能够取得不错的识别率,但是在重度光照情形下,他们的识别率均出现明显的下降;2)本文方法在前三个测试子集上均取得100%的识别率,表明所提方法具有良好的抗光照干扰能力;3)在子集4上,轻量网络P C A N e t和G a b o r-R B F取得了最高的识别率99.62%,证明了模拟C N N结构而设计的轻量网络具有良好的特征学习能力;4)从图9可知子集5受到非常严重的光照污染,本文方法在单训练样本的情况下依然能够取得了97.06%的识别率,再次证明了本文方法G a b o r-R B F的有效性和光照鲁棒性㊂
表4数据集E x t e n d e d Y a l e B上的识别率对比
T a b l e4 A c c u r a c y c o m p a r i s o n o n E x t e n d e d Y a l e B%对比方法子集1子集2子集3子集4子集5 L T P[1]10099.1798.3396.4396.32梯度脸[2]10010099.1792.8686.84 L G H[4]10010099.1299.4498.89 P C A N e t[8]10010099.5699.6296.50本文方法10010010099.6297.06 3.5 Y T F上的视频人脸验证
前三个实验是在单样本人脸识别任务上测试所提方法的有效性㊂视频数据相对图像数据具有更大的挑战性和更多的变化因素,所以识别难度也更大㊂此外,人脸验证是测试人脸图像特征优劣性的重要任务之一,为了进一步测试所提方法的有效性,本小节选择在视频人脸数据集(y o u t u b e f a c e s,Y T F)上进行人脸验证实验㊂
视频人脸数据集Y T F[21]包含来自1595个人的3425段视频,如图10所示,其中包括尺度㊁光
983
第2期周稻祥,等:联合G a b o r滤波器和核池化特征学习的单样本人脸识别与验证
Copyright©博看网. All Rights Reserved.
照㊁姿态㊁运动㊁表情和模糊等变化因素㊂该数据集共有十个测试方案,每个测试方案包含250对匹配视频和250对非匹配视频,其中匹配指两段视频是否属于同一个人㊂
由于视频人脸与图像人脸的不同,本文方法在Y T F数据集上的参数设置为σ=2π,空间金字塔池化为[1,2,4,8],采用12个方向5个尺度共60个G a b o r滤波器,滤波器尺寸为21.首先在每个视频中随机采样二十帧,然后对视频帧进行眼睛对齐与剪裁操作,得到125ˑ125尺寸的人脸图像㊂对每帧图像进行水平翻转以削减姿态变化对验证精度的干扰㊂最后本文采用W P C A将特征维度降至3000,采用线性判别分析学习更多的判别特征㊂该实验的对比方法包括深度脸方法D e e p F a c e[6]㊁轻量卷积网络方法P C A N e t[8]㊁深度度量学习[22]及概率弹性模型[23]㊂由于原始P C A N e t方法没有在Y T F数据集上测试,所以本文在Y T F上复现该方法的人脸验证结果㊂
同一个人/不同的人？
图10 Y T F数据集的视频帧展示
F i g.10 V i d e o f r a m e i l l u s t r a t i o n o f Y T F d a t a s e t
对比方法在十个测试方案上的平均实验结果如表5所示㊂本文方法取得略低于著名深度模型D e e p F a c e的验证结果㊂从轻量卷积网络角度,本文提出的G a b o r-R B F相对P C A N e t而言,在三个验证指标上的性能均有所提升㊂虽然深度度量学习方法[22]在损失函数层面设计了新的度量损失,但是依然采用常规的一阶池化方法㊂本文方法G a b o r-R B F 只有一个卷积-激励-池化模块,由于采用了R B F核池化提取图像局部和整体的二阶特征,所以依然能够取得更好的验证结果,证明了核池化的优越性㊂概率弹性模型[23]在三个验证指标上的结果均低于G a b o r-R B F.综合而言本文方法在视频人脸验证任务中取得了非常具有竞争力的结果,证明了方法的有效性和特征的判别能力㊂
表5数据集Y T F上的验证结果对比
T a b l e5 V e r i f i c a t i o n r e s u l t c o m p a r i s o n o n Y T F d a t a s e t
对比方法准确率/%A U C/%E E R/%深度度量学习[22]82.3ʃ1.590.118.5
D e e p F a c e[6]91.4ʃ1.196.38.6概率弹性模型[23]84.8ʃ1.492.615.5
P C A N e t[8]86.5ʃ1.293.813.6
本文方法87.8ʃ1.695.012.1 4结束语
本文从提取判别人脸特征和设计轻量卷积网络角度出发,提出一种联合G a b o r滤波器和R B F核池化的轻量卷积网络方法,该网络结构非常简单,只包含一个C N N模块:卷积-激励-池化㊂在卷积滤波器方面,直接预设多尺度多方向的G a b o r滤波器㊂在池化方面,通过R B F核函数学习特征图的两两通道之间的非线性二阶信息,既保证了池化矩阵的非奇异性,又能提取更高阶的特征㊂在三个单样本人脸识别和一个人脸视频验证任务上的实验结果证明了所提方法的有效性㊁判别性以及对多种因素的鲁棒性㊂
值得指出的是,本文提出的轻量网络模型在大规模人脸数据集(如W e b F a c e260M)上的性能仍然有待提高㊂在未来的研究中,将构建端到端学习范式的轻量G a b o r网络,同时研究其对图像的旋转不变性㊁网络泛化性以及C N N滤波器与G a b o r滤波器的有效融合方式㊂
参考文献:
[1] T A N X,T R I G G S B.E n h a n c e d l o c a l t e x t u r e f e a t u r e s e t s f o r f a c e r e c o g n i t i o n u n d e r d i f f i c u l t l i g h t i n g c o n d i t i o n s[J].I E E E
T r a n s a c t i o n s o n I m a g e P r o c e s s i n g,2010,19(6):1635-1650.
[2] Z HA N G T P,T A N G Y,F A N G B,e t a l.F a c e r e c o g n i t i o n u n d e r v a r y i n g i l l u m i n a t i o n u s i n g g r a d i e n t f a c e s[J].I E E E T r a n s a c-
t i o n s o n I m a g e P r o c e s s i n g,2009,18(11):2599-2606.
[3] HU S S A I N S,N A P O L E O N T,J U R I E F.F a c e r e c o g n i t i o n u s i n g l o c a l q u a n t i z e d p a t t e r n s[C]ʊP r o c e e d i n g s o f t h e B r i t i s h M a-
c h i n e V i s i o n C o n f e r e n c e.S u r r e y,U K,2012,1-11.
[4] Z HU J,Z H E N G W S,L U F,e t a l.I l l u m i n a t i o n i n v a r i a n t s i n g l e f a c e i m a g e r e c o g n i t i o n u n d e r h e t e r o g e n e o u s l i g h t i n g c o n d i t i o n
[J].P a t t e r n R e c o g n i t i o n,2017,66:313-327.
[5] P A R K H I O,V E D A L D I A,Z I S S E R MA N A.D e e p f a c e r e c o g n i t i o n[C]ʊP r o c e e d i n g s o f t h e B r i t i s h M a c h i n e V i s i o n C o n f e r-
e n c e.S w a n s e a,U K,2015:1-12.
[6] T A I GMA N Y,Y A N G M,R A N Z A T O M,e t a l.D e e p F a c e:c l o s i n g t h e g a p t o h u m a n-l e v e l p e r f o r m a n c e i n f a c e v e r i f i c a t i o n[C] 093太原理工大学学报第54卷
Copyright©博看网. All Rights Reserved.
ʊP r o c e e d i n g s o f I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n.C o l u m b u s,U S A,2014:1701-1708. [7] L I U F,WA N G F,WA N G Y,e t a l.C y c l e-a u t o e n c o d e r b a s e d b l o c k-s p a r s e j o i n t r e p r e s e n t a t i o n f o r s i n g l e s a m p l e f a c e r e c o g n i-
t i o n[J].C o m p u t e r s a n d E l e c t r i c a l E n g i n e e r i n g,2022,101:108003.
[8] C H A N T,J I A K,G A O S,e t a l.P C A N e t:A s i m p l e d e e p l e a r n i n g b a s e l i n e f o r i m a g e c l a s s i f i c a t i o n?[J].I E E E T r a n s a c t i o n s o n
I m a g e P r o c e s s i n g,2015,24(12):5017-5032.
[9] N G C,T E O H A.D C T N e t:A s i m p l e l e a r n i n g-f r e e a p p r o a c h f o r f a c e r e c o g n i t i o n[C]ʊP r o c e e d i n g s o f A P S I P A A n n u a l S u mm i t
a n d C o n f e r e n c e.H o n g K o n g,C h i n a,2015:761-768.
[10] L OW C,T E O H A,N G C.M u l t i-f o l d g a b o r,P C A,a n d I C A f i l t e r c o n v o l u t i o n d e s c r i p t o r f o r f a c e r e c o g n i t i o n[J].I E E E T r a n s-
a c t i o n s o n C i r c u i t s a n d S y s t e m s f o r V i d e o T e c h n o l o g y,2019,29(1):115-129.
[11] D A U GMA N J.U n c e r t a i n t y r e l a t i o n f o r r e s o l u t i o n i n s p a c e,s p a t i a l f r e q u e n c y,a n d o r i e n t a t i o n o p t i m i z e d b y t w o-d i m e n s i o n a l
v i s u a l c o r t i c a l f i l t e r s[J].J o u r n a l o f t h e O p t i c a l S o c i e t y o f A m e r i c a A,1985,2(7):1160-1169.
[12] MA R C E L J A S.M a t h e m a t i c a l d e s c r i p t i o n o f t h e r e s p o n s e s o f s i m p l e c o r t i c a l c e l l s[J].J o u r n a l o f t h e O p t i c a l S o c i e t y o f A m e r-
i c a,1980,70(11):1297-1300.
[13] G A O S,Z H A N G Y,J I A K,e t a l.S i n g l e s a m p l e f a c e r e c o g n i t i o n v i a l e a r n i n g d e e p s u p e r v i s e d a u t o e n c o d e r s[J].I E E E T r a n s-
a c t i o n s o n I n f o r m a t i o n F o r e n s i c s a n d S e c u r i t y,2015,10(10):2108-2118.
[14] H A Y K I N S.N e u r a l n e t w o r k s:a c o m p r e h e n s i v e f o u n d a t i o n(3r d E d i t i o n)[M].U S A:P r e n t i c e-H a l l,2007.
[15] P H I L L I P S P,MO O N H,R I Z V I S,e t a l.T h e F E R E T e v a l u a t i o n m e t h o d o l o g y f o r f a c e-r e c o g n i t i o n a l g o r i t h m s[J].I E E E
T r a n s a c t i o n s o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2000,22(10):1090-1104.
[16] MA R T I N E Z A,B E N A V E N T E R.T h e A R f a c e d a t a b a s e[R].C V C T e c h n i c a l R e p o r t N o.24,P u r d u e U n i v e r s i t y,W e s t L a f a-
y e t t e,I n d i a n a,1998.
[17] P A N G M,C H E U N G Y,WA N G B,e t a l.R o b u s t h e t e r o g e n e o u s d i s c r i m i n a t i v e a n a l y s i s f o r f a c e r e c o g n i t i o n w i t h s i n g l e s a m-
p l e p e r p e r s o n[J].P a t t e r n R e c o g n i t i o n,2019,89:91-107.
[18] P A N G M,C H E U N G Y,WA N G B,e t a l.S y n e r g i s t i c g e n e r i c l e a r n i n g f o r f a c e r e c o g n i t i o n f r o m a c o n t a m i n a t e d s i n g l e s a m p l e
p e r p e r s o n[J].I E E E T r a n s a c t i o n s o n I n f o r m a t i o n F o r e n s i c s a n d S e c u r i t y,2020,15:195-209.
[19] P A N G M,C H E U N G Y,S H I Q,e t a l.I t e r a t i v e d y n a m i c g e n e r i c l e a r n i n g f o r f a c e r e c o g n i t i o n f r o m a c o n t a m i n a t e d s i n g l e-s a m-
p l e p e r p e r s o n[J].I E E E T r a n s a c t i o n s o n N e u r a l N e t w o r k s a n d L e a r n i n g S y s t e m s,2021,32(4):1560-1574. [20] G E O R G H I A D E S A,B E L HUM E U R P,K R I E GMA N D.F r o m f e w t o m a n y:i l l u m i n a t i o n c o n e m o d e l s f o r f a c e r e c o g n i t i o n
u n d e r v a r i a b l e l i g h t i n g a n d p o s e[J].I E E E T r a n s a c t i o n s o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e,2001,23(6):643-660.
[21] WO L F L,H A S S N E R T,MA O Z I.F a c e r e c o g n i t i o n i n u n c o n s t r a i n e d v i d e o s w i t h m a t c h e d b a c k g r o u n d s i m i l a r i t y[C]ʊP r o-
c e e
d i n g s o f I E E E C o n f
e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n.C o l o r a d o,U S A,2011:529-534.
[22] HU J,L U J,T A N Y.D i s c r i m i n a t i v e d e e p m e t r i c l e a r n i n g f o r f a c e v e r i f i c a t i o n i n t h e w i l d[C]ʊP r o c e e d i n g s o f I E E E C o n f e r-
e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n.C o l u m b u s,U S A,2014,1875-1882.
[23] L I H,HU A G,S H E N X,e t a l.E i g e n-P E P f o r v i d e o f a c e r e c o g n i t i o n[C]ʊP r o c e e d i n g s o f A s i a n C o n f e r e n c e o n C o m p u t e r V i-
s i o n.S i n g a p o r e,2015:17-33.
(编辑:贾丽红)193
第2期周稻祥,等:联合G a b o r滤波器和核池化特征学习的单样本人脸识别与验证
Copyright©博看网. All Rights Reserved.。