人脸自动识别方法综述_周杰

人脸自动识别方法综述

周 杰,卢春雨,张长水,李衍达

(清华大学自动化系,北京100084)

摘 要: 人脸自动识别是模式识别、图像处理等学科的一大研究热点,近几年来关于人脸识别的研究取得了很大进展.本文重点对近三、四年来人脸识别的研究进行综述并对各种方法加以评论.

关键词: 人脸自动识别;人脸检测;人脸定位

中图分类号: TP39114 文献标识码: A 文章编号: 0372-2112(2000)04-0102-05

A Su rvey of Automa tic Human Face Recognition

ZHOU Jie,LU Chun -yu,ZHANG Chang -shui,LI Yan -da

(De partment o f Automation ,Tsinghua Unive rsit y ,Be ijing 100084,China)

Abstract: Automatic human face recogni tion is attractive in pattern recogniti on and i mage processing.In this paper we gave a survey of automatic human face recogni tion,mainly ai ming at the latest progress.

Key words: automatic hu man face recognition;face detection;face localization

1 引言

随着社会的发展,各个方面对快速有效的自动身份验证的要求日益迫切.由于生物特征是人的内在属性,具有很强的自身稳定性和个体差异性,因此是身份验证的最理想依据.这其中,利用人脸特征进行身份验证又是最自然直接的手段,相比其它人体生物特征它具有直接、友好、方便的特点,易于为用户所接受[1].

人脸识别是人类视觉最杰出的能力之一,它的研究涉及模式识别、图像处理、生理学、心理学、认知科学,与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系,因此早在六七十年代即引起了研究者的强烈兴趣.进入九十年代,由于各方面对人脸识别系统的迫切需求,人脸识别的研究重新变得非常热门.目前美国等国有许多研究组在从事人脸识别的研究,这些研究受到军方、警方及大公司的高度重视和资助,美国军方每年还专门组织人脸识别比赛以促进这一领域的发展.在国内,也开始有一些学校从事人脸识别相关的研究.近几年来关于人脸识别的研究取得了很大进步,国际上发表有关论文的数量大幅增长,IEEE 的PAM I 汇刊还于1997年7月出版了人脸识别专辑,每年的国际会议上关于人脸识别的专题也屡屡可见.而目前人脸识别综述的文章还是截止到1994年,因此我们认为非常有必要对近几年的研究工作进行一下总结.在本文中我们将对人脸识别方法进行综述,其中主要介绍近三、四年的研究工作,之前的研究工作请参看文[2,3].

2 人脸自动识别系统

人脸自动识别系统包括两个主要技术环节(如图1所

示):首先是人脸检测和定位,即从输入图像中找到人脸及人脸存在的位置,并将人脸从背景中分割出来,然后才是对归一化的人脸图像进行特征提取与识别

.

图1 人脸自动识别系统构成

这两个环节的研究独立性很强.由于在很多特定情况下人脸检测与定位的工作比较简单,因此/特征提取与识别0环节得到了更为广泛和深入的研究;而近几年来随着人们越来越关心各种复杂情形下的人脸自动识别系统,人脸检测与定位才得到了较多的重视.

评价一个人脸自动识别系统的标准,一个是误识率即将某人错识别为其他人,另一个是虚警率即将其他人识别为这个人.这二者之间是存在矛盾的,所以在实际问题中往往需要进行某种折衷.如,在安全性要求较高的计算机登录系统中,必须要求虚警率要尽可能低,而误识率则可以高一些,这样只是增加合法用户的等录时间,并不会降低计算机系统的安全性.这一点同样适用于特征提取与识别环节,但是对于人脸检测与定位,我们一般则要求误识率要尽可能低,因为这样才可以保证所要识别的人不会在这一步就丢失.

收稿日期:1999-03-15;修订日期:1999-07-06基金项目:自然科学基金(No.69775009)资助课题

第4期2000年4月电 子 学 报ACTA ELECTRONICA SINICA Vol.28 No.4

April 2000

常用的人脸识别实验库以美国军方的FERET库[57]最为权威,它包括多人种、多年龄段、各种表情变化、光照变化、姿态变化的图像,图像的数量和实验人数也非常多,可以充分地验证人脸识别算法.另外如MIT、ORL等库也可以用来验证算法在某些方面的能力.目前尚没有专门测试人脸检测和定位算法的图像库.

3人脸检测与定位方法综述

人脸检测的基本思想是用知识或统计的方法对人脸建模,比较所有可能的待检测区域与人脸模型的匹配度,从而得到可能存在人脸的区域.其方法大致可分为基于统计和基于知识两类.前者将人脸图像视为一个高维向量,从而将人脸检测问题转化为高维空间中分布信号的检测问题;而后者则利用人的知识建立若干规则,从而将人脸检测问题转化为假设/验证问题.

311基于统计的人脸检测方法

(1)事例学习.将人脸检测视为区分非人脸样本与人脸样本的两类模式分类问题,通过对人脸样本集和非人脸样本集进行学习以产生分类器.目前国际上普遍采用人工神经网络[4~7].

(2)子空间方法.Pentland等将KL变换引入了人脸检测[8,9],在人脸识别中利用的是主元子空间(特征验),而人脸检测利用的是次元子空间(特征脸空间的补空间).用待检测区域在次元子空间上的投影能量,也即待检测区域到特征脸子空间的距离做为检测统计量,距离越小,表明越像人脸.子空间方法的特点在于简便易行,但由于没有利用反例样本信息,对与人脸类似的物体辨别能力不足.

(3)空间匹配滤波器方法[10].包括各种模板匹配方法、合成辨别函数方法等.

312基于知识建模的人脸检测方法

(1)器官分布规则:虽然人脸在外观上变化很大,但遵循一些几乎是普遍适用的规则,如五官的空间位置分布大致符合-三停五眼.等,检测图像中是否有人脸即是测试该图像中是否存在满足这些规则的图像块.这种方法一般有两种思路:一种是/从上到下0,其中最为简单有效的是Yang等人提出的Mosaic方法[11],它给出了基于人脸区域灰度分布的规则,依据这些规则对图像从粗分辨率到高分辨率进行筛选,以样本满足这些规则的程度做为检测的判据.类似的工作还有[13,14].另一种思路则是从下至上,先直接检测几个器官可能分布的位置,然后将这些位置点分别组合,用器官分布的几何关系准则进行筛选,找到可能存在的人脸[14].

(2)轮廓规则:人脸的轮廓可以简单地看成一个近似椭圆,而人脸检测可以通过椭圆检测来完成[3].Goyindaraju提出认知模型方法,将人脸建模为两条直线(左右两侧面颊)和上下两个弧(头部和下巴),通过修正Hough变换来检测直线和弧[15].近期Tankus利用凸检测的方法进行人脸检测[16].

(3)颜色、纹理规则:同民族人的面部肤色在颜色空间中的分布相对比较集中,颜色信息在一定程度上可以将人脸同大部分背景区分开来.Lee等设计了肤色模型表征人脸颜色,利用感光模型进行复杂背景下人脸及器官的检测与分割[17]. Dai利用了SGLD(空间灰度共生矩阵)纹理图信息做为特征进行低分辨率的人脸检测[18].Saber等则将颜色、形状等结合在一起来进行人脸检测[19].

(4)运动规则:通常相对背景人总是在运动的,利用运动信息可以简单有效的将人从任意复杂背景中分割出来.其中包括利用瞬眼、说话等方法的活体人脸检测方法.文献[2,3]对利用运动信息进行头部运动跟踪检测进行了综述和探讨.

(5)对称性:人脸具有一定的轴对称性,各器官也具有一定的对称性.Zabrodshky提出连续对称性检测方法[20],检测一个圆形区域的对称性,从而确定是否为人脸;Riesfield提出广义对称变换方法[21]检测局部对称性强的点来进行人脸器官定位.我们则定义方向对称变换[53],分别在不同方向上考察对称性,不仅能够用来寻找强对称点,而且可描述有强对称性物体的形状信息,在进行人脸器官定位时更为有效.

4人脸特征提取与识别方法综述

人脸识别本质上是三维塑性物体二维投影图像的匹配问题,它的困难体现在:(1)人脸塑性变形(如表情等)的不确定性;(2)人脸模式的多样性(如胡须、发型、眼镜、化妆等);(3)图像获取过程中的不确定性(如光照的强度、光源方向等).识别人脸主要依据人脸上的特征,也就是说依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定的度量.由于人脸变化复杂,因此特征表述和特征提取十分困难.

在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一化.几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小,灰度归一化是指对图像进行光照补偿等处理,光照补偿能够一定程度地克服光照变化的影响而提高识别率[50].

关于人脸特征提取与识别的方法可概述如下:

411基于几何特征的方法

人脸由眼睛、鼻子、嘴巴、下巴等部件构成,正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别,因此对这些部件的形状和结构关系的几何描述,可以做为人脸识别的重要特征.几何特征最早是用于人脸侧面轮廓的描述与识别,首先根据侧面轮廓曲线确定若干显著点,并由这些显著点导出一组用于识别的特征度量如距离、角度等.Jia[22]等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法.

采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征[23,24],但Roder对几何特征提取的精确性进行了实验性的研究,结果不容乐观[25].

可变形模板法[26,27,28]可以视为几何特征方法的一种改进,其基本思想是:设计一个参数可调的器官模型(即可变形模板,如图2所示),定义一个能量函数,通过调整模型参数使能量函数最小化,此时的模型参数即做为该器官的几何特征.这种方法思想很好,但是存在两个问题,一是能量函数中各种代价的加权系数只能由经验确定,难以推广;二是能量函数优

103

第4期周杰:人脸自动识别方法综述