基于机器学习方法的人脸识别研究

学位论文作者签名：
日期：
上海交通大学硕士学位论文
上海交通大学 学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 保密□，在 本学位论文属于 不保密□。 （请在以上方框内打“√” ） 年解密后适用本授权书。
上海交通大学 硕士学位论文 基于机器学习方法的人脸识别研究 姓名：赵天闻 申请学位级别：硕士 专业：计算机软件与理论 指导教师：卢宏涛 20080101
上海交通大学硕士学位论文
摘 要
人脸识别是人工智能领域中重要的研究课题，在过去的几十年中，它得到了研 究者们广泛的关注。由于机器学习这个领域不断受到专注，基于机器学习方法的人 脸识别技术是目前最流行的方法。本文主要研究人脸识别的特征提取算法以及人脸 识别系统。 本文首先给出了特征提取的定义并回顾一下主成分分析（PCA） 和线性判别分 析（LDA） 以及 Eigenfaces 和 Fisherfaces 的基本原理；研究了遗传算法的一般框 架和研究现状；提出一种与 Bagging 方法相结合的进化特征提取算法（BEFE），并 将它应用于人脸识别。与其它基于遗传算法的特征提取算法相比，该算法有着很低 的空间维数和较高的搜索效率。这个算法的另一个优点是它提供了一种简单但有效 的方法来研究同一初始数据空间的不同子空间的差异。除此之外，由于使用白化的 主成份分析 （WPCA）和带权值的适应度函数，并且和 Bagging 方法相结合， Bagging 进化特征算法（BEFE）能适用于“训练集合很小”以及“类很多”的情况，并且具 有很好的、稳定的分类性能。 接下来本文对人脸识别系统给出了一般解释；详细介绍了 Adaboost 算法以及改 进方法，非负矩阵分解（NMF）的定义、算法以及各种改进方法；对人脸识别性能 指标进行了介绍；并且研究了一个基于 Adaboost 方法和非负矩阵分解方法的人脸识 别系统，并将该系统的人脸识别部分—非负矩阵分解在标准人脸库上进行了测试与 分析，验证了有着局部化以及稀疏的特点的非负矩阵分解方法非常适合用于人脸识 别上。
III
上海交通大学硕士学位论文
上海交通大学 学位论文原创性声明
本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。
关键字：人脸识别，机器学习，特征提取，遗传算法，进化特征提取，Adaboost，
非负矩阵分解。
III
上海交通大学硕士学位论文
Abstract
Face recognition is an important subject in artificial intelligence field, and it has gained extensive attention from researchers in the past decades. Due to the popularity of machine learning methods, face recognition technology based on machine learning methods is popular. Face recognition is an intersecting subject, and this paper is focusing on feature extraction algorithms of face recognition, and face recognition/tracking system. Firstly, this paper posed the definition of feature extraction and the basic principles of Principle Component Analysis(PCA)、Linear Discriminant Analysis(LDA)、Eigenfaces and Fisherfaces, discussed the general framework and study backgrounds of Generic Alogrithm and proposed a new algorithm called Bagging Evolutionary Feature Extraction Algorithm(BEFE) to combine Evolutionary Feature Extraction with Bagging method and applied it to face recognition. Compared with other GA based feature extraction algorithm, this algorithm has low space complexity and better search efficiency. Another advantage of this algorithm is that it provided a simple but effective way to study the difference between different subspaces from one initial data space. Besides, thanks to Whitened Principle Component Analysis (WPCA), weighted fitness function and the introduction of Bagging method, we can apply BEFE to classification with good and steady performances for the cases where the training set is small and the number of classes is big. Then, this paper explained what face recognition system is, Adaboost algorithm along with the improvement and the definition of Non-negative Matrix Factorization (NMF) together with the algorithms and improvements. Then it introduced the guideline of face recognition performances and discussed a face recognition system based on Adaboost and NMF. Also, we testified and discussed NMF using the standard face databases, thus showing that NMF is suitable for face recognition due to its partialness and sparseness.
PCA: Principal Component Analysis 主成分分析 WPCA: Whitened Principal Component Analysis 白化主成分分析 LDA: Linear Discriminant Analysis 线性判别分析 ICA: Independent Component Analysis Sw: 类内离散度 Sb: 类间离散度 range(): 值空间 null(): 零空间 独立成分分析
Key Words: Face Recognition, Machine Learning, Feature Extraction, Genetic Algorithm, Evolutionary Feature Extraction, Adaboost, Non-negative Matrix Factorization.
1
上海交通大学硕士学位论文
1．2 人脸识别研究的历史
关于人脸识别的研究[1,2]最早始于心理学家们在 20 世纪 50 年代的工作，而真正 从工程应用的角度来研究它则开始于 20 世纪 60 年代。到今天，人脸识别的研究已 经有了几十年的历史，在这几十年间，人脸识别的技术层出不穷。 早期的人脸识别研究主要靠提取人脸的几何特征（Geometrical features）来进行 分类。研究者手工标出眼睛、鼻子、嘴巴等重要脸部器官的位置用来作为一些基准 点，然后根据这些基准点之间的空间关系如长度，角度等作为输入，进行人脸分类。 但是这些方法都不是很成熟，特别是当人脸的数据库的大小到达一定程度，识别效 果就很难让人满意。直到 80 年代，神经网络被成功地运用到人脸识别当中，后来也 有一些相关的研究工作，也都取得了一定的效果，从一定意义上结束了单一地依靠 人脸的几何特征来进行识别的人脸识别技术。从这时起，机器学习这个研究领域得 到了人脸识别研究者更多的关注。 1991 年 Turk 和 Pentland 首次提出著名的“特征脸”[3]（Eigenface）方法，利用 （Principal Component Analysis, PCA） 取得了不错的识别效果； Belhumer 主成分分析[4] 在他的论文中， 成功地将 Fisher 判别准则应用到了人脸分类当中， 提出了 Fisherface[5] 方法；从此基于子空间和统计特征的人脸识别技术成了一种主流的技术，这种基于 线性子空间的技术主要包括主成分分析、线形判别分析 [6] （ Linear Discriminant Analysis, LDA）等方法。总体来说，这一阶段的基于机器学习方法的人脸识别技术 得到了迅速的发展，在一些识别系统里面获得了不错的识别效果。 最近几年，人脸识别的研究有了新的发展，基于机器学习的理论，研究者提出 了许多新颖的方法，其中包括遗传算法[7]（Genetic Algorithm，GA）、AdaBoost[8-10]、 贝叶斯分类器、支持向量机（Support Vector Machine, SVM）[11,12]等方法。相信随着 研究者对该领域的深入研究，新的识别技术将会不断涌现。 与此同时，人脸识别这个概念也发生了变化，它已经成为一个综合的概念，包括 人脸检测以及单纯的人脸识别等许多内容。早期的人脸信息方面的研究主要集中在 人脸识别领域，这一时期的人脸识别算法都是在默认已经得到了一个正面人脸或者 人脸很容易获得的前提下进行的。但是随着人脸信息利用的研究的应用范围不断扩 大和开发实际系统需求的不断提高，研究者们发现，这种假设下的研究并不能满足 实际需求。于是，人脸检测算法开始作为独立的研究内容发展起来，并且发展出了
IV
上海交通大学硕士学位论文
符号说明
GA: Genetic Algorithm 遗传算法 EFE: Evolutionary Feature Extraction 进化特征提取 DEFE: Direct Evolutionary Feature Extraction 直接进化特征提取 BEFE: Bagging Evolutionary Feature Extraction NMF: Non-negative Matrix Factorization Bagging 进化特征提取 非负矩阵分解
学位论文作者签名：
指导教师签名：
ຫໍສະໝຸດ Baidu
日期：
日期：
2
上海交通大学硕士学位论文
第一章 绪论
1．1 研究背景和意义
上个世纪 40 年代，计算机诞生以后，它的运用便层出不穷，特别是随着计算机 计算能力的提高，它在人工智能领域的运用也越来越深入。人工智能在最近三十年 里，得到了迅速的发展，它被称为二十一世纪三大尖端技术（基因工程、微纳米技 术、人工智能）之一。人工智能的研究目的就是为了模拟、延伸和扩展人的智能活 动，例如逻辑推理、数学运算、自动控制等活动。人脸识别就是人工智能领域中一 个受到广泛关注的课题，它涉及到模式识别、统计学、认知科学、神经科学、心理 学等相关学科。人脸识别的深入研究可以促进人机交互，如智能化的人机接口，信 息安全领域的发展。 目前研究者已经开发出了指纹识别、虹膜识别、耳形识别、人脸识别、语音识 别等各种识别技术。其中，指纹识别技术已经十分成熟，已经有很多系统被成功地 运用到了人们的日常生活和工作当中。包括人脸识别在内的其他识别技术也在飞速 地发展，它们也正在日益趋向成熟并且实用化。比尔・盖茨曾经这样断言： “用人类 生物特征信息，比如指纹、语音、脸部，进行身份验证的生物特征识别技术，将会 成为今后几年 IT 产业的一个重要革新” 。 人脸识别具有广泛的应用前景，因此越来越成为当前人工智能领域的一个研究 热点。它在国家安全、公安和海关的身份验证、智能的门禁系统、银行的身份确认、 档案管理、视频会议等方面都有应用。通过许多研究者长期坚持不懈的努力，人脸 识别已经获得了一定的进展，特别是随着研究的深入，它与数学的联系越来越紧密， 很多数学理论已经成为人脸识别的坚实基础，相信在数学的帮助下，人脸识别技术 会有一个质的飞跃。 相比指纹、掌纹、虹膜等其他一些人体生物特征识别系统，人脸识别系统更加 友好和直接，使用者所要承担的心理障碍也会小得多，同时人脸图像的获得也比较 自然和直接，因此人脸识别系统具有更加方便、经济和准确等显著优势。特别是在 “911”事件以后，安全和反恐怖问题日益得到各个国家的认可和重视，相信人脸识 别会受到更加广泛的关注，也相信将来会有越来越多的研究者投入到人脸识别技术 这一研究领域中来。