人脸识别工作汇报
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3 求差值图像recDiffIm 在各特征向量上的投影weight
4 求该投影值weight构成的向量与各类的xuAveWeight构成
的向量之间的欧氏距离xuDiffWeight （基于夹角最小法则：该投影值weight构成的向量与各训练 样本的xuWeight构成的向量之间的夹角余弦 ） 5 判断与最小的欧氏距离xuDiffWeight则该图像属于该类 （基于夹角最小法则：判断最小的夹角余弦所对应的训练样 本所属类为该图像的类别）
C A S I P P
下一阶段主要任务 （1）Fisher脸方法进行人脸识别，并与特征脸 方法相结合； （2）建立自己的人脸库；
C A S I P P
报告完毕！
C A S I P P
最近邻法则
设有一组n个样本：
{ X 1 , X 2 , , X n }
每个样本都已标以类别标志，将待分类样本X分到与
之相距最近的一个样本所属类中，这种方法称为最近 邻法。
C A S I P P
对于基于夹角最小法则的特征脸法人脸识别，
用最近邻法的判别函数为：
s k max(
C A S I P P
C A S I P P
算法训练过程
1 构造训练样本集trainingSet 即从人脸图像目录中读取多个 人脸图像到trainingSet 中； 2 计算出所有训练样本的平均脸meanImage 和各训练样本相 对于平均脸的差值图像differenceImages；
3 用特征值分解的方法求差值图像differenceImages 的特征
C A S I P P
人脸识别 工作汇报
C A S I P P
人脸识别的概念
人脸识别的一般概念：给定一个场景中的静态图像或视
频，利用给定的人脸数据库信息，鉴别或确认该场景中
的一位或多位人的过程。
一个完整的人脸识别系统一般包括三个部分：
（1）图像获取
（2）人脸检测与分割 （3）人脸识别（特征选择与提取、模式匹配）
差矩阵的特征向量构成的特征矩阵作为变换矩阵，对原
始空间中的向量进行变换，使原始空间中高维、复杂的 向量变成变换后的特征空间中的低维、简单的向量。 这种变换是一种基于统计特性的最佳正交变换，变换之 后具有如下特性：
（1）变换后的新的分量正交或不相关；
（2）以部分新的分量表示原向量均方误差最小； （3）变换后的向量更趋确定、能量更趋集中。
确定相似性度量方法
在人脸识别中，以上进行的工作是只是人脸特征提 取与选择，下一步要做一工作是对这些提取后的特
征向量进行分类。为此要确定一种相似性度量方法，
求出各提取后的特征向量之间的相似度，进而确定 待分类识别的人脸是否属于某一已知类别。
C A S I P P
平均欧式距离法
在统计模式识别方法中，我们抽取和选择的是能代 表这个模式的特征，用这些特征构成的特征向量占 有由它们构成的特征空间的一个点。显然，两个模 式如果在模式空间相距很近，则它们的各个分量， 也就是各个特征也应相差很小，因此，两个模式之 间相似性的一种合理的度量就是它们在特征空间的
C A S I P P 轮廓信息与细节信息分割 1用Harr小波包对人脸图像进行一级分解（对图像进行多尺 度分解）， 得到四个独立的图像，分别为（近似部分A1、 水平细节部分H1、垂直细节部分V1、对角细节部分D1）； 2对每个独立的部分用标准的特征脸法进行分类识别
3得到的结果是近似部分的图像的识别率与原始图像的识别
C A S I P P
特征选择与提取
（1）当实际用于分类识别的特征数目d给定后， 直接从已获得的n个原始特征中选出d个特征，根 据这d个特征来判断。
（2）根据某一类别可分性判据原则，对n个原始 特征进行变换，使之变换到较低维空间或便于分 类的空间，在变换后的空间对它进行分类识别。
C A S I P P
识别正确率
0.85357
0.915
0.95833
Hale Waihona Puke Baidu
C A S I P P
其它方面一
对于人脸识别，从感性上，人脸的轮廓应该比人脸的
细节远远重要，因此在人脸识别过程中能否先考虑轮
廓信息再考虑细节信息。 两个问题： （1）轮廓信息与细节信息如何区分、分割； （2）对轮廓信息的识别与细节信息的识别如何合理 的融合到一起。（？）
用正交变换求出协方差矩阵的特征向量和特征值：
un
变换后的特征空间为：
n
u1 u2 uM
C A S I P P 由于离散K-L变换使能量相对集中，且与特征向量相对 应的特征值具有如下性质：
1 2 M
因此，对于取前m个特征所对应的特征向量，对原始空 间中的向量进行变换，变换后的均方误差取最小值。 由于精确地构造图像是不必要的，一个较小的m个特 征向量对识别就足够了 ，因此，我们可以取前m个特 征向量，构成变换后的特征脸空间。
率几乎相等，其它几个部分很小； 4用Harr小波包对人脸图像进行二级分解，得到十六个部分， 再分别对之用传统的特征脸方法进行识别，结果相同，而且 细节信息越丰富，正确率越低。
C A S I P P
其它方面二
基于小波分解的方法进行分析 1用Harr小波包对人脸图像进行二级分解，将图像分解成 十六个部分； 2计算出每一部分的均值和标准差； 3用Bhattacharyya距离来度量。
C A S I P P
从数学的观点，可以将人脸图像作为高维空间的一
个点或一个向量，而且这些高维向量的在空间中的 分布没有一定的规律性。如果能将这个高维向量映 射到维数较低的向量空间，或者映射到分布规律明 显的空间，用映射空间的向量表示人脸图像，则更 方便我们进行人脸识别。
C A S I P P 人们想到了用主成份分析方法，又称离散K-L变换、 Hotelling变换，它是用原始空间中的随机变量X的协方
C A S I P P 根据小波变换后的均值和标准差 构造BP人工神经网 络进行学习和识别 将均值与标准差作为神经网络的输入向量样本数为 traningSamples 输入神经元数为31 InVector=zeros(31,trainingSamples);%前15个为均值 后 16个为标准差 stdVector=zeros(trainingSamples,16);%标准差 神经网络的输出向量为样本数为traningSamples 输出神 经元数为directories（类别数）
每一个体人脸图像都可以确切地表示为一组特征脸的线
性组合。
C A S I P P
特征脸的构造与计算
人脸图像集： T1 , T2 , TM 向量形式 ： 1 , 2 ,M
训练集的平均脸 ：
1 M
M n 1
n
人脸图像与平均脸的差 ：
n n
C A S I P P
1 M C n T AAT 人脸图像集的协方差矩阵： n M n 1 A [1 2 M ]
2
当求得的最小的值小于某一给定的阈值，则这幅人脸
图像属于该类，否则不属于该类。
C A S I P P
相似性度量的另一种方法
相似性函数定义为两个向量之间的归一化内积，对 于某一待分类人脸图像相应的特征向量与第k类人 脸图像的特征向量之间的相似度为：
k sk
T
它表示的是向量之间的夹角余弦，值越大，表示两 者之间的夹角越小，相似性越大。这种方法我们称 它为基于夹角最小的相似性度量方法。
Markov Model Based Methods（HMM）等。
C A S I P P
特征脸的含义
人脸图像中包含着大量有意义的人脸局部和全局特征信息，
这些特征不仅包含如眼睛、鼻子、头发等仅凭人的直觉就能 感受到的特征，还包含其它一些人的直觉没法体会的重要特 征。这些特征以一定的形式分布在人脸图像中，从一张人脸 图像中抽取相关的信息并尽可能有效的方式表示出来，然后， 将以这种方式表示的人脸与以同样方式表示的人脸模型库相 比较。
C A S I P P
在特征脸空间进行人脸匹配
得到特征脸空间后，对人脸图像的识别可以将原始的高
维空间向量映射到该特征空间，再进行模式匹配。
一幅人脸图像将它映射到特征脸上可用下式运算求得：
T k u k ( )
它在特征脸空间中的向量：
T [1 2 m ]
C A S I P P
C A S I P P
仿真结果
平均欧氏距离法实验结果
训练样本数和识别 数 每类学习样本数为3 每类用于识别数为7 每类学习样本数为5 每类用于识别数为5 每类学习样本数为7 每类用于识别数为3
识别正确率
0.81071
0.845
0.89167
夹角最小的最近邻法实验结果
训练样本数和识别 数 每类学习样本数为3 每类用于识别数为7 每类学习样本数为5 每类用于识别数为5 每类学习样本数为7 每类用于识别数为3
T kp
)
C A S I P P
算法实现
采用MATLAB进行编程仿真
仿真对象是ORL（Olivette Research Lab) 标准人脸库
该标准人脸库由40人，每人10幅112×92图像组成。这些
图像是拍摄于不同时期的、人的脸部表情和脸部细节有 着不同程度的变化、人脸姿态也有相当程度的变化。
C A S I P P
在人脸识别中，人们用离散K-L变换对人脸图像的原始 空间进行转换，即构造人脸图像数据集的协方差矩阵， 对之进行正交变换，求出协方差矩阵的特征向量，再依 据特征值的大小对这些特征向量进行排序，每一个向量
表示人脸图像中一个不同数量的变量 ，这些特征向量
表示特征的一个集合，它们共同表示一个人脸图像。在 人脸识别领域，人们能常称这些特征向量为特征脸 。
距离，即距离越小，相似性越高。提起距离，我们
首先会想到欧氏距离，即用最小欧氏距离法，对特 征向量进行分类和识别。
C A S I P P 首先计算出的相应的特征脸模式向量的平均值。确定 阈值，它表示距离某一人脸类和距离人脸空间的最大
允许值。
对于某一待分类人脸图像，则它与第k类的欧氏距离为：
dk
( k )
值和特征向量Eimage Eval； 4 求训练集中的每个差值图像相对于各特征向量上的投影值 xuWeight构成的特征脸向量； 5 计算每一类的平均投影值xuAveWeight（对于最近邻法不 需要这一步）
C A S I P P
算法识别过程
1 读取一幅待识别图像recogniseImage
2 求取该图像相对于平均脸meanImage 差值图像recDiffIm
人脸识别方法的分类 （根据特征提取方法）
第一类：基于表象（全局特征）的方法
全局匹配方法是用整个人脸区域作为输入，作为一个
整体与已知人脸数据库进行匹配。如Eigenfaces、 Fisherfaces、SVM等。 第二类：基于结构（局部特征）的方法 基于局部特征的结构匹配方法是根据人脸图中的局部 特征（眼睛、鼻子、嘴巴等）在人脸图像中的位置和 各自自身的结构确定对人脸图像进行识别。如Hidden
4 求该投影值weight构成的向量与各类的xuAveWeight构成
的向量之间的欧氏距离xuDiffWeight （基于夹角最小法则：该投影值weight构成的向量与各训练 样本的xuWeight构成的向量之间的夹角余弦 ） 5 判断与最小的欧氏距离xuDiffWeight则该图像属于该类 （基于夹角最小法则：判断最小的夹角余弦所对应的训练样 本所属类为该图像的类别）
C A S I P P
下一阶段主要任务 （1）Fisher脸方法进行人脸识别，并与特征脸 方法相结合； （2）建立自己的人脸库；
C A S I P P
报告完毕！
C A S I P P
最近邻法则
设有一组n个样本：
{ X 1 , X 2 , , X n }
每个样本都已标以类别标志，将待分类样本X分到与
之相距最近的一个样本所属类中，这种方法称为最近 邻法。
C A S I P P
对于基于夹角最小法则的特征脸法人脸识别，
用最近邻法的判别函数为：
s k max(
C A S I P P
C A S I P P
算法训练过程
1 构造训练样本集trainingSet 即从人脸图像目录中读取多个 人脸图像到trainingSet 中； 2 计算出所有训练样本的平均脸meanImage 和各训练样本相 对于平均脸的差值图像differenceImages；
3 用特征值分解的方法求差值图像differenceImages 的特征
C A S I P P
人脸识别 工作汇报
C A S I P P
人脸识别的概念
人脸识别的一般概念：给定一个场景中的静态图像或视
频，利用给定的人脸数据库信息，鉴别或确认该场景中
的一位或多位人的过程。
一个完整的人脸识别系统一般包括三个部分：
（1）图像获取
（2）人脸检测与分割 （3）人脸识别（特征选择与提取、模式匹配）
差矩阵的特征向量构成的特征矩阵作为变换矩阵，对原
始空间中的向量进行变换，使原始空间中高维、复杂的 向量变成变换后的特征空间中的低维、简单的向量。 这种变换是一种基于统计特性的最佳正交变换，变换之 后具有如下特性：
（1）变换后的新的分量正交或不相关；
（2）以部分新的分量表示原向量均方误差最小； （3）变换后的向量更趋确定、能量更趋集中。
确定相似性度量方法
在人脸识别中，以上进行的工作是只是人脸特征提 取与选择，下一步要做一工作是对这些提取后的特
征向量进行分类。为此要确定一种相似性度量方法，
求出各提取后的特征向量之间的相似度，进而确定 待分类识别的人脸是否属于某一已知类别。
C A S I P P
平均欧式距离法
在统计模式识别方法中，我们抽取和选择的是能代 表这个模式的特征，用这些特征构成的特征向量占 有由它们构成的特征空间的一个点。显然，两个模 式如果在模式空间相距很近，则它们的各个分量， 也就是各个特征也应相差很小，因此，两个模式之 间相似性的一种合理的度量就是它们在特征空间的
C A S I P P 轮廓信息与细节信息分割 1用Harr小波包对人脸图像进行一级分解（对图像进行多尺 度分解）， 得到四个独立的图像，分别为（近似部分A1、 水平细节部分H1、垂直细节部分V1、对角细节部分D1）； 2对每个独立的部分用标准的特征脸法进行分类识别
3得到的结果是近似部分的图像的识别率与原始图像的识别
C A S I P P
特征选择与提取
（1）当实际用于分类识别的特征数目d给定后， 直接从已获得的n个原始特征中选出d个特征，根 据这d个特征来判断。
（2）根据某一类别可分性判据原则，对n个原始 特征进行变换，使之变换到较低维空间或便于分 类的空间，在变换后的空间对它进行分类识别。
C A S I P P
识别正确率
0.85357
0.915
0.95833
Hale Waihona Puke Baidu
C A S I P P
其它方面一
对于人脸识别，从感性上，人脸的轮廓应该比人脸的
细节远远重要，因此在人脸识别过程中能否先考虑轮
廓信息再考虑细节信息。 两个问题： （1）轮廓信息与细节信息如何区分、分割； （2）对轮廓信息的识别与细节信息的识别如何合理 的融合到一起。（？）
用正交变换求出协方差矩阵的特征向量和特征值：
un
变换后的特征空间为：
n
u1 u2 uM
C A S I P P 由于离散K-L变换使能量相对集中，且与特征向量相对 应的特征值具有如下性质：
1 2 M
因此，对于取前m个特征所对应的特征向量，对原始空 间中的向量进行变换，变换后的均方误差取最小值。 由于精确地构造图像是不必要的，一个较小的m个特 征向量对识别就足够了 ，因此，我们可以取前m个特 征向量，构成变换后的特征脸空间。
率几乎相等，其它几个部分很小； 4用Harr小波包对人脸图像进行二级分解，得到十六个部分， 再分别对之用传统的特征脸方法进行识别，结果相同，而且 细节信息越丰富，正确率越低。
C A S I P P
其它方面二
基于小波分解的方法进行分析 1用Harr小波包对人脸图像进行二级分解，将图像分解成 十六个部分； 2计算出每一部分的均值和标准差； 3用Bhattacharyya距离来度量。
C A S I P P
从数学的观点，可以将人脸图像作为高维空间的一
个点或一个向量，而且这些高维向量的在空间中的 分布没有一定的规律性。如果能将这个高维向量映 射到维数较低的向量空间，或者映射到分布规律明 显的空间，用映射空间的向量表示人脸图像，则更 方便我们进行人脸识别。
C A S I P P 人们想到了用主成份分析方法，又称离散K-L变换、 Hotelling变换，它是用原始空间中的随机变量X的协方
C A S I P P 根据小波变换后的均值和标准差 构造BP人工神经网 络进行学习和识别 将均值与标准差作为神经网络的输入向量样本数为 traningSamples 输入神经元数为31 InVector=zeros(31,trainingSamples);%前15个为均值 后 16个为标准差 stdVector=zeros(trainingSamples,16);%标准差 神经网络的输出向量为样本数为traningSamples 输出神 经元数为directories（类别数）
每一个体人脸图像都可以确切地表示为一组特征脸的线
性组合。
C A S I P P
特征脸的构造与计算
人脸图像集： T1 , T2 , TM 向量形式 ： 1 , 2 ,M
训练集的平均脸 ：
1 M
M n 1
n
人脸图像与平均脸的差 ：
n n
C A S I P P
1 M C n T AAT 人脸图像集的协方差矩阵： n M n 1 A [1 2 M ]
2
当求得的最小的值小于某一给定的阈值，则这幅人脸
图像属于该类，否则不属于该类。
C A S I P P
相似性度量的另一种方法
相似性函数定义为两个向量之间的归一化内积，对 于某一待分类人脸图像相应的特征向量与第k类人 脸图像的特征向量之间的相似度为：
k sk
T
它表示的是向量之间的夹角余弦，值越大，表示两 者之间的夹角越小，相似性越大。这种方法我们称 它为基于夹角最小的相似性度量方法。
Markov Model Based Methods（HMM）等。
C A S I P P
特征脸的含义
人脸图像中包含着大量有意义的人脸局部和全局特征信息，
这些特征不仅包含如眼睛、鼻子、头发等仅凭人的直觉就能 感受到的特征，还包含其它一些人的直觉没法体会的重要特 征。这些特征以一定的形式分布在人脸图像中，从一张人脸 图像中抽取相关的信息并尽可能有效的方式表示出来，然后， 将以这种方式表示的人脸与以同样方式表示的人脸模型库相 比较。
C A S I P P
在特征脸空间进行人脸匹配
得到特征脸空间后，对人脸图像的识别可以将原始的高
维空间向量映射到该特征空间，再进行模式匹配。
一幅人脸图像将它映射到特征脸上可用下式运算求得：
T k u k ( )
它在特征脸空间中的向量：
T [1 2 m ]
C A S I P P
C A S I P P
仿真结果
平均欧氏距离法实验结果
训练样本数和识别 数 每类学习样本数为3 每类用于识别数为7 每类学习样本数为5 每类用于识别数为5 每类学习样本数为7 每类用于识别数为3
识别正确率
0.81071
0.845
0.89167
夹角最小的最近邻法实验结果
训练样本数和识别 数 每类学习样本数为3 每类用于识别数为7 每类学习样本数为5 每类用于识别数为5 每类学习样本数为7 每类用于识别数为3
T kp
)
C A S I P P
算法实现
采用MATLAB进行编程仿真
仿真对象是ORL（Olivette Research Lab) 标准人脸库
该标准人脸库由40人，每人10幅112×92图像组成。这些
图像是拍摄于不同时期的、人的脸部表情和脸部细节有 着不同程度的变化、人脸姿态也有相当程度的变化。
C A S I P P
在人脸识别中，人们用离散K-L变换对人脸图像的原始 空间进行转换，即构造人脸图像数据集的协方差矩阵， 对之进行正交变换，求出协方差矩阵的特征向量，再依 据特征值的大小对这些特征向量进行排序，每一个向量
表示人脸图像中一个不同数量的变量 ，这些特征向量
表示特征的一个集合，它们共同表示一个人脸图像。在 人脸识别领域，人们能常称这些特征向量为特征脸 。
距离，即距离越小，相似性越高。提起距离，我们
首先会想到欧氏距离，即用最小欧氏距离法，对特 征向量进行分类和识别。
C A S I P P 首先计算出的相应的特征脸模式向量的平均值。确定 阈值，它表示距离某一人脸类和距离人脸空间的最大
允许值。
对于某一待分类人脸图像，则它与第k类的欧氏距离为：
dk
( k )
值和特征向量Eimage Eval； 4 求训练集中的每个差值图像相对于各特征向量上的投影值 xuWeight构成的特征脸向量； 5 计算每一类的平均投影值xuAveWeight（对于最近邻法不 需要这一步）
C A S I P P
算法识别过程
1 读取一幅待识别图像recogniseImage
2 求取该图像相对于平均脸meanImage 差值图像recDiffIm
人脸识别方法的分类 （根据特征提取方法）
第一类：基于表象（全局特征）的方法
全局匹配方法是用整个人脸区域作为输入，作为一个
整体与已知人脸数据库进行匹配。如Eigenfaces、 Fisherfaces、SVM等。 第二类：基于结构（局部特征）的方法 基于局部特征的结构匹配方法是根据人脸图中的局部 特征（眼睛、鼻子、嘴巴等）在人脸图像中的位置和 各自自身的结构确定对人脸图像进行识别。如Hidden