人脸识别系统(精)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
甚至没有所谓最好的分类器，不同的分类器有不同的适 用范围！ 但对具体问题，可能会有最适合的特征表示方法，而不 同的特征表示也需要采用不同的分类器
关于数据问题
Math is king, data is queen! 在基于统计学习的模式识别问题中，采用什么样的 数据、多少数据往往决定了问题的成败，而不是采 用了什么样的学习算法
安全可靠的授权
会议代表身份验证 屏幕保护程序
防止非法人员进入会场带来危险因素 方便快捷的允许合法用户打开屏保
人脸识别相关研究内容
生物特征识别
人脸、指纹、虹膜、视网膜、掌纹、
人机交互(HCI) 人脸图像编码/压缩 表情分析，情感计算 人脸动画 face animation 人脸属性分类
人类视觉识别系统特性简介及其借鉴意义
特异度对人脸识别的影响 最“漂亮的”、最“丑陋的”、最“奇异的”的人脸都是最容易被 记住的，而大众化的人脸则不太容易被记住 “大众脸”并不等于“平均脸”，大众脸是指经常可以见到的 “脸”，而“平均脸”并不多见 光照变化与人脸识别 反相照片（负片）的识别时很困难的； 下方光源人脸图像难以识别 姿态不变性 不变性？ 运动人脸图像序列 提供了更多的
敏感人物智能监控
网上追逃 身份识 别 会议代表身份识别 关键场所视频监控 家政服务机器人 自动系统登陆 智能Agent 真实感虚拟游戏
护照、身份证、驾照等各类证件查验
监控敏感人物（间谍、恐怖分子等）
在PDA等移动终端上进行现场比对 防止非法人员进入会场带来危险因素 如银行大厅，预警可能的不安全因素 能够识别家庭成员的智能机器人 自动识别用户身份，提供个性化界面 自动识别用户身份，提供个性化界面 提供真实感的人物面像，增加交互性
提纲
从模式识别到人脸识别 人脸识别的背景知识 人脸识别的基本原理 人脸检测与识别的典型方法
从模式识别到人脸识别
人脸识别是模式识别的一个典型案例，它为模式识 别问题研究提供了一个良好的实验平台，所以，众 多模式识别的知名专家、学者都在从事人脸识别的 研究！
从模式识别到人脸识别
客观 世界 模式
From the same person? Yes? No? …
没有想象的那么简单！
How many individuals in this picture?
人脸识别的基本原理 及其计算模型探讨
我们的眼睛靠什么识别？
皮肤和肤色
光滑/粗糙，黝黑/白皙
动态特征
酒窝，皱纹
局部特性
黑痣，刀疤，独眼龙
传感 器
分割 器
特征 提取 器
分类器
后处理器
决 策
人脸 表面
光学 摄像 机
人脸 检测 器
Hale Waihona Puke Baidu
特征 提取 器
分类 器
后处理器
人脸识别系统主要包括四个组成部分，分别为： 人脸图像采集及检测、人脸图像预处理、人脸图像特征提取 以及匹配与识别。
人 物 身 份
关于传感器与预处理
传感器：客观世界模式的测量问题
种族、性别、年龄
Attractiveness判别
生物特征识别技术(Biometrics)
与其他生物特征识别的比较
生物特征识别：未来的身份验证方法！ 生物：指纹、虹膜、人脸、掌纹、手形、视网膜、红外温谱 行为：笔迹、步态、声纹 人脸识别的优点 可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用 非接触式采集，没有侵犯性，容易接受 方便、快捷、强大的事后追踪能力 符合我们人类的识别习惯，可交互性强，无需专家评判 人脸识别的不足 不同人脸的相似性大 安全性低，识别性能受外界条件的影响非常大
人脸：数字化为2D图像？3D形状？红外温谱？ 分辨率、精度、灵敏度、失真度等等 真实性？稳定性？
预处理：保证数据的纯洁度 模式识别理论基本不关心这两项内容，而在 应用上，是必须作为重要内容来考虑的，否 则可能根本就是不可解的问题！
关于特征表示问题
关于特征提取与分类器
理想的特征提取过程可使得后续的分类器设计成为 小菜一碟，万能的分类器似乎也应该使得设计者不 必刻意设计特征提取过程！ 没有万能的分类器！
大学：清华大学3家，哈尔滨工业大学,上海交大，浙大研究所： 计算所，自动化所等
国际研究现状
在比较良好的环境条件情况下，对1000人 左右基本正面人脸进行识别的性能：
首选识别率：95%以上 等错误率：2%以下
在环境比较糟糕的情况下，对基本正面人脸 进行识别的性能：
首选识别率：80%以下 等错误率：10%以上
传感器的选择，比如什么样的摄像机？ 预处理：如何去除各种干扰因素？ 特征表示问题：什么是本质的类别特征？ 为了解决某一应用问题，选择什么样的数据训 练分类器？
人脸识别的相关背景
应用模式
典型具体应用
出入境管理
特点说明
过滤敏感人物（间谍、恐怖分子等）
应用领域
嫌疑人照片比对
公安系统用于确定犯罪嫌疑人身份
Relax
测试：找找看有多少人脸？
国内外研究现状及其分析
国内外研究现状——研究机构
国外研究机构情况
以美欧为主，各知名大学、研究所、企业研究院均设立 了与人脸识别相关的研究组 大学：CMU, MIT, Michigan State University, UCLA, University of Manchester，UMD, USC, University of Surrey… 评测：FERET(94-97), FRVT(2000/2002), (X)M2VTS, FVC… 国内研究机构简况
海关、港口、机要部门等查验持证人的身份是否合法
国家安全 公共安全
人机交互
公共安全 教育 公共安全 信息安全 企业应用 金融安全 金融安全 信息安全 公共安全 人机交互
准考证查验 机要部门物理门禁 机要信息系统门禁 身份验 证 面像考勤系统 金融用户身份验证 电子商务身份验证
智能卡
防止替考问题 避免钥匙和密码被窃取造成失窃 避免单纯的密码被窃取造成信息被窃 方便，快捷，杜绝代考勤问题 避免单纯的密码被窃取造成财产损失 安全可靠的身份验证手段
人的优势：强大的背景知识！
人类视觉识别系统特性简介及其借鉴 意义
人脸识别是否是一个特定的过程？ 证据：“人脸识别能力缺失症（Prosopagnosia）”患者的 存在，患有此症的人可以正常的识别其他物体，甚至可以正确 的识别鼻子眼睛和嘴巴等面部器官，但是就是不能认出熟悉的 人脸，因此有理由怀疑其人脸识别功能区遭到了破坏。 全局特征与局部特征孰轻孰重？ 全局特征主要包括人脸的肤色特征（比如白皙、黝黑）、总体 轮廓（比如圆脸、鸭蛋脸、方脸、长脸等）、以及面部五官的 分布特征（比如，在绘画界就有“国田由用，目甲风申”8种 脸形之说），中医也将人脸按照总体结构特征划分为“金木水 火土”五行（侧重人脸3D结构和肌肉凸凹情况） 而局部特征则主要指面部五官的特点，比如浓眉毛、丹凤眼、 鹰勾鼻、大豁嘴、八字胡须、尖下巴等，以及面部的一些奇异 特征，比如黑痣、伤痕、酒窝等等 二者对识别都是必要的，但全局特征一般用来进行粗略的匹配， 局部特征则提供更为精细的确认。
泛化能力
对于没有训练学习过的模式样本的识别能力
只用中国人训练的模型能否识别老外？异族人脸识 别困难现象。 婴儿：“独眼龙” 不是人？
在实践中，也许想办法加入更多的有代表性 的训练样本更能解决问题，而不是去设计更 复杂的分类器或者学习机
充分利用手头样本
小结
对一般方法的掌握程度 共同决定了最终的成败 对特定问题的理解程度 ！ 应用中需要更多的关注：
为什么选择人脸识别身份？
人世间找不两张完全一样的脸！
人脸是人类赖以区分不同人的基本途径
世间一切尽在脸上！
基因 + 成长环境
尽管双胞胎在基因层面也许区别 不大，但后天的成长历程都镌刻 在了他们的脸孔上！所以随着年 龄的增长，他们的脸孔会更加不 同。另外一个例子就是所谓的“ 夫妻相”，尽管基因不同，但共 同的生活经历导致了其面孔的趋 同。
人脸识别的主要方法
典型方法
基于几何特征的识别方法 基于颜色特征的识别方法 基于模板匹配的识别方法 可变形模板方法 主动轮廓
总结
人脸识别
革命尚未成功，吾辈尚需努力！ 可能在未来10年内有所突破！
知识储备
Math is king, data is queen! 计算机视觉、图形学知识非常重要！
局部特征 vs 全局特征
明星漫画：夸大了独特之处
问题：How to find these salient features automatically?
局部特征 vs 全局特征
人类视觉识别系统特性简介及其借鉴意义
面部特征对识别的重要性分析 不同的面部区域对人脸识别的重要性是不同的，一般认为面部轮廓、 眼睛和嘴巴等特征对人脸识别是更重要的，人脸的上半区域对识别 的意义明显比下半区域重要；鼻子在侧面人脸识别中的重要性要高 于其他特征 异族人脸识别困难现象 这涉及到识别算法的适应性和泛化能力问题，一方面可能需要尽可 能大的学习集，另一方面也需要学习集必须具有较大的覆盖能力 性别和年龄阶段对于识别性能的影响 女性要比男性更难识别；年轻人比老年人更难识别 频域特性与人脸识别的关系 低频分量其实更多的是对人脸图像外观总体分布特性的描述，而高 频分量则对应局部的细节变化 要想保留某人面部的一颗黑痣的信息，高频分量是无能为力的，必 须保留足够的高频分量才可以
人脸识别系统
门禁系统举例
常见的门禁类型 常见的门禁系统有：密码门禁，IC/ID卡门禁，指纹 \虹膜\掌型生物识别门禁等。
密码技术
IC卡技术
指纹识别技术
人脸识别技术
虹膜识别技术
二．人脸识别技术综述
人脸识别，是基于人的脸部特征信息进行身份识别的一种 生物识别技术。用摄像机或摄像头采集含有人脸的图像或 视频流，并自动在图像中检测和跟踪人脸，进而对检测到 的人脸进行脸部的一系列相关技术，通常也 叫做人像识别、面部识别。
目标不同：模式识别研究的是有了特定属性数据之后如 何设计“对所有可能的情况”最优的分类器，而应用上 却要考虑“为了解决某个特定识别问题”如何去选择数 据？ 只为了识别中国人，需要把外国人的数据拿来训练吗？ 为了识别正楷文字，需要把行书也拿来训练吗？
但是，在理论上却有另一个问题…
关于泛化能力
关于数据问题
Math is king, data is queen! 在基于统计学习的模式识别问题中，采用什么样的 数据、多少数据往往决定了问题的成败，而不是采 用了什么样的学习算法
安全可靠的授权
会议代表身份验证 屏幕保护程序
防止非法人员进入会场带来危险因素 方便快捷的允许合法用户打开屏保
人脸识别相关研究内容
生物特征识别
人脸、指纹、虹膜、视网膜、掌纹、
人机交互(HCI) 人脸图像编码/压缩 表情分析，情感计算 人脸动画 face animation 人脸属性分类
人类视觉识别系统特性简介及其借鉴意义
特异度对人脸识别的影响 最“漂亮的”、最“丑陋的”、最“奇异的”的人脸都是最容易被 记住的，而大众化的人脸则不太容易被记住 “大众脸”并不等于“平均脸”，大众脸是指经常可以见到的 “脸”，而“平均脸”并不多见 光照变化与人脸识别 反相照片（负片）的识别时很困难的； 下方光源人脸图像难以识别 姿态不变性 不变性？ 运动人脸图像序列 提供了更多的
敏感人物智能监控
网上追逃 身份识 别 会议代表身份识别 关键场所视频监控 家政服务机器人 自动系统登陆 智能Agent 真实感虚拟游戏
护照、身份证、驾照等各类证件查验
监控敏感人物（间谍、恐怖分子等）
在PDA等移动终端上进行现场比对 防止非法人员进入会场带来危险因素 如银行大厅，预警可能的不安全因素 能够识别家庭成员的智能机器人 自动识别用户身份，提供个性化界面 自动识别用户身份，提供个性化界面 提供真实感的人物面像，增加交互性
提纲
从模式识别到人脸识别 人脸识别的背景知识 人脸识别的基本原理 人脸检测与识别的典型方法
从模式识别到人脸识别
人脸识别是模式识别的一个典型案例，它为模式识 别问题研究提供了一个良好的实验平台，所以，众 多模式识别的知名专家、学者都在从事人脸识别的 研究！
从模式识别到人脸识别
客观 世界 模式
From the same person? Yes? No? …
没有想象的那么简单！
How many individuals in this picture?
人脸识别的基本原理 及其计算模型探讨
我们的眼睛靠什么识别？
皮肤和肤色
光滑/粗糙，黝黑/白皙
动态特征
酒窝，皱纹
局部特性
黑痣，刀疤，独眼龙
传感 器
分割 器
特征 提取 器
分类器
后处理器
决 策
人脸 表面
光学 摄像 机
人脸 检测 器
Hale Waihona Puke Baidu
特征 提取 器
分类 器
后处理器
人脸识别系统主要包括四个组成部分，分别为： 人脸图像采集及检测、人脸图像预处理、人脸图像特征提取 以及匹配与识别。
人 物 身 份
关于传感器与预处理
传感器：客观世界模式的测量问题
种族、性别、年龄
Attractiveness判别
生物特征识别技术(Biometrics)
与其他生物特征识别的比较
生物特征识别：未来的身份验证方法！ 生物：指纹、虹膜、人脸、掌纹、手形、视网膜、红外温谱 行为：笔迹、步态、声纹 人脸识别的优点 可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用 非接触式采集，没有侵犯性，容易接受 方便、快捷、强大的事后追踪能力 符合我们人类的识别习惯，可交互性强，无需专家评判 人脸识别的不足 不同人脸的相似性大 安全性低，识别性能受外界条件的影响非常大
人脸：数字化为2D图像？3D形状？红外温谱？ 分辨率、精度、灵敏度、失真度等等 真实性？稳定性？
预处理：保证数据的纯洁度 模式识别理论基本不关心这两项内容，而在 应用上，是必须作为重要内容来考虑的，否 则可能根本就是不可解的问题！
关于特征表示问题
关于特征提取与分类器
理想的特征提取过程可使得后续的分类器设计成为 小菜一碟，万能的分类器似乎也应该使得设计者不 必刻意设计特征提取过程！ 没有万能的分类器！
大学：清华大学3家，哈尔滨工业大学,上海交大，浙大研究所： 计算所，自动化所等
国际研究现状
在比较良好的环境条件情况下，对1000人 左右基本正面人脸进行识别的性能：
首选识别率：95%以上 等错误率：2%以下
在环境比较糟糕的情况下，对基本正面人脸 进行识别的性能：
首选识别率：80%以下 等错误率：10%以上
传感器的选择，比如什么样的摄像机？ 预处理：如何去除各种干扰因素？ 特征表示问题：什么是本质的类别特征？ 为了解决某一应用问题，选择什么样的数据训 练分类器？
人脸识别的相关背景
应用模式
典型具体应用
出入境管理
特点说明
过滤敏感人物（间谍、恐怖分子等）
应用领域
嫌疑人照片比对
公安系统用于确定犯罪嫌疑人身份
Relax
测试：找找看有多少人脸？
国内外研究现状及其分析
国内外研究现状——研究机构
国外研究机构情况
以美欧为主，各知名大学、研究所、企业研究院均设立 了与人脸识别相关的研究组 大学：CMU, MIT, Michigan State University, UCLA, University of Manchester，UMD, USC, University of Surrey… 评测：FERET(94-97), FRVT(2000/2002), (X)M2VTS, FVC… 国内研究机构简况
海关、港口、机要部门等查验持证人的身份是否合法
国家安全 公共安全
人机交互
公共安全 教育 公共安全 信息安全 企业应用 金融安全 金融安全 信息安全 公共安全 人机交互
准考证查验 机要部门物理门禁 机要信息系统门禁 身份验 证 面像考勤系统 金融用户身份验证 电子商务身份验证
智能卡
防止替考问题 避免钥匙和密码被窃取造成失窃 避免单纯的密码被窃取造成信息被窃 方便，快捷，杜绝代考勤问题 避免单纯的密码被窃取造成财产损失 安全可靠的身份验证手段
人的优势：强大的背景知识！
人类视觉识别系统特性简介及其借鉴 意义
人脸识别是否是一个特定的过程？ 证据：“人脸识别能力缺失症（Prosopagnosia）”患者的 存在，患有此症的人可以正常的识别其他物体，甚至可以正确 的识别鼻子眼睛和嘴巴等面部器官，但是就是不能认出熟悉的 人脸，因此有理由怀疑其人脸识别功能区遭到了破坏。 全局特征与局部特征孰轻孰重？ 全局特征主要包括人脸的肤色特征（比如白皙、黝黑）、总体 轮廓（比如圆脸、鸭蛋脸、方脸、长脸等）、以及面部五官的 分布特征（比如，在绘画界就有“国田由用，目甲风申”8种 脸形之说），中医也将人脸按照总体结构特征划分为“金木水 火土”五行（侧重人脸3D结构和肌肉凸凹情况） 而局部特征则主要指面部五官的特点，比如浓眉毛、丹凤眼、 鹰勾鼻、大豁嘴、八字胡须、尖下巴等，以及面部的一些奇异 特征，比如黑痣、伤痕、酒窝等等 二者对识别都是必要的，但全局特征一般用来进行粗略的匹配， 局部特征则提供更为精细的确认。
泛化能力
对于没有训练学习过的模式样本的识别能力
只用中国人训练的模型能否识别老外？异族人脸识 别困难现象。 婴儿：“独眼龙” 不是人？
在实践中，也许想办法加入更多的有代表性 的训练样本更能解决问题，而不是去设计更 复杂的分类器或者学习机
充分利用手头样本
小结
对一般方法的掌握程度 共同决定了最终的成败 对特定问题的理解程度 ！ 应用中需要更多的关注：
为什么选择人脸识别身份？
人世间找不两张完全一样的脸！
人脸是人类赖以区分不同人的基本途径
世间一切尽在脸上！
基因 + 成长环境
尽管双胞胎在基因层面也许区别 不大，但后天的成长历程都镌刻 在了他们的脸孔上！所以随着年 龄的增长，他们的脸孔会更加不 同。另外一个例子就是所谓的“ 夫妻相”，尽管基因不同，但共 同的生活经历导致了其面孔的趋 同。
人脸识别的主要方法
典型方法
基于几何特征的识别方法 基于颜色特征的识别方法 基于模板匹配的识别方法 可变形模板方法 主动轮廓
总结
人脸识别
革命尚未成功，吾辈尚需努力！ 可能在未来10年内有所突破！
知识储备
Math is king, data is queen! 计算机视觉、图形学知识非常重要！
局部特征 vs 全局特征
明星漫画：夸大了独特之处
问题：How to find these salient features automatically?
局部特征 vs 全局特征
人类视觉识别系统特性简介及其借鉴意义
面部特征对识别的重要性分析 不同的面部区域对人脸识别的重要性是不同的，一般认为面部轮廓、 眼睛和嘴巴等特征对人脸识别是更重要的，人脸的上半区域对识别 的意义明显比下半区域重要；鼻子在侧面人脸识别中的重要性要高 于其他特征 异族人脸识别困难现象 这涉及到识别算法的适应性和泛化能力问题，一方面可能需要尽可 能大的学习集，另一方面也需要学习集必须具有较大的覆盖能力 性别和年龄阶段对于识别性能的影响 女性要比男性更难识别；年轻人比老年人更难识别 频域特性与人脸识别的关系 低频分量其实更多的是对人脸图像外观总体分布特性的描述，而高 频分量则对应局部的细节变化 要想保留某人面部的一颗黑痣的信息，高频分量是无能为力的，必 须保留足够的高频分量才可以
人脸识别系统
门禁系统举例
常见的门禁类型 常见的门禁系统有：密码门禁，IC/ID卡门禁，指纹 \虹膜\掌型生物识别门禁等。
密码技术
IC卡技术
指纹识别技术
人脸识别技术
虹膜识别技术
二．人脸识别技术综述
人脸识别，是基于人的脸部特征信息进行身份识别的一种 生物识别技术。用摄像机或摄像头采集含有人脸的图像或 视频流，并自动在图像中检测和跟踪人脸，进而对检测到 的人脸进行脸部的一系列相关技术，通常也 叫做人像识别、面部识别。
目标不同：模式识别研究的是有了特定属性数据之后如 何设计“对所有可能的情况”最优的分类器，而应用上 却要考虑“为了解决某个特定识别问题”如何去选择数 据？ 只为了识别中国人，需要把外国人的数据拿来训练吗？ 为了识别正楷文字，需要把行书也拿来训练吗？
但是，在理论上却有另一个问题…
关于泛化能力