人脸识别技术研究进展
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
基本元素:像素
– 在数字图像中,每个像素对应1个或者多个数值, 反映场景中相应点反射到相机中光的强度(能量) – 可见光波长范围内:三原色
图像:
– 反映反射光的强度 – 一个2D数据矩阵I(x,y) – (r, g, b) = (58, 83, 147)
r gbr gb… r gb r gb.
– 总结:人脸识别的发展现状(State-of-the-art) – 展望:Quo Vadis?
Part II:JDL在人脸识别领域的研究状况
– JDL人脸识别研究组的过去、现在和将来 – 加入JDL,加入人脸组,你准备好了吗?
Part I :人脸识别研究概述
人脸识别的基本问题描述、 基本概念、应用背景、涉及的学科
基于3D形变模型的方法
典型方法简介
基于几何特征的人脸识别方法 基于模板匹配的人脸识别方法 可变形模板方法 Eigenface Fisherface, subspace LDA 双子空间贝叶斯判别方法 AdaBoost-based face detection Elastic Graph Matching ASM/AAM 3D Morphable-Model
基于模板匹配的例子
建模
– 2D 灰度矩阵,按行向量化为1D向量 – 所有图像均表示为这样的向量
识别
– 计算输入图像的向量与已知人脸库中 所有向量的相似度,排序即可给出识 别结果
主要的人脸识别方法综述
主要的人脸识别方法综述
广义的人脸识别包括
– 人脸检测主要方法 – 面部特征提取(Face Alignment) – 人脸识别/确认
模式识别典型应用案例 —人脸识别技术研究进展
提纲
Part I :人脸识别研究概述
– – – – 是什么:问题描述、基本概念、涉及学科领域 为什么:要做人脸识别? 怎么做:人脸识别原理及主要技术方法简介 相关知识、背景材料
国际知名研究机构/人员 主要商业系统及其技术特点 主要人脸数据库、性能评测体系
对验证问题
– 错误接收率FAR
False Accept (/Alarm) Rate: 把李四判别为张三的比率
– 错误拒绝率FRR
False Reject Rate: 把张三拒之门外的比率
FAR
– 等错误率
FAR = FRR
FRR
人脸识别研究涉及的学科
图象 图像
图象处理
图像识别
处理过的图象 图像所属类别
人脸建模
理想状态下,应该利用:
– 3D shape的不同 – 皮肤表面点的反射系数属性的不同 – 但是,从2D图像恢复上述信息是病态问题
目前算法主要应用
– – – – – 2D 结构信息——基于几何结构的人脸特征 2D 图像灰度数据矩阵的特征——比如模板匹配 2D 图像灰度数据矩阵的变换特征——比如Gabor, DCT, FFT… 2D 图像灰度高维数据的低维子空间分布——子空间、流形等 出现了少量利用3D信息进行识别的方法
– PMT(光电增倍管):通常只应用在医学影像等高级设备上 – CCD(电荷耦合器):贝尔实验室在1969年发明,体积小巧 ,价格适中,感光能力优秀(比PMT稍差) – CMOS(互补金属氧化物半导体):目前低价数码相机和摄像头 广泛采用的感光器,最大的好处就是便宜,但是感光效果比 较差
数字图象是什么?
不变特征:比如彩色信息、纹理分布等 样本学习 (多数为Appearance-based )
– 将人脸检测视为人脸样本与非人脸样本两类分类问题,通 过对人脸 样本集和非人脸样本集的学习产生分类器 – 比如SVM,NN,再比如目前非常热门的Boosting方法
面部特征提取的主要方法 ( Face Alignment)
From the same person? Yes? No? …
没有你想象的那么简单!
How many individuals in this picture?
Part I :人脸识别研究概述
人脸识别的基本原理及其计 算模型探讨
图像生成过程
照相机成像原理
– 光源发出的光照射到物体上,物体表面点反 射这些光线,经过小孔/透镜直线传播到胶 片上 – 光强不同,反映为胶片的腐蚀程度
图象
计算机视觉
距离, 朝向, 质地等
描述
计算机图形学
图象
Image Processing Compter Vision Pattern Recognition
还涉及到生理学/心理学的一些知识!
Artificial Intelligence
人脸识别相关研究内容
生物特征识别
– 人脸、指纹、虹膜、视网膜、掌纹、
统计学习
– Eigenface – SVM, Boosting, NN, Bayesian等等
人脸识别的典型方法
基于几何特征的方法 模板匹配、可变形模板 基于神经网络的方法 弹性图匹配的方法 基于HMM的方法 基于统计模型的方法
– – – – Eigenface, Fisherface, subspace LDA等等 统计形状模型、统计纹理模型 双子空间贝叶斯判别方法 基于局部特征分析的方法(LFA)
拒绝通过
通过确认
确认系统流程
人脸识别用于验证场合的典型体系结构 (门禁系统)
人 脸 检 活动视频 测
分割出的 人脸
IC 读 卡机
身份号
特征提取
已知人脸 模型数据 库
装载模 型
当前人脸模型
验证
声称用户的参考模 板
拒识
No 超时? Yes 记录 “非法” 登 录企图
通过
记录该次登 录
解锁
基本概念与问题描述(续)
输入视频、数字图像文 件、扫描仪照片输入 声明的用 户身份 输入视频、 数字图像文 件、扫描仪照片输入 人脸检测与跟踪 人脸检测与跟踪
面部特征提取
面部特征提取
生成人脸模型
生成人脸模型
与库存所有已知 人脸模型比对
库存人脸 模型
与声称用户模型 比对
相似性排序
同一性判断
输入图片中人 脸的身份信息 识别系统流程
人脸识别的不足
– 安全性低,识别性能受外界条件的影响非常大
生物特征识别技术(Biometrics)
技术挑战
影响人脸图像表观的因素 人与摄像设备的位置关系(距离角度等) 光照环境条件 摄像设备 图像存储质量 年龄变化 意外损伤 饰物(眼镜帽子等) 化妆、整容 精神状态 健康状况 面部毛发(头发,胡须)
人脸检测的主要方法
人脸规则
– 人脸模式的变化满足一定的规律,所以可以归纳描述人脸特征的规 则,如灰度分布、比例关系、纹理信息等
模板匹配
– 固定模板,采用不同的匹配测度,将目标图象与标准模板相匹配。 通过阈值判定是否存在人脸 – 变形模板 模板中包含一些非固定的构件。采用参数化的曲线模型描 述模板, 用来逼近人脸图象的某些构件,如眼睛、鼻子和嘴唇等。 检测时利用这些曲线进行“弹性”匹配
基于几何特征的例子
建模:用面部关键特征的相对位置、大 小、形状、面积等参数来描述人脸 人脸图像f特征向量v v = (x1, x2,…, xn) 对所有已知人脸提取同样描述的几何特 征 D={v1, v2,.., vp} 待识别的人脸f提取的几何特征为vf 计算vf与D中所有vi的相似度s(vf,vi)(比如 欧式距离、cosine(.)等),进行排序 根据相似度最大的已知人脸的身份即可 判断待识别人脸的身份信息
Rule-based Modeling
– 积分投影曲线分析 – 峰谷特性分析 – Hough变换
Template matching
– – – – – 灰度模板匹配 Active Contour / Snake 可变形模板(Deformable template):参数优化 ASM/AAM——统计模型约束的参数优化 弹性图匹配(Face Bunch Graph Matching)
– 信息安全
– 家庭娱乐
– 特别值得关注:奥运安全
应用模式
典型具体应用
出入境管理
特点说明
过滤敏感人物(间谍、恐怖分子等)
应用领域
嫌疑人照片比对
公安系统用于确定犯罪嫌疑人身份
敏感人物智能监控
网上追逃 身份识 别 会议代表身份识别 关键场所视频监控 家政服务机器人 自动系统登陆 智能Agent 真实感虚拟游戏
人机交互(HCI) 人脸源自文库像编码/压缩 表情分析,情感计算 人脸动画 face animation 人脸属性分类
– 种族、性别、年龄
Attractiveness判别
Part I :人脸识别研究概述
我们为什么对人脸识别感兴趣?
为什么要做人脸识别?
多学科领域的挑战性难题
– – – – 模式识别:最典型、最困难的模式识别问题 人工智能:人类智能的基本体现 计算机视觉:实现人眼的功能 下一代人机交互
护照、身份证、驾照等各类证件查验
监控敏感人物(间谍、恐怖分子等)
在PDA等移动终端上进行现场比对 防止非法人员进入会场带来危险因素 如银行大厅,预警可能的不安全因素 能够识别家庭成员的智能机器人 自动识别用户身份,提供个性化界面 自动识别用户身份,提供个性化界面 提供真实感的人物面像,增加交互性 海关、港口、机要部门等查验持证人的身份是否合 法 防止替考问题 避免钥匙和密码被窃取造成失窃 避免单纯的密码被窃取造成信息被窃 方便,快捷,杜绝代考勤问题 避免单纯的密码被窃取造成财产损失 安全可靠的身份验证手段
光反射基本模型
光反射模型
– 比如Lambert反射模型(漫反射模型)
K为物体表面点漫反射系数 L为入射光强度
I K L cos( )
为光源方向与表面法向的夹角
数码摄像设备光强感知方法
光纤传播方式与传统相机相同,只是感光设备不同 数字图像传感器的工作原理:用感光原件感光,光信 号转化为电信号,通过放大器传送到相机的DSP芯片 计算,目前有三种主流感光原件:
让计算机不再“熟视无睹” 让计算机具有人类的情感
广泛的应用前景… 人脸识别相比其他生物特征识别的优势…
人脸识别的应用前景
– 国家公共安全
敏感人物智能监控、罪犯抓逃与比对、 门禁、出入境管理 电子商务、电子政务、 社会保险、信息系统 金融领域的持卡人身份验证 智能考勤系统 真实感游戏、虚拟社区 智能玩具、家政服务机器人 敏感人物监控、各类门禁 代表身份认证
人脸图像
于是我们有了人脸图像
– 人脸的特点
3D surface 表面基本满足漫反射条件 表面点的漫反射系数不同
识别的一般原理
输 入 图 像
人脸 检测 面部特征 点定位 人脸 建模 分类 判别 身 份 信 息
关键是特征提取和人脸建模,也就是采用什么样的特 征描述人脸的问题。而且对于基于光学图像的人脸识 别而言,这些特征必须是可以从图像中获得的。
人脸检测 面部特征定位 人脸识别/确认
问题分解
图像获取 人脸检测/跟踪 面部特征点定位 人脸特征建模 特征比对
– 计算人脸模型之间的相似度 – 排序输出
人脸识别技术性能评价方法
对识别问题
– 首选识别率
相似度最大的人脸是正确的比率
正确识别结果在前n候选中的比率
– 累积识别率曲线
问题描述与分解、基本概念、 涉及学科领域
输入
– 数字图像或者数字视频序列
摄像设备:摄像机、数码相机、摄像头等等 扫描仪 其它来源的图像/视频文件…
三类系统的不同输出
– 人脸检测:有没有人脸? – 人脸识别:这是谁的脸? – 人脸确认:这是Mona Lisa的脸吗?
识别问题 vs 确认问题
安全可靠的授权
国家安全 公共安全
人机交互
公共安全 教育 公共安全 信息安全 企业应用 金融安全 金融安全 信息安全 公共安全 人机交互
准考证查验 机要部门物理门禁 机要信息系统门禁 身份验 证 面像考勤系统 金融用户身份验证 电子商务身份验证
智能卡
会议代表身份验证 屏幕保护程序
防止非法人员进入会场带来危险因素 方便快捷的允许合法用户打开屏保
人脸识别与其他生物特征识别 的比较
生物特征识别:未来的身份验证方法!
– 指纹、人脸、虹膜、掌纹、视网膜、红外温谱 – 笔迹、步态、声纹
人脸识别的优点
– 可以隐蔽操作,特别适用于安全问题、罪犯监控与抓逃应用 ,这是其他生物特征识别技术不能替代的 – 非接触式采集,没有侵犯性,容易接受 – 方便、快捷、强大的事后追踪能力(普通人并不具备指纹、 虹膜、视网膜判别能力) – 更符合我们人类的识别习惯,可交互性强,一般人就可以进 行评判 – 设备成本较低(摄像头可望很快成为标准外设)
– 在数字图像中,每个像素对应1个或者多个数值, 反映场景中相应点反射到相机中光的强度(能量) – 可见光波长范围内:三原色
图像:
– 反映反射光的强度 – 一个2D数据矩阵I(x,y) – (r, g, b) = (58, 83, 147)
r gbr gb… r gb r gb.
– 总结:人脸识别的发展现状(State-of-the-art) – 展望:Quo Vadis?
Part II:JDL在人脸识别领域的研究状况
– JDL人脸识别研究组的过去、现在和将来 – 加入JDL,加入人脸组,你准备好了吗?
Part I :人脸识别研究概述
人脸识别的基本问题描述、 基本概念、应用背景、涉及的学科
基于3D形变模型的方法
典型方法简介
基于几何特征的人脸识别方法 基于模板匹配的人脸识别方法 可变形模板方法 Eigenface Fisherface, subspace LDA 双子空间贝叶斯判别方法 AdaBoost-based face detection Elastic Graph Matching ASM/AAM 3D Morphable-Model
基于模板匹配的例子
建模
– 2D 灰度矩阵,按行向量化为1D向量 – 所有图像均表示为这样的向量
识别
– 计算输入图像的向量与已知人脸库中 所有向量的相似度,排序即可给出识 别结果
主要的人脸识别方法综述
主要的人脸识别方法综述
广义的人脸识别包括
– 人脸检测主要方法 – 面部特征提取(Face Alignment) – 人脸识别/确认
模式识别典型应用案例 —人脸识别技术研究进展
提纲
Part I :人脸识别研究概述
– – – – 是什么:问题描述、基本概念、涉及学科领域 为什么:要做人脸识别? 怎么做:人脸识别原理及主要技术方法简介 相关知识、背景材料
国际知名研究机构/人员 主要商业系统及其技术特点 主要人脸数据库、性能评测体系
对验证问题
– 错误接收率FAR
False Accept (/Alarm) Rate: 把李四判别为张三的比率
– 错误拒绝率FRR
False Reject Rate: 把张三拒之门外的比率
FAR
– 等错误率
FAR = FRR
FRR
人脸识别研究涉及的学科
图象 图像
图象处理
图像识别
处理过的图象 图像所属类别
人脸建模
理想状态下,应该利用:
– 3D shape的不同 – 皮肤表面点的反射系数属性的不同 – 但是,从2D图像恢复上述信息是病态问题
目前算法主要应用
– – – – – 2D 结构信息——基于几何结构的人脸特征 2D 图像灰度数据矩阵的特征——比如模板匹配 2D 图像灰度数据矩阵的变换特征——比如Gabor, DCT, FFT… 2D 图像灰度高维数据的低维子空间分布——子空间、流形等 出现了少量利用3D信息进行识别的方法
– PMT(光电增倍管):通常只应用在医学影像等高级设备上 – CCD(电荷耦合器):贝尔实验室在1969年发明,体积小巧 ,价格适中,感光能力优秀(比PMT稍差) – CMOS(互补金属氧化物半导体):目前低价数码相机和摄像头 广泛采用的感光器,最大的好处就是便宜,但是感光效果比 较差
数字图象是什么?
不变特征:比如彩色信息、纹理分布等 样本学习 (多数为Appearance-based )
– 将人脸检测视为人脸样本与非人脸样本两类分类问题,通 过对人脸 样本集和非人脸样本集的学习产生分类器 – 比如SVM,NN,再比如目前非常热门的Boosting方法
面部特征提取的主要方法 ( Face Alignment)
From the same person? Yes? No? …
没有你想象的那么简单!
How many individuals in this picture?
Part I :人脸识别研究概述
人脸识别的基本原理及其计 算模型探讨
图像生成过程
照相机成像原理
– 光源发出的光照射到物体上,物体表面点反 射这些光线,经过小孔/透镜直线传播到胶 片上 – 光强不同,反映为胶片的腐蚀程度
图象
计算机视觉
距离, 朝向, 质地等
描述
计算机图形学
图象
Image Processing Compter Vision Pattern Recognition
还涉及到生理学/心理学的一些知识!
Artificial Intelligence
人脸识别相关研究内容
生物特征识别
– 人脸、指纹、虹膜、视网膜、掌纹、
统计学习
– Eigenface – SVM, Boosting, NN, Bayesian等等
人脸识别的典型方法
基于几何特征的方法 模板匹配、可变形模板 基于神经网络的方法 弹性图匹配的方法 基于HMM的方法 基于统计模型的方法
– – – – Eigenface, Fisherface, subspace LDA等等 统计形状模型、统计纹理模型 双子空间贝叶斯判别方法 基于局部特征分析的方法(LFA)
拒绝通过
通过确认
确认系统流程
人脸识别用于验证场合的典型体系结构 (门禁系统)
人 脸 检 活动视频 测
分割出的 人脸
IC 读 卡机
身份号
特征提取
已知人脸 模型数据 库
装载模 型
当前人脸模型
验证
声称用户的参考模 板
拒识
No 超时? Yes 记录 “非法” 登 录企图
通过
记录该次登 录
解锁
基本概念与问题描述(续)
输入视频、数字图像文 件、扫描仪照片输入 声明的用 户身份 输入视频、 数字图像文 件、扫描仪照片输入 人脸检测与跟踪 人脸检测与跟踪
面部特征提取
面部特征提取
生成人脸模型
生成人脸模型
与库存所有已知 人脸模型比对
库存人脸 模型
与声称用户模型 比对
相似性排序
同一性判断
输入图片中人 脸的身份信息 识别系统流程
人脸识别的不足
– 安全性低,识别性能受外界条件的影响非常大
生物特征识别技术(Biometrics)
技术挑战
影响人脸图像表观的因素 人与摄像设备的位置关系(距离角度等) 光照环境条件 摄像设备 图像存储质量 年龄变化 意外损伤 饰物(眼镜帽子等) 化妆、整容 精神状态 健康状况 面部毛发(头发,胡须)
人脸检测的主要方法
人脸规则
– 人脸模式的变化满足一定的规律,所以可以归纳描述人脸特征的规 则,如灰度分布、比例关系、纹理信息等
模板匹配
– 固定模板,采用不同的匹配测度,将目标图象与标准模板相匹配。 通过阈值判定是否存在人脸 – 变形模板 模板中包含一些非固定的构件。采用参数化的曲线模型描 述模板, 用来逼近人脸图象的某些构件,如眼睛、鼻子和嘴唇等。 检测时利用这些曲线进行“弹性”匹配
基于几何特征的例子
建模:用面部关键特征的相对位置、大 小、形状、面积等参数来描述人脸 人脸图像f特征向量v v = (x1, x2,…, xn) 对所有已知人脸提取同样描述的几何特 征 D={v1, v2,.., vp} 待识别的人脸f提取的几何特征为vf 计算vf与D中所有vi的相似度s(vf,vi)(比如 欧式距离、cosine(.)等),进行排序 根据相似度最大的已知人脸的身份即可 判断待识别人脸的身份信息
Rule-based Modeling
– 积分投影曲线分析 – 峰谷特性分析 – Hough变换
Template matching
– – – – – 灰度模板匹配 Active Contour / Snake 可变形模板(Deformable template):参数优化 ASM/AAM——统计模型约束的参数优化 弹性图匹配(Face Bunch Graph Matching)
– 信息安全
– 家庭娱乐
– 特别值得关注:奥运安全
应用模式
典型具体应用
出入境管理
特点说明
过滤敏感人物(间谍、恐怖分子等)
应用领域
嫌疑人照片比对
公安系统用于确定犯罪嫌疑人身份
敏感人物智能监控
网上追逃 身份识 别 会议代表身份识别 关键场所视频监控 家政服务机器人 自动系统登陆 智能Agent 真实感虚拟游戏
人机交互(HCI) 人脸源自文库像编码/压缩 表情分析,情感计算 人脸动画 face animation 人脸属性分类
– 种族、性别、年龄
Attractiveness判别
Part I :人脸识别研究概述
我们为什么对人脸识别感兴趣?
为什么要做人脸识别?
多学科领域的挑战性难题
– – – – 模式识别:最典型、最困难的模式识别问题 人工智能:人类智能的基本体现 计算机视觉:实现人眼的功能 下一代人机交互
护照、身份证、驾照等各类证件查验
监控敏感人物(间谍、恐怖分子等)
在PDA等移动终端上进行现场比对 防止非法人员进入会场带来危险因素 如银行大厅,预警可能的不安全因素 能够识别家庭成员的智能机器人 自动识别用户身份,提供个性化界面 自动识别用户身份,提供个性化界面 提供真实感的人物面像,增加交互性 海关、港口、机要部门等查验持证人的身份是否合 法 防止替考问题 避免钥匙和密码被窃取造成失窃 避免单纯的密码被窃取造成信息被窃 方便,快捷,杜绝代考勤问题 避免单纯的密码被窃取造成财产损失 安全可靠的身份验证手段
光反射基本模型
光反射模型
– 比如Lambert反射模型(漫反射模型)
K为物体表面点漫反射系数 L为入射光强度
I K L cos( )
为光源方向与表面法向的夹角
数码摄像设备光强感知方法
光纤传播方式与传统相机相同,只是感光设备不同 数字图像传感器的工作原理:用感光原件感光,光信 号转化为电信号,通过放大器传送到相机的DSP芯片 计算,目前有三种主流感光原件:
让计算机不再“熟视无睹” 让计算机具有人类的情感
广泛的应用前景… 人脸识别相比其他生物特征识别的优势…
人脸识别的应用前景
– 国家公共安全
敏感人物智能监控、罪犯抓逃与比对、 门禁、出入境管理 电子商务、电子政务、 社会保险、信息系统 金融领域的持卡人身份验证 智能考勤系统 真实感游戏、虚拟社区 智能玩具、家政服务机器人 敏感人物监控、各类门禁 代表身份认证
人脸图像
于是我们有了人脸图像
– 人脸的特点
3D surface 表面基本满足漫反射条件 表面点的漫反射系数不同
识别的一般原理
输 入 图 像
人脸 检测 面部特征 点定位 人脸 建模 分类 判别 身 份 信 息
关键是特征提取和人脸建模,也就是采用什么样的特 征描述人脸的问题。而且对于基于光学图像的人脸识 别而言,这些特征必须是可以从图像中获得的。
人脸检测 面部特征定位 人脸识别/确认
问题分解
图像获取 人脸检测/跟踪 面部特征点定位 人脸特征建模 特征比对
– 计算人脸模型之间的相似度 – 排序输出
人脸识别技术性能评价方法
对识别问题
– 首选识别率
相似度最大的人脸是正确的比率
正确识别结果在前n候选中的比率
– 累积识别率曲线
问题描述与分解、基本概念、 涉及学科领域
输入
– 数字图像或者数字视频序列
摄像设备:摄像机、数码相机、摄像头等等 扫描仪 其它来源的图像/视频文件…
三类系统的不同输出
– 人脸检测:有没有人脸? – 人脸识别:这是谁的脸? – 人脸确认:这是Mona Lisa的脸吗?
识别问题 vs 确认问题
安全可靠的授权
国家安全 公共安全
人机交互
公共安全 教育 公共安全 信息安全 企业应用 金融安全 金融安全 信息安全 公共安全 人机交互
准考证查验 机要部门物理门禁 机要信息系统门禁 身份验 证 面像考勤系统 金融用户身份验证 电子商务身份验证
智能卡
会议代表身份验证 屏幕保护程序
防止非法人员进入会场带来危险因素 方便快捷的允许合法用户打开屏保
人脸识别与其他生物特征识别 的比较
生物特征识别:未来的身份验证方法!
– 指纹、人脸、虹膜、掌纹、视网膜、红外温谱 – 笔迹、步态、声纹
人脸识别的优点
– 可以隐蔽操作,特别适用于安全问题、罪犯监控与抓逃应用 ,这是其他生物特征识别技术不能替代的 – 非接触式采集,没有侵犯性,容易接受 – 方便、快捷、强大的事后追踪能力(普通人并不具备指纹、 虹膜、视网膜判别能力) – 更符合我们人类的识别习惯,可交互性强,一般人就可以进 行评判 – 设备成本较低(摄像头可望很快成为标准外设)