人脸识别关键技术及最新进展
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
人脸识别关键技术及最新进展
刘 军
2017年1月6日
报告提纲
人脸识别进展
人脸检测 人脸对齐 人脸识别
人脸识别进展
人脸识别系统框图
图像采集
人脸检测
人脸配准 预处理 特征提取 特征训练 匹配结果
人脸数据库
特征数据库
人脸识别进展
深度学习+大数据
报道单位 图片数量（百万） 个体数量（万）
脸谱公司(facebook) 谷歌公司(google) DeepID Face++ 腾讯优图 中科院自动化所 天津研究院
256 256
2 27 2
13
384
13
1024 10575
28
384
384
27
58
Max pooling
Soft-max loss
128 128
Max pooling
128
识别结果
Method HD-LBP + JB HD-LBP + LDA CBSR CRIPAC(Ours)
VR@FAR=0.1% 41.66% 36.12% 80.26% 86.18%
人脸检测
不同遮挡程度下的人脸检测
人脸检测
不同遮挡程度下的人脸检测
并不完全依赖于表像和结构信息 能够预测训练集合中没有的数据 具有较快的计算速度-1000帧/秒
人脸检测
不稳定， 忽大忽小
漏检， 误检
人脸检测
报告提纲
人脸识别进展
人脸检测 人脸对齐 人脸识别
人脸对齐
目前在在主流数据库上，我们得到了优于其他最新算法的 实验结果，速度可以达到每秒6800帧，（cpu：i7-4790k ，多线程：启用，模型大小：3.28M） 和目前主流方法比较：
谷歌照片应 用误把黑人 标记成“大 猩猩”
人脸识别进展
个体数目和图片数目同等重要
2008年公安部一所千万级大规模人脸识别评测 无法检测到很多高清晰图像中的人脸
明星、名人vs普通大众
明星、名人 浓眉大眼、五官端正
普通大众
报告提纲
人脸识别进展
人脸检测 人脸对齐 人脸识别
人脸检测
基于深度分割的人脸检测方法
Method
TSPM ESR RCPR SDM LBF LBF Fast CFSS 3DDFA 3DDFA+SDM ours
Common
8.22 5.28 6.18 5.57 4.95 5.38 4.73 6.15 5.53 6.73
Challenging
18.33 17.00 17.26 15.40 11.98 15.50 9.98 10.59 9.56 8.96
背景比较单一，前景具有一定相似性
明星、名人 浓眉大眼、五官端正
பைடு நூலகம்
普通大众
人脸检测
基于深度分割的人脸检测方法
背景比较单一，前景具有一定相似性
前景
背景
人脸检测
基于深度分割的人脸检测方法
背景比较单一，前景具有一定相似性 百度图像分割大赛
人脸检测
基于深度分割的人脸检测方法
背景比较单一，前景具有一定相似性
4.4 200 0.2 5 1 0.5 2
0.4 800 1.0 2 2 1.0 2
图片数量(200 vs 5); 个体数量(800 vs 2 )
人脸识别进展
个体数目和图片数目同等重要
2008年公安部一所千万级大规模人脸识别评测 无法检测到很多高清晰图像中的人脸
基于数据的人脸识别的弊端
对于训练集合中没有的样本往往束手无策
Full
10.20 7.58 8.35 7.50 6.32 7.37 5.76 7.01 6.31 7.13 70
FPS
120
320 3100 36
6800
报告提纲
人脸识别进展
人脸检测 人脸对齐 人脸识别
弱监督人脸识别
数据整理
来源 网络爬虫（百度，谷歌图片，Flickr） 人工采集 干扰因素 特征点标注不准确 数据不纯净
DIR@FAR=1%， Rank=1 18.07% 14.94% 28.90% 58.07%
弱监督人脸识别
技术上仍然有很大提升空间
我们算法是目前 基于深度学习的商 用算法中速度最 快的。
弱监督人脸识别
技术特点： 对光照、姿态、表情、年龄变化等因素 影响均具有很好的鲁棒性。
衷心感谢各位专家！ 敬请批评指导！
弱监督人脸识别
解决方法 筛选
人脸配准 数据
身份异常
识别
配准异常
人工辅助标注
弱监督人脸识别
基于深度网络的人脸识别方法
Input Conv1 Conv2 Conv3 Conv4 Conv5 Conv6 5 3 5
5 5
Fc1 Fc2
3
2
58
3 3
28
2
60 124 60 124
Max pooling
刘 军
2017年1月6日
报告提纲
人脸识别进展
人脸检测 人脸对齐 人脸识别
人脸识别进展
人脸识别系统框图
图像采集
人脸检测
人脸配准 预处理 特征提取 特征训练 匹配结果
人脸数据库
特征数据库
人脸识别进展
深度学习+大数据
报道单位 图片数量（百万） 个体数量（万）
脸谱公司(facebook) 谷歌公司(google) DeepID Face++ 腾讯优图 中科院自动化所 天津研究院
256 256
2 27 2
13
384
13
1024 10575
28
384
384
27
58
Max pooling
Soft-max loss
128 128
Max pooling
128
识别结果
Method HD-LBP + JB HD-LBP + LDA CBSR CRIPAC(Ours)
VR@FAR=0.1% 41.66% 36.12% 80.26% 86.18%
人脸检测
不同遮挡程度下的人脸检测
人脸检测
不同遮挡程度下的人脸检测
并不完全依赖于表像和结构信息 能够预测训练集合中没有的数据 具有较快的计算速度-1000帧/秒
人脸检测
不稳定， 忽大忽小
漏检， 误检
人脸检测
报告提纲
人脸识别进展
人脸检测 人脸对齐 人脸识别
人脸对齐
目前在在主流数据库上，我们得到了优于其他最新算法的 实验结果，速度可以达到每秒6800帧，（cpu：i7-4790k ，多线程：启用，模型大小：3.28M） 和目前主流方法比较：
谷歌照片应 用误把黑人 标记成“大 猩猩”
人脸识别进展
个体数目和图片数目同等重要
2008年公安部一所千万级大规模人脸识别评测 无法检测到很多高清晰图像中的人脸
明星、名人vs普通大众
明星、名人 浓眉大眼、五官端正
普通大众
报告提纲
人脸识别进展
人脸检测 人脸对齐 人脸识别
人脸检测
基于深度分割的人脸检测方法
Method
TSPM ESR RCPR SDM LBF LBF Fast CFSS 3DDFA 3DDFA+SDM ours
Common
8.22 5.28 6.18 5.57 4.95 5.38 4.73 6.15 5.53 6.73
Challenging
18.33 17.00 17.26 15.40 11.98 15.50 9.98 10.59 9.56 8.96
背景比较单一，前景具有一定相似性
明星、名人 浓眉大眼、五官端正
பைடு நூலகம்
普通大众
人脸检测
基于深度分割的人脸检测方法
背景比较单一，前景具有一定相似性
前景
背景
人脸检测
基于深度分割的人脸检测方法
背景比较单一，前景具有一定相似性 百度图像分割大赛
人脸检测
基于深度分割的人脸检测方法
背景比较单一，前景具有一定相似性
4.4 200 0.2 5 1 0.5 2
0.4 800 1.0 2 2 1.0 2
图片数量(200 vs 5); 个体数量(800 vs 2 )
人脸识别进展
个体数目和图片数目同等重要
2008年公安部一所千万级大规模人脸识别评测 无法检测到很多高清晰图像中的人脸
基于数据的人脸识别的弊端
对于训练集合中没有的样本往往束手无策
Full
10.20 7.58 8.35 7.50 6.32 7.37 5.76 7.01 6.31 7.13 70
FPS
120
320 3100 36
6800
报告提纲
人脸识别进展
人脸检测 人脸对齐 人脸识别
弱监督人脸识别
数据整理
来源 网络爬虫（百度，谷歌图片，Flickr） 人工采集 干扰因素 特征点标注不准确 数据不纯净
DIR@FAR=1%， Rank=1 18.07% 14.94% 28.90% 58.07%
弱监督人脸识别
技术上仍然有很大提升空间
我们算法是目前 基于深度学习的商 用算法中速度最 快的。
弱监督人脸识别
技术特点： 对光照、姿态、表情、年龄变化等因素 影响均具有很好的鲁棒性。
衷心感谢各位专家！ 敬请批评指导！
弱监督人脸识别
解决方法 筛选
人脸配准 数据
身份异常
识别
配准异常
人工辅助标注
弱监督人脸识别
基于深度网络的人脸识别方法
Input Conv1 Conv2 Conv3 Conv4 Conv5 Conv6 5 3 5
5 5
Fc1 Fc2
3
2
58
3 3
28
2
60 124 60 124
Max pooling