人脸特征点定及其应用26页PPT
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
CExMxMT
计算相似度
自适应阈值分割
（二值化）
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
AAM的缺陷
对彩色图像进行特征点定位时无疑忽略了色彩信息的作 用，可以充分利用肤色信息，使搜索过程加速。
一种基于肤色模型的人眼定位方法 眼睛在二值图像中的双孔结构
基于灰度及其变化信息 基于可变形模板 基于神经网络 基于Active Contour Model（Snake，主动
轮廓模型） 基于Active Shape Model（ASM，主动形
状模型） 基于Active Appearance Model（AAM，主
动表观模型）
由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法
基于肤色信息的AAM改进方法
高斯分布
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
肤色模型
所考察的像素和肤色的相似度：
象素的矢量 xC,rCbT 与高斯分布中心的距离
P(Cr,Cb)exp12xmTC1xm xCr,CbT，ME(x)
6.939 9.351 6.376 9.004 8.782 4.224 8.684 6.213 5.951
65.6% 56.8% 65.5% 60.6% 59.9% 80.7% 62.5% 71.4% 73.5%
平均改进百分比
67.4％
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
人物肖像画自动生成系统
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
用基于脸色信息的人眼 定位方法确定人眼
根据眼睛和脸部区域的关系获得 脸部区域范围，缩小搜索窗口
根据人眼位置确定AAM 模型的初始搜索姿态
使用AAM搜索算法， 得到特征点精确定位
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
AAM改进方法
基于肤色模型的人眼定位方法
对二值图进行腐蚀 运算，去掉各区域
之间的细连线
用边缘跟踪算法 跟踪各区域的轮廓
对所有区域的轮廓 将二值图与“掩盖图” 进行种子填充，得 求异或，即可得到
到“掩盖图” 二值图中的所有孔
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
14.9% 85.1%
粗略定位时间 精细定位时间
有很大的改进空间
基于肤色信息的AAM改进方法
肤色模型
采用YCrCb彩色空间进行分析
Y反映的是图像的明度，故只Cr,Cb分量分 析可以不受图像的亮度影响。
肤色像素在Cr-Cb空间中的分布相对很集中，可以 用Gauss分布来描述
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
1 k0
பைடு நூலகம்
对每个候选眼对进行模板 匹配，计算平均眼对灰度 与候选眼对所在区域灰度
的相似度
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
改进： 确定眼睛位置后，根据五官位置分布的规律性， 可以由此确定人脸的位置及方向，从而为AAM模 型的搜索提供一个较好的初始位置和大小，并且 可以缩小搜索窗口，从而减少AAM的搜索时间
人脸特征点定位及其应用
整体介绍
主要内容：
当前常用的特征点定位方法，主要介绍AAM。 提出在人脸特征定位中基于肤色信息的AAM模型
的改进方法。 介绍一个肖像画生成系统的设计及实现。
人脸特征点定位的概念
特征点定位系 统
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
常用的几种特征点 定位算法
AAM改进方法
基于肤色模型的人眼定 位方法
获取获候取选候眼选对眼，，将对候每选个眼两两配对
若符孔合进下行列检条测件若，满则足为以候选眼对：
1.两下包条围件盒则不为相候交选眼：
2.两包1.平围均盒亮中度心小连于线8斜0率不超过阈值
3.两包2.包围围盒盒大大小小不超过 一定范围 阈值D
k0,
常用的几种特征点定位方法
基于AAM (Active Appearance Model)模型
AAM模型
形状
x x Q s c Q s 轮廓变化模式矩阵
脸部纹理 g g Q g c Q g 脸部纹理变化模式矩阵
由控制参数矢量c控制形状和纹理的变化，调节c可以得到 不同的形状和脸部纹理，从而合成不同的人脸
眼睛的双孔结构
基于肤色信息的AAM改进方法
AAM改进方法
基于肤色模型的人眼定位方法
人脸特征中点对心计定二的位值算5及图*相5其进邻似应行域度用去内噪统－音计使－处算肤用点理色法沈自保，象育进肤就动素平行色是的阈P二在个值B以值9数分9每，化01割一超10个过73肤半◆色数象时素中为心
基于肤色信息的AAM改进方法
系统结构
肖像画自动生成系统
头发处理
合成
脸部器官处理
开发工具： Visual C++ 6.0，AAM-API
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
人物肖像画自动生成系统
脸部器官处理过程
特征点定位 使用84个特征点
基于肤色信息的AAM改进方法
性能比较
图 原模型定 改进后模 改进量占原
片
位间 型定位时间 来的百分比
1 22.662
5.221
77.0%
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1
0 总搜索时间比较
2
3
4
原方法
5
6
改进后的方 7 法
8
9
10
20.178 21.621 18.488 22.945 21.924 21.850 23.139 21.747 22.422
调节c可以合成不同的人脸
常用的几种特征点定位方法
AAM搜索过程
对每一个比例、 位置、旋转角度 进行迭代搜索
粗略定位
得到粗 略定位
原图像
由计算公式 可得各特征 点的位置
得到 精细 定位
不断调整C，使 合成人脸的灰度 与图像灰度差达 到最小值
精细定位
常用的几种特征点定位方法
AAM搜索时间分析
计算相似度
自适应阈值分割
（二值化）
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
AAM的缺陷
对彩色图像进行特征点定位时无疑忽略了色彩信息的作 用，可以充分利用肤色信息，使搜索过程加速。
一种基于肤色模型的人眼定位方法 眼睛在二值图像中的双孔结构
基于灰度及其变化信息 基于可变形模板 基于神经网络 基于Active Contour Model（Snake，主动
轮廓模型） 基于Active Shape Model（ASM，主动形
状模型） 基于Active Appearance Model（AAM，主
动表观模型）
由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法
基于肤色信息的AAM改进方法
高斯分布
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
肤色模型
所考察的像素和肤色的相似度：
象素的矢量 xC,rCbT 与高斯分布中心的距离
P(Cr,Cb)exp12xmTC1xm xCr,CbT，ME(x)
6.939 9.351 6.376 9.004 8.782 4.224 8.684 6.213 5.951
65.6% 56.8% 65.5% 60.6% 59.9% 80.7% 62.5% 71.4% 73.5%
平均改进百分比
67.4％
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
人物肖像画自动生成系统
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
用基于脸色信息的人眼 定位方法确定人眼
根据眼睛和脸部区域的关系获得 脸部区域范围，缩小搜索窗口
根据人眼位置确定AAM 模型的初始搜索姿态
使用AAM搜索算法， 得到特征点精确定位
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
AAM改进方法
基于肤色模型的人眼定位方法
对二值图进行腐蚀 运算，去掉各区域
之间的细连线
用边缘跟踪算法 跟踪各区域的轮廓
对所有区域的轮廓 将二值图与“掩盖图” 进行种子填充，得 求异或，即可得到
到“掩盖图” 二值图中的所有孔
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
14.9% 85.1%
粗略定位时间 精细定位时间
有很大的改进空间
基于肤色信息的AAM改进方法
肤色模型
采用YCrCb彩色空间进行分析
Y反映的是图像的明度，故只Cr,Cb分量分 析可以不受图像的亮度影响。
肤色像素在Cr-Cb空间中的分布相对很集中，可以 用Gauss分布来描述
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
1 k0
பைடு நூலகம்
对每个候选眼对进行模板 匹配，计算平均眼对灰度 与候选眼对所在区域灰度
的相似度
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
改进： 确定眼睛位置后，根据五官位置分布的规律性， 可以由此确定人脸的位置及方向，从而为AAM模 型的搜索提供一个较好的初始位置和大小，并且 可以缩小搜索窗口，从而减少AAM的搜索时间
人脸特征点定位及其应用
整体介绍
主要内容：
当前常用的特征点定位方法，主要介绍AAM。 提出在人脸特征定位中基于肤色信息的AAM模型
的改进方法。 介绍一个肖像画生成系统的设计及实现。
人脸特征点定位的概念
特征点定位系 统
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
常用的几种特征点 定位算法
AAM改进方法
基于肤色模型的人眼定 位方法
获取获候取选候眼选对眼，，将对候每选个眼两两配对
若符孔合进下行列检条测件若，满则足为以候选眼对：
1.两下包条围件盒则不为相候交选眼：
2.两包1.平围均盒亮中度心小连于线8斜0率不超过阈值
3.两包2.包围围盒盒大大小小不超过 一定范围 阈值D
k0,
常用的几种特征点定位方法
基于AAM (Active Appearance Model)模型
AAM模型
形状
x x Q s c Q s 轮廓变化模式矩阵
脸部纹理 g g Q g c Q g 脸部纹理变化模式矩阵
由控制参数矢量c控制形状和纹理的变化，调节c可以得到 不同的形状和脸部纹理，从而合成不同的人脸
眼睛的双孔结构
基于肤色信息的AAM改进方法
AAM改进方法
基于肤色模型的人眼定位方法
人脸特征中点对心计定二的位值算5及图*相5其进邻似应行域度用去内噪统－音计使－处算肤用点理色法沈自保，象育进肤就动素平行色是的阈P二在个值B以值9数分9每，化01割一超10个过73肤半◆色数象时素中为心
基于肤色信息的AAM改进方法
系统结构
肖像画自动生成系统
头发处理
合成
脸部器官处理
开发工具： Visual C++ 6.0，AAM-API
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
人物肖像画自动生成系统
脸部器官处理过程
特征点定位 使用84个特征点
基于肤色信息的AAM改进方法
性能比较
图 原模型定 改进后模 改进量占原
片
位间 型定位时间 来的百分比
1 22.662
5.221
77.0%
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1
0 总搜索时间比较
2
3
4
原方法
5
6
改进后的方 7 法
8
9
10
20.178 21.621 18.488 22.945 21.924 21.850 23.139 21.747 22.422
调节c可以合成不同的人脸
常用的几种特征点定位方法
AAM搜索过程
对每一个比例、 位置、旋转角度 进行迭代搜索
粗略定位
得到粗 略定位
原图像
由计算公式 可得各特征 点的位置
得到 精细 定位
不断调整C，使 合成人脸的灰度 与图像灰度差达 到最小值
精细定位
常用的几种特征点定位方法
AAM搜索时间分析