人脸图像质量评价ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
[1]
基本思想： 通过对图像的对比度、明亮度、清晰度和图像中人脸 位置信息等多种评价指标来综合评价人脸图像质量， 得出各自的评价系数(O～1.0)。然后再通过各系数所 占的权重(l ～100)进行加权计算。最后得出每幅图的 评价得分，从而选出质量最佳的图像。
人脸大小、 位置、角 度评价 人脸图像对 比度、清晰 度评价
求出归一化后的脸部矩形中心坐标（x,y)到人脸图 像中心的距离d。
3.
归一化准则：使人脸图像中心到其对角点的距离为 1。
4.
计算人脸大小评价系数 λ2=1-d
（3）人脸角度评价算法
1. 2.
输入双眼坐标（x1,y1）和（x2,y2） 根据双眼坐标求出眼睛的倾斜角度θ
3.
计算人脸大小评价系数λ3
（4）图像对比度评价算法
1.
输入双眼坐标，若 双眼坐标不在图像之内，直 接令其评价系数λ1=0.
2.
根据双眼坐标判断人脸矩形是否超出人脸图像 外，若超出令评价系数λ1=0.
根据双眼坐标求出人脸矩形面积S，若小于某个 阈值，则置λ1=0. 计算人脸大小评价系数
3.
4.
（2）人脸位置评价算法
1.
2.
输入双眼坐标，求出脸部矩形的中心坐标(x,y)
（6）图像清晰度评价算法
清晰度是人们从主观上描述图像质量的感受。 从频域的角度看．当一幅图像的高频分量不足 时，通常表现为模糊;而高频分量过多时又会 表现为粗糙。 大量的理论与实验都表明，相对平滑区域和纹 理区域、边缘在图像中识别物体时起着非常重 要的作用，图像的可视性也受到边缘区域发生 频率的影响。因此在计算图像清晰度时，特别 要重视图像中边缘区域的清晰程度对全图清晰 度的影响。
人脸图像质量评价算法介绍 ——多指标评价法
[1]
优点： 在传统质量评价指标上，结合人脸特征信息进 行综合评价，基本上符合人眼视觉系统(HVS)感 受，有不错的准确率和正确率，工程应用广泛， 有很多变形运用 缺点： 各评价指标的权重系统难以确定，须在大数据 库中进行调整
人脸图像质量评价算法介绍 ——人脸对称法[2，
图像是否 很清晰
保真度
实用性
加入质量评价后的人脸识别系统
可以有效改 善由于输入 图像质量过 低引起的错 误，节省系 统匹配时间
低质量图像
质量合格
人脸图像的获取手段
可见光
名称
示例
采集 手段
可见光CCD 或者CMOS
优点
缺点
可见光
1. 直观、自然 1. 受光照影响大 2. 识别精度高 2. 受人的姿态影 响大 3. 识别速度快 4. 采集成本低
1. 2. 3. 4.
计算图像的归一化直方图 求归 一化直方图的平均值： 求归 一化直方图的方差：
计算对比度评价系数
λ4=1-δ
（5）图像明亮度评价算法
适当的亮度是人们观察图像的基本条件，也是影响图像质量的 重要因素．亮度过强或过弱都会影响图像质量。
1. 2. 3. 4.
输入图像序列 计算图像 的灰度平均值 计算该幅图像的灰度平均值 计算图像明亮度评价系数λ5
1. 采集成本高 专用的三维 1. 抗光照变化 2. 不受姿态影响 2. 建模时间长 相机 3. 识别性能高 3. 识别速度慢
目前市场上的人脸识别技术产品。除了价格昂 贵的3维人脸技术产品外，基本都是基于可见光 图像的。 而基于可见光图像的人脸识别技术对环境光的 影响有着难以克服的缺陷，当识别时的环境光 与注册时的不同，识别性能会有较大下降，无 法满足实际系统的需要。 如何消除环境光照对人脸识别的影响成了困扰 人脸识别领域的最具挑战性的难题
（6）图像清晰度评价算法
1. 2.
输入图像序列 用sobel算子分别求出0，45，90，135度方向的 边缘图像
3. 4. 5. 6.
求图像的
合成边缘强度
求合成边缘图像的平均图像 分别求 和 的平均值 和
计算图像清晰度评价系数
（7）评价指标综合
1. 2.
若λ1=0，则score=0。 若λ1≠0，则
score=w1*λ1+w2*λ2+w3*λ3+w4*λ4+w5*λ5+w6* λ6
其中: w1+w2+w3+w4+w5+w6=100; λ1+λ2+λ3+λ4+λ5+λ6=1.0; w由人为确定， 亦可由训练过程决定
（8）实验结果
左图为测试用图， 分辨率为320*240， 灰度级别都为256， 下表为各图像的评 价系数值及最后得 分。
输入图像
输出结果
人脸图像质量评价算法介绍 ——多指标评价法
[1]
假定人脸识别系统在提供图像的同时也提供了图像中人脸 的双眼位置坐标。通过双眼位置坐标可以统计比例，求得 人脸矩形位置。
h、t、b为人脸矩形与 人眼距离的比例关系， h=0．54，t=0．43， b=1．85。 D为双眼的距离
（1）人脸位置评价算法
人脸图像质量评价
传统图像质量评价： 相对于原始图像，如何对一幅复原图像进行质 量评价。 人脸图像质量评价： 研究如何从一组几乎是同时拍摄的图像群中， 通过图像质量评价，筛选较为合适的样本用于 识别。
人脸图像质量的内涵
? ??
三要素
源特性
图像源的内在特性，比 如有创伤的脸会产生质 量较差的图像 一副图像是 不是很适合 作为生物识 别系统的输 入，比如带 表情或者姿 态的人脸对 有些系统就 会无法识别。
人脸图像质量标准——ISO/IEC 19794-5
不同质量图像示例
影响人脸图像质量的三个主要因素
模糊 (out of focus) 非正面图像 (non-frontal posside lighting)
符合ISO/IEC 19794-5标准的标准人脸图像
人脸图像质量评价算法介绍 ——多指标评价法
3]
1.
基本思想：
采用Gabor小波作为基本特征来估计图像中
人脸对称性，并用来评价光照和姿态情况。
2.
采用离散余弦变换(DCT) 和离散余弦反变换
(IDCT)来计算图像模糊度（degree of outof-focus）或者清晰度（sharpness) 。
人脸图像的获取手段
近红外
名称
示例
采集 手段
优点
缺点
近红外
在CCD或者 1. 抗光照变化 1. 识别精度有限 CMOS周围 2. 采集成本较 2. 不够直观、自 低 然 加红外灯， 主动补光 3. 识别速度快 3. 受人的姿态影 响大
人脸图像的获取手段
三维人脸
名称
示例
采集 手段
优点
缺点
三维人脸
基本思想： 通过对图像的对比度、明亮度、清晰度和图像中人脸 位置信息等多种评价指标来综合评价人脸图像质量， 得出各自的评价系数(O～1.0)。然后再通过各系数所 占的权重(l ～100)进行加权计算。最后得出每幅图的 评价得分，从而选出质量最佳的图像。
人脸大小、 位置、角 度评价 人脸图像对 比度、清晰 度评价
求出归一化后的脸部矩形中心坐标（x,y)到人脸图 像中心的距离d。
3.
归一化准则：使人脸图像中心到其对角点的距离为 1。
4.
计算人脸大小评价系数 λ2=1-d
（3）人脸角度评价算法
1. 2.
输入双眼坐标（x1,y1）和（x2,y2） 根据双眼坐标求出眼睛的倾斜角度θ
3.
计算人脸大小评价系数λ3
（4）图像对比度评价算法
1.
输入双眼坐标，若 双眼坐标不在图像之内，直 接令其评价系数λ1=0.
2.
根据双眼坐标判断人脸矩形是否超出人脸图像 外，若超出令评价系数λ1=0.
根据双眼坐标求出人脸矩形面积S，若小于某个 阈值，则置λ1=0. 计算人脸大小评价系数
3.
4.
（2）人脸位置评价算法
1.
2.
输入双眼坐标，求出脸部矩形的中心坐标(x,y)
（6）图像清晰度评价算法
清晰度是人们从主观上描述图像质量的感受。 从频域的角度看．当一幅图像的高频分量不足 时，通常表现为模糊;而高频分量过多时又会 表现为粗糙。 大量的理论与实验都表明，相对平滑区域和纹 理区域、边缘在图像中识别物体时起着非常重 要的作用，图像的可视性也受到边缘区域发生 频率的影响。因此在计算图像清晰度时，特别 要重视图像中边缘区域的清晰程度对全图清晰 度的影响。
人脸图像质量评价算法介绍 ——多指标评价法
[1]
优点： 在传统质量评价指标上，结合人脸特征信息进 行综合评价，基本上符合人眼视觉系统(HVS)感 受，有不错的准确率和正确率，工程应用广泛， 有很多变形运用 缺点： 各评价指标的权重系统难以确定，须在大数据 库中进行调整
人脸图像质量评价算法介绍 ——人脸对称法[2，
图像是否 很清晰
保真度
实用性
加入质量评价后的人脸识别系统
可以有效改 善由于输入 图像质量过 低引起的错 误，节省系 统匹配时间
低质量图像
质量合格
人脸图像的获取手段
可见光
名称
示例
采集 手段
可见光CCD 或者CMOS
优点
缺点
可见光
1. 直观、自然 1. 受光照影响大 2. 识别精度高 2. 受人的姿态影 响大 3. 识别速度快 4. 采集成本低
1. 2. 3. 4.
计算图像的归一化直方图 求归 一化直方图的平均值： 求归 一化直方图的方差：
计算对比度评价系数
λ4=1-δ
（5）图像明亮度评价算法
适当的亮度是人们观察图像的基本条件，也是影响图像质量的 重要因素．亮度过强或过弱都会影响图像质量。
1. 2. 3. 4.
输入图像序列 计算图像 的灰度平均值 计算该幅图像的灰度平均值 计算图像明亮度评价系数λ5
1. 采集成本高 专用的三维 1. 抗光照变化 2. 不受姿态影响 2. 建模时间长 相机 3. 识别性能高 3. 识别速度慢
目前市场上的人脸识别技术产品。除了价格昂 贵的3维人脸技术产品外，基本都是基于可见光 图像的。 而基于可见光图像的人脸识别技术对环境光的 影响有着难以克服的缺陷，当识别时的环境光 与注册时的不同，识别性能会有较大下降，无 法满足实际系统的需要。 如何消除环境光照对人脸识别的影响成了困扰 人脸识别领域的最具挑战性的难题
（6）图像清晰度评价算法
1. 2.
输入图像序列 用sobel算子分别求出0，45，90，135度方向的 边缘图像
3. 4. 5. 6.
求图像的
合成边缘强度
求合成边缘图像的平均图像 分别求 和 的平均值 和
计算图像清晰度评价系数
（7）评价指标综合
1. 2.
若λ1=0，则score=0。 若λ1≠0，则
score=w1*λ1+w2*λ2+w3*λ3+w4*λ4+w5*λ5+w6* λ6
其中: w1+w2+w3+w4+w5+w6=100; λ1+λ2+λ3+λ4+λ5+λ6=1.0; w由人为确定， 亦可由训练过程决定
（8）实验结果
左图为测试用图， 分辨率为320*240， 灰度级别都为256， 下表为各图像的评 价系数值及最后得 分。
输入图像
输出结果
人脸图像质量评价算法介绍 ——多指标评价法
[1]
假定人脸识别系统在提供图像的同时也提供了图像中人脸 的双眼位置坐标。通过双眼位置坐标可以统计比例，求得 人脸矩形位置。
h、t、b为人脸矩形与 人眼距离的比例关系， h=0．54，t=0．43， b=1．85。 D为双眼的距离
（1）人脸位置评价算法
人脸图像质量评价
传统图像质量评价： 相对于原始图像，如何对一幅复原图像进行质 量评价。 人脸图像质量评价： 研究如何从一组几乎是同时拍摄的图像群中， 通过图像质量评价，筛选较为合适的样本用于 识别。
人脸图像质量的内涵
? ??
三要素
源特性
图像源的内在特性，比 如有创伤的脸会产生质 量较差的图像 一副图像是 不是很适合 作为生物识 别系统的输 入，比如带 表情或者姿 态的人脸对 有些系统就 会无法识别。
人脸图像质量标准——ISO/IEC 19794-5
不同质量图像示例
影响人脸图像质量的三个主要因素
模糊 (out of focus) 非正面图像 (non-frontal posside lighting)
符合ISO/IEC 19794-5标准的标准人脸图像
人脸图像质量评价算法介绍 ——多指标评价法
3]
1.
基本思想：
采用Gabor小波作为基本特征来估计图像中
人脸对称性，并用来评价光照和姿态情况。
2.
采用离散余弦变换(DCT) 和离散余弦反变换
(IDCT)来计算图像模糊度（degree of outof-focus）或者清晰度（sharpness) 。
人脸图像的获取手段
近红外
名称
示例
采集 手段
优点
缺点
近红外
在CCD或者 1. 抗光照变化 1. 识别精度有限 CMOS周围 2. 采集成本较 2. 不够直观、自 低 然 加红外灯， 主动补光 3. 识别速度快 3. 受人的姿态影 响大
人脸图像的获取手段
三维人脸
名称
示例
采集 手段
优点
缺点
三维人脸