人脸图像质量评价
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
求出归一化后的脸部矩形中心坐标（x,y)到人脸图 像中心的距离d。
2.
3.
归一化准则：使人脸图像中心到其对角点的距离为 1。
4.
计算人脸大小评价系数 λ2=1-d
（3）人脸角度评价算法
输入双眼坐标（x1,y1）和（x2,y2） 根据双眼坐标求出眼睛的倾斜角度θ
1. 2.
3.
计算人脸大小评价系数λ3
人脸图像质量标准——ISO/IEC 19794-5
不同质量图像示例
影响人脸图像质量的三个主要因素
模糊 (out of focus) 非正面图像 (non-frontal posture)
???
侧面照明 (side lighting)
符合ISO/IEC 19794-5标准的标准人脸图像
人脸图像质量评价算法介绍 ——多指标评价法[1]
（6）图像清晰度评价算法
1. 2.
输入图像序列 用sobel算子分别求出0，45，90，135度方向的 边缘图像
3. 4. 5. 6.
求图像的
合成边缘强度
求合成边缘图像的平均图像 分别求 和 的平均值 和
计算图像清晰度评价系数
（7）评价指标综合
1. 2.
若λ1=0，则score=0。 若λ1≠0，则
人脸图像质量评价算法介绍 ——多指标评价法[1]
优点： 在传统质量评价指标上，结合人脸特征信息进 行综合评价，基本上符合人眼视觉系统(HVS)感 受，有不错的准确率和正确率，工程应用广泛， 有很多变形运用 缺点： 各评价指标的权重系统难以确定，须在大数据 库中进行调整
人脸图像质量评价算法介绍 ——人脸对称法[2，3]
score=w1*λ1+w2*λ2+w3*λ3+w4*λ4+w5*λ5+w6* λ6
其中: w1+w2+w3+w4+w5+w6=100; λ1+λ2+λ3+λ4+λ5+λ6=1.0; w由人为确定， 亦可由训练过程决定
（8）实验结果
左图为测试用图， 分辨率为320*240， 灰度级别都为256， 下表为各图像的评 价系数值及最后得 分。
人脸图像的获取手段
三维人脸
名称
示例
采集 手段
优点
缺点
三维人脸
1. 采集成本高 专用的三维 1. 抗光照变化 2. 不受姿态影响 2. 建模时间长 相机 3. 识别性能高 3. 识别速度慢
目前市场上的人脸识别技术产品。除了价格昂 贵的3维人脸技术产品外，基本都是基于可见光 图像的。 而基于可见光图像的人脸识别技术对环境光的 影响有着难以克服的缺陷，当识别时的环境光 与注册时的不同，识别性能会有较大下降，无 法满足实际系统的需要。 如何消除环境光照对人脸识别的影响成了困扰 人脸识别领域的最具挑战性的难题
*from FERET database
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
该算子对全局光照变化不敏 感而被广泛的应用在人脸识 别算法中，但是其对光照的 方向很敏感，因此可以用来 评估非对称光照 5个不同方向的gabor滤波器 （第二行是第一行对应的镜相滤波器）
基本思想： 通过对图像的对比度、明亮度、清晰度和图像中人脸 位置信息等多种评价指标来综合评价人脸图像质量， 得出各自的评价系数(O～1.0)。然后再通过各系数所 占的权重(l ～100)进行加权计算。最后得出每幅图的 评价得分，从而选出质量最佳的图像。
人脸大小、 位置、角 度评价 人脸图像对 比度、清晰 度评价
人脸左半区 域和右半区 域的差异能 够直观描述 出人脸的非 对称性，如 果相差为0 的话， 则说 明是人脸是 严格al lighting）
严重的人脸 非对称性 （severe facial asymmetry）
不合适的人脸姿态 （improper facial pose）
图像的模糊化(out of focus)意味着高频分量的损 失，因此选择DCT在频率域上来评价图像的清晰 度。 图像清晰度(sharpness)是影响图像质量的又一重 要因素，清晰度越高，意味着人脸区域的细节 更多。
（2）基于DCT变换的清晰度研究 （ DCT-Based Sharpness ）
低质量图像
质量合格
人脸图像的获取手段
可见光
名称
示例
采集 手段
可见光CCD 或者CMOS
优点
缺点
可见光
1. 直观、自然 1. 受光照影响大 2. 识别精度高 2. 受人的姿态影 3. 识别速度快 响大 4. 采集成本低
人脸图像的获取手段
近红外
名称
示例
采集 手段
优点
缺点
近红外
在CCD或者 1. 抗光照变化 1. 识别精度有限 CMOS周围 2. 采集成本较低 2. 不够直观、自 然 加红外灯， 3. 识别速度快 3. 受人的姿态影 主动补光 响大
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
非正面照明（non frontal lighting）
*from FERET database
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
不合适的人脸姿态（improper facial pose)
1.
输入双眼坐标，若 双眼坐标不在图像之内，直 接令其评价系数λ1=0.
2.
根据双眼坐标判断人脸矩形是否超出人脸图像 外，若超出令评价系数λ1=0.
根据双眼坐标求出人脸矩形面积S，若小于某个 阈值，则置λ1=0. 计算人脸大小评价系数
3.
4.
（2）人脸位置评价算法
1.
输入双眼坐标，求出脸部矩形的中心坐标(x,y)
输入图像
输出结果
人脸图像质量评价算法介绍 ——多指标评价法[1]
假定人脸识别系统在提供图像的同时也提供了图像中人脸 的双眼位置坐标。通过双眼位置坐标可以统计比例，求得 人脸矩形位置。
h、t、b为人脸矩形与 人眼距离的比例关系， h=0．54，t=0．43， b=1．85。 D为双眼的距离
（1）人脸位置评价算法
基本思想：
采用Gabor小波作为基本特征来估计图像中
人脸对称性，并用来评价光照和姿态情况。
1.
2.
采用离散余弦变换(DCT) 和离散余弦反变换
(IDCT)来计算图像模糊度（degree of out-offocus）或者清晰度（sharpness) 。
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
（4）图像对比度评价算法
1. 2. 3. 4.
计算图像的归一化直方图 求归 一化直方图的平均值： 求归 一化直方图的方差：
计算对比度评价系数
λ4=1-δ
（5）图像明亮度评价算法
适当的亮度是人们观察图像的基本条件，也是影响图像质量的 重要因素．亮度过强或过弱都会影响图像质量。
1. 2. 3. 4.
输入图像序列 计算图像 的灰度平均值 计算该幅图像的灰度平均值 计算图像明亮度评价系数λ5
（6）图像清晰度评价算法
清晰度是人们从主观上描述图像质量的感受。 从频域的角度看．当一幅图像的高频分量不足 时，通常表现为模糊;而高频分量过多时又会 表现为粗糙。 大量的理论与实验都表明，相对平滑区域和纹 理区域、边缘在图像中识别物体时起着非常重 要的作用，图像的可视性也受到边缘区域发生 频率的影响。因此在计算图像清晰度时，特别 要重视图像中边缘区域的清晰程度对全图清晰 度的影响。
人脸图像质量的内涵
???
三要素
源特性
图像源的内在特性，比 如有创伤的脸会产生质 量较差的图像 一副图像是 不是很适合 作为生物识 别系统的输 入，比如带 表情或者姿 态的人脸对 有些系统就 会无法识别。
图像是否 很清晰
保真度
实用性
加入质量评价后的人脸识别系统
可以有效改 善由于输入 图像质量过 低引起的错 误，节省系 统匹配时间
正脸图像质量评价
Frontal face image quality assessment
电子工程学院
020751班
陶明亮
传统图像质量评价： 相对于原始图像，如何对一幅复原图像进行质 量评价。 人脸图像质量评价： 研究如何从一组几乎是同时拍摄的图像群中， 通过图像质量评价，筛选较为合适的样本用于 识别。
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
1.
2.
5对镜相Gabor滤波器分别作用在一幅人 脸图像的左右半脸区域 根据左右区域的响应差异值来判定人脸 的对称性
差值越大， 越不对称
（2）基于DCT变换的清晰度研究 （ DCT-Based Sharpness ）
IDCT变换
输入图像I
DCT变换
D根据预先
设定的值来 去除DCT系 数
变换
输出图像R
清晰度计算
差值越大， 清晰度越 高
人脸图像质量评价算法介绍 ——人脸对称法[2，3]
优点： 方法简便易行，有不错的正确率 缺点： 评价指标过少，无法覆盖所有情况
参考文献
[1]胡杨庆.童卫青.人脸图像质量评价法.现代计算机.2007， 12（237）: 43-49 [2]高修峰.张培仁.人脸图像质量评估标准．小型微型计算 机系统.2009，1(1)：95-99 [3] Jitao Sang, Zhen Lei, and Stan Z. Li，Face Image Quality Evaluation for ISO/IEC Standards 19794-5 and 29794-5, M. Tistarelli and M.S. Nixon (Eds.): ICB 2009, LNCS 5558, pp. 229–238(2009).
2.
3.
归一化准则：使人脸图像中心到其对角点的距离为 1。
4.
计算人脸大小评价系数 λ2=1-d
（3）人脸角度评价算法
输入双眼坐标（x1,y1）和（x2,y2） 根据双眼坐标求出眼睛的倾斜角度θ
1. 2.
3.
计算人脸大小评价系数λ3
人脸图像质量标准——ISO/IEC 19794-5
不同质量图像示例
影响人脸图像质量的三个主要因素
模糊 (out of focus) 非正面图像 (non-frontal posture)
???
侧面照明 (side lighting)
符合ISO/IEC 19794-5标准的标准人脸图像
人脸图像质量评价算法介绍 ——多指标评价法[1]
（6）图像清晰度评价算法
1. 2.
输入图像序列 用sobel算子分别求出0，45，90，135度方向的 边缘图像
3. 4. 5. 6.
求图像的
合成边缘强度
求合成边缘图像的平均图像 分别求 和 的平均值 和
计算图像清晰度评价系数
（7）评价指标综合
1. 2.
若λ1=0，则score=0。 若λ1≠0，则
人脸图像质量评价算法介绍 ——多指标评价法[1]
优点： 在传统质量评价指标上，结合人脸特征信息进 行综合评价，基本上符合人眼视觉系统(HVS)感 受，有不错的准确率和正确率，工程应用广泛， 有很多变形运用 缺点： 各评价指标的权重系统难以确定，须在大数据 库中进行调整
人脸图像质量评价算法介绍 ——人脸对称法[2，3]
score=w1*λ1+w2*λ2+w3*λ3+w4*λ4+w5*λ5+w6* λ6
其中: w1+w2+w3+w4+w5+w6=100; λ1+λ2+λ3+λ4+λ5+λ6=1.0; w由人为确定， 亦可由训练过程决定
（8）实验结果
左图为测试用图， 分辨率为320*240， 灰度级别都为256， 下表为各图像的评 价系数值及最后得 分。
人脸图像的获取手段
三维人脸
名称
示例
采集 手段
优点
缺点
三维人脸
1. 采集成本高 专用的三维 1. 抗光照变化 2. 不受姿态影响 2. 建模时间长 相机 3. 识别性能高 3. 识别速度慢
目前市场上的人脸识别技术产品。除了价格昂 贵的3维人脸技术产品外，基本都是基于可见光 图像的。 而基于可见光图像的人脸识别技术对环境光的 影响有着难以克服的缺陷，当识别时的环境光 与注册时的不同，识别性能会有较大下降，无 法满足实际系统的需要。 如何消除环境光照对人脸识别的影响成了困扰 人脸识别领域的最具挑战性的难题
*from FERET database
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
该算子对全局光照变化不敏 感而被广泛的应用在人脸识 别算法中，但是其对光照的 方向很敏感，因此可以用来 评估非对称光照 5个不同方向的gabor滤波器 （第二行是第一行对应的镜相滤波器）
基本思想： 通过对图像的对比度、明亮度、清晰度和图像中人脸 位置信息等多种评价指标来综合评价人脸图像质量， 得出各自的评价系数(O～1.0)。然后再通过各系数所 占的权重(l ～100)进行加权计算。最后得出每幅图的 评价得分，从而选出质量最佳的图像。
人脸大小、 位置、角 度评价 人脸图像对 比度、清晰 度评价
人脸左半区 域和右半区 域的差异能 够直观描述 出人脸的非 对称性，如 果相差为0 的话， 则说 明是人脸是 严格al lighting）
严重的人脸 非对称性 （severe facial asymmetry）
不合适的人脸姿态 （improper facial pose）
图像的模糊化(out of focus)意味着高频分量的损 失，因此选择DCT在频率域上来评价图像的清晰 度。 图像清晰度(sharpness)是影响图像质量的又一重 要因素，清晰度越高，意味着人脸区域的细节 更多。
（2）基于DCT变换的清晰度研究 （ DCT-Based Sharpness ）
低质量图像
质量合格
人脸图像的获取手段
可见光
名称
示例
采集 手段
可见光CCD 或者CMOS
优点
缺点
可见光
1. 直观、自然 1. 受光照影响大 2. 识别精度高 2. 受人的姿态影 3. 识别速度快 响大 4. 采集成本低
人脸图像的获取手段
近红外
名称
示例
采集 手段
优点
缺点
近红外
在CCD或者 1. 抗光照变化 1. 识别精度有限 CMOS周围 2. 采集成本较低 2. 不够直观、自 然 加红外灯， 3. 识别速度快 3. 受人的姿态影 主动补光 响大
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
非正面照明（non frontal lighting）
*from FERET database
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
不合适的人脸姿态（improper facial pose)
1.
输入双眼坐标，若 双眼坐标不在图像之内，直 接令其评价系数λ1=0.
2.
根据双眼坐标判断人脸矩形是否超出人脸图像 外，若超出令评价系数λ1=0.
根据双眼坐标求出人脸矩形面积S，若小于某个 阈值，则置λ1=0. 计算人脸大小评价系数
3.
4.
（2）人脸位置评价算法
1.
输入双眼坐标，求出脸部矩形的中心坐标(x,y)
输入图像
输出结果
人脸图像质量评价算法介绍 ——多指标评价法[1]
假定人脸识别系统在提供图像的同时也提供了图像中人脸 的双眼位置坐标。通过双眼位置坐标可以统计比例，求得 人脸矩形位置。
h、t、b为人脸矩形与 人眼距离的比例关系， h=0．54，t=0．43， b=1．85。 D为双眼的距离
（1）人脸位置评价算法
基本思想：
采用Gabor小波作为基本特征来估计图像中
人脸对称性，并用来评价光照和姿态情况。
1.
2.
采用离散余弦变换(DCT) 和离散余弦反变换
(IDCT)来计算图像模糊度（degree of out-offocus）或者清晰度（sharpness) 。
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
（4）图像对比度评价算法
1. 2. 3. 4.
计算图像的归一化直方图 求归 一化直方图的平均值： 求归 一化直方图的方差：
计算对比度评价系数
λ4=1-δ
（5）图像明亮度评价算法
适当的亮度是人们观察图像的基本条件，也是影响图像质量的 重要因素．亮度过强或过弱都会影响图像质量。
1. 2. 3. 4.
输入图像序列 计算图像 的灰度平均值 计算该幅图像的灰度平均值 计算图像明亮度评价系数λ5
（6）图像清晰度评价算法
清晰度是人们从主观上描述图像质量的感受。 从频域的角度看．当一幅图像的高频分量不足 时，通常表现为模糊;而高频分量过多时又会 表现为粗糙。 大量的理论与实验都表明，相对平滑区域和纹 理区域、边缘在图像中识别物体时起着非常重 要的作用，图像的可视性也受到边缘区域发生 频率的影响。因此在计算图像清晰度时，特别 要重视图像中边缘区域的清晰程度对全图清晰 度的影响。
人脸图像质量的内涵
???
三要素
源特性
图像源的内在特性，比 如有创伤的脸会产生质 量较差的图像 一副图像是 不是很适合 作为生物识 别系统的输 入，比如带 表情或者姿 态的人脸对 有些系统就 会无法识别。
图像是否 很清晰
保真度
实用性
加入质量评价后的人脸识别系统
可以有效改 善由于输入 图像质量过 低引起的错 误，节省系 统匹配时间
正脸图像质量评价
Frontal face image quality assessment
电子工程学院
020751班
陶明亮
传统图像质量评价： 相对于原始图像，如何对一幅复原图像进行质 量评价。 人脸图像质量评价： 研究如何从一组几乎是同时拍摄的图像群中， 通过图像质量评价，筛选较为合适的样本用于 识别。
（1）基于Gabor小波的人脸对称性 （Gabor-Based Facial Symmetry）
1.
2.
5对镜相Gabor滤波器分别作用在一幅人 脸图像的左右半脸区域 根据左右区域的响应差异值来判定人脸 的对称性
差值越大， 越不对称
（2）基于DCT变换的清晰度研究 （ DCT-Based Sharpness ）
IDCT变换
输入图像I
DCT变换
D根据预先
设定的值来 去除DCT系 数
变换
输出图像R
清晰度计算
差值越大， 清晰度越 高
人脸图像质量评价算法介绍 ——人脸对称法[2，3]
优点： 方法简便易行，有不错的正确率 缺点： 评价指标过少，无法覆盖所有情况
参考文献
[1]胡杨庆.童卫青.人脸图像质量评价法.现代计算机.2007， 12（237）: 43-49 [2]高修峰.张培仁.人脸图像质量评估标准．小型微型计算 机系统.2009，1(1)：95-99 [3] Jitao Sang, Zhen Lei, and Stan Z. Li，Face Image Quality Evaluation for ISO/IEC Standards 19794-5 and 29794-5, M. Tistarelli and M.S. Nixon (Eds.): ICB 2009, LNCS 5558, pp. 229–238(2009).