一种优化的自然光源下眼动视觉测量方法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 虹膜中心–内眼角向量法
图 1 为瘫痪病人在注视屏幕不同目标点时， 眼睛相应的状态。红色圆点表示虹膜中心在眼眶 中的位置，黄色圆点表示内眼角点在眼眶中的位 置，箭头表示“虹膜中心–眼角点”向量。可以看 到该眼动向量充分反映了瘫痪病人看向不同位置 时的眼球状态。实现对该向量的测量将有助于反 映病人内心的真实想法。图 2 为眼动向量示意图。
(c) 肤色检测
图8 优化算法定位效果
3 人眼定位
在得到原始图像后，即可进一步划分人眼
ROI。主流的人眼检测算法采用的也是基于 Haar-
like 特 征 的 Adaboost 方 法 ， 这 种 方 法 依 然 会 存 在
将非人眼目标误检为人眼的情况。因此，本文采
用先验知识法进行人眼定位。前人根据人脸面部
这种方法对硬件要求高，设备昂贵，并且通常 需要一个安装有近红外光源的专用头盔。而本文需 要开发一套针对瘫痪病人及老年人方便使用的系统。
本文采用优化的“虹膜中心–眼角点向量法” 实现对眼动数据的测量。动点选取为虹膜中心
·62·
应
用
科
技
第 48 卷
点，静点选取内眼角点，由于系统面向的对象是 四肢瘫痪病人，所以静点选取为内眼角点是合理 且可行的。由于四肢瘫痪病人的特殊性，他们在 眼球运动过程中，眼角点相对于脸部是一个绝对 静止的点。该方法在系统的复杂度上要远远低 于 PCCR 法，仅需要一台带电荷耦合器件（charge coupled device，CCD）相机的笔记本即可实现自然 光源下对眼动的测量。
提出了一种优化的自然光源下的眼动视觉测量方法。 从笔记本 CCD 相机获取的低分辨率图像，结合图 像处理的方法，实现眼动测量的流程如图 3 所示。
原始图像
趣区域
人脸定位
构建眼动向量
人眼定位
人眼感兴 趣区域
虹膜中心定位
变换坐标系
眼角定位
变换坐标系
图3 眼动向量测量流程
0.114B + 0.436B 0.100B
根据前人经验统计模型，肤色 YCrCb 颜色空
间 中 的 Cr、 Cb 分 量 满 足 椭 圆 模 型 ， 利 用 opencv 绘
制出该椭圆模型，如图 6 所示。
Cr 0
C b
图6 肤色椭圆模型
在将人脸 ROI 转化为 YCrCb 颜色空间后，只
需要判断像素点的 Cr、Cb 分量对应的坐标是否在
器官比例关系，总结出“三庭五眼”的比例关系。
本文在此先验知识的基础上，结合自己的人
眼与人脸外接矩形的比例关系，分割出人眼 ROI
如下：
hyxxxLRLLE
= = = = =
0.13wI 0.3wI 0.13wI wI − wE − 0.13wI yR = 0.25hI
式中：xI、yI 分别为人脸 ROI 在原图中的横、纵坐
域 (region of interest，ROI) 是 RGB 三通道图像，为
了 进 行 肤 色 检 测 ， 需 要 将 其 转 化 为 YUV(YCrCb)
颜色空间，转换公式如下：
UY V
= = =
0.299R + −0.147R 0.615R −
0.587G + − 0.289G 0.515G −
Vol.48 No.4 Jul. 2021
一种优化的自然光源下眼动视觉测量方法
陈加徐，陆永华，赵采仪，梁立鹏
南京航空航天大学 机电学院，江苏 南京 210016
摘 要：针对传统的 Adaboost 算法将非人脸、人眼目标误识别为人脸、人眼的问题，将基于椭圆模型的肤色检测融合进人脸
定位算法并采用优化的先验知识法实现人眼定位。采用优化的梯度重心法和 Dlib 特征点法进行虹膜中心、眼角点定位，完
收稿日期：2020−10−27. 网络出版日期：2021−04−14. 基金项目：国家自然科学基金项目 (51975293)；航空科学基金项
目 (2019ZD052010)； 研 究 生 实 验 室 开 放 基 金 项 目 (kfjj20190512). 作者简介：陈加徐，男，硕士研究生. 陆永华，男，教授，博士. 通信作者：陆永华，E-mail：nuaa_lyh@.
来将在这方面开展进一步的研究。 国外眼动测量设备采用的方法主要是“瞳孔
中 心 – 角 膜 反 射 法 ” (pupil center corneal reflection， PCCR)[9]。该方法利用近红外光源照射人眼，结合 亮暗瞳孔效应，进一步获取瞳孔区域并确定瞳孔 中心位置。在对眼球状态的量化过程中，一般需 要一个动点 (随视线变化的点) 和一个静点 (在视 线改变过程中保持不变的点)。PCCR 法的动点为 瞳孔中心，静点为光源在角膜反射的光斑。
椭圆内部，即可判断该点是否是肤色，即
{
∆=
1, 0,
η(Cr,Cb) = 255 η(Cr,Cb) = 0
式中：∆=1表示像素点是肤色点；∆= 0表示像素点 不是肤色点；η(Cr,Cb)表示椭圆模型中 (Cr,Cb) 坐标
处的灰度值，0 表示黑色，255 表示白色。 经过对大量的样本进行分析发现，正确的人
虹膜 中心点
眼角 点
2 人脸定位
注视 目标点
屏幕 平面
眼眶
图1 病人看向不同目标时眼球状态示意
内眼角点
虹膜中心点
图2 虹膜中心–内眼角向量示意
对眼动数据的测量关键是找到虹膜中心和眼
角点的位置，计算公式为
X = X − X e
iris
corner
Y = Y − Y e
iris
corner
式中：Xe、Ye 为某种眼球状态下眼动向量的横、纵 坐标，Xiris、Yiris 为算法定位出的虹膜中心在原图坐 标系中的横、纵坐标，Xcorner、Ycorner 为算法定位出的 内眼角点在原图所标系中的横、纵坐标。
在开发一套基于眼球驱动与控制的电动病床 位姿调节系统中，最重要的是将眼球的图像转化 为可读的信息，即利用图像处理的方法实现对眼 动数据的精确测量 。 [1−5]
近年来，随着深度学习在图像处理领域得到 了广泛的应用，一些新的算法不断涌现。但是就 眼动测量、注视点估计领域而言，精度与传统方 法差距较大，目前还不具有实际应用价值 ， [6−8] 未
经过实验，发现基于 Haar 特征的 Adaboost 算
法在检测人脸时，会将一些非人脸目标识别为人
脸，部分样本如图 4 所示。因此本文对该算法进
行优化，采用基于肤色和 Haar 特征的 Adaboost 算
法来进行人脸检测，以降低误检率。图 5 是该算
法流程图。
(a) 错误样本 1
(b) 错误样本 2
对于一张人脸图像，可以用多个不同类型的
Haar-like 特征来表示，每∑个 Haar-li∑ ke 特征值为
fv(x) = wwhite
p − wblack
p
p∈Rwhite
p∈Rblack
式 中 ： fv(x)为 第 x 个 Haar-like 特 征 的 特 征 值 ， wwhite 为 白 色 像 素 点 的 权 重 ， wblack 为 黑 色 像 素 点 的 权 重 ， p ∈ R 为 white 落在 Haar-like 特征中白色区域的图像像 素点， p ∈ Rblack为落在 Haar-like 特征中黑色区域的 图像像素点。
脸 ROI 中，肤色点占的比例一般大于 0.6，图 7 是 部分样本中肤色点占人脸 ROI 像素点的比例图。
0.90
0.85
人脸ROI肤色点比例
0.80
0.75
0.70
0.65
0.60 0
5
10
15
20
样本编号
图7 肤色点占人脸 ROI 比例
采用该算法进行人脸定位的效果如图 8 所示。
(a) 人脸定位效果图 (b) 人脸ROI
中图分类号：TP391
文献标志码：A
文章编号：1009−671X(2021)04−0061−07
An optimized visual measurement method for eye movement under natural light source
CHEN Jiaxu, LU Yonghua, ZHAO Caiyi, LIANG Lipeng
基于上述分析，本文从人脸定位、人眼定位、
虹膜中心定位和内眼角点定位等 4 个方面，分析
了经典的算法存在的问题和缺陷。在此基础上，
目前主要的人脸检测方法采用的是基于 Haar-
like 特征的 Adaboost 算法。
Haar-like 特征可以分为 4 种：边缘特征、线性
特征、圆心环绕特征和特定方向的特征。
第 48 卷第 4 期 2021 年 7 月
应
用
科
技
Applied Science and Technology
DOI: 10.11991/yykj.202010021 网络出版地址：https:///kcms/detail/23.1191.U.20210414.1504.004.html
成自然光源下眼动的视觉测量，从而解决传统的虹膜中心、眼角点定位算法存在参数设置依赖于光照条件、图像质量的问
题。实验结果表明，该优化算法与传统方法相比，人脸误检率降低了 8%，人眼真实检测率提高了 21%，虹膜中心定位误差
仅相差 0.1，视频帧眼角点定位时间降低了 55 ms。
关键词：人脸定位；人眼定位；虹膜中心；眼角点；评价指标；眼动；视觉测量；优化算法
图4 人脸检测错误结果
第4期
陈加徐，等：一种优化的自然光源下眼动视觉测量方法
·63·
开始 输入原图像
转化为灰度图
基于Haar_like特征 的Adaboost算法
人脸感兴趣区域矩形框
应用肤色检测统 计肤色点数量
肤色点数量/矩形框
N
面积>肤色阈值
Y 确实是人脸
结束
图5 优化的人脸定位算法流程
由 于 Adaboost 算 法 检 测 出 的 人 脸 感 兴 趣 区
College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China
Abstract: In order to solve the problem that traditional Adaboost algorithm misidentifies the targets of face and eyes, the skin color detection based on elliptic model is integrated into the face location algorithm and the optimized prior knowledge method is adopted to realize the eyes location. As the parameter setting of traditional algorithms depends on light condition and image quality, the optimized gradient barycenter method and Dlib feature point method are adopted to locate iris center and canthus point. The experimental results show that, compared with the traditional method, this optimization algorithm reduces the false detection rate of face by 8%, improves the real detection rate of eyes by 21%, makes only 0.1 difference in iris center positioning error, and reduces the positioning time of canthus points of video frame by 55 ms. Keywords: face location; eye location; iris center; canthus points; evaluation index; eye movement; visual measurement; optimization algorithm
图 1 为瘫痪病人在注视屏幕不同目标点时， 眼睛相应的状态。红色圆点表示虹膜中心在眼眶 中的位置，黄色圆点表示内眼角点在眼眶中的位 置，箭头表示“虹膜中心–眼角点”向量。可以看 到该眼动向量充分反映了瘫痪病人看向不同位置 时的眼球状态。实现对该向量的测量将有助于反 映病人内心的真实想法。图 2 为眼动向量示意图。
(c) 肤色检测
图8 优化算法定位效果
3 人眼定位
在得到原始图像后，即可进一步划分人眼
ROI。主流的人眼检测算法采用的也是基于 Haar-
like 特 征 的 Adaboost 方 法 ， 这 种 方 法 依 然 会 存 在
将非人眼目标误检为人眼的情况。因此，本文采
用先验知识法进行人眼定位。前人根据人脸面部
这种方法对硬件要求高，设备昂贵，并且通常 需要一个安装有近红外光源的专用头盔。而本文需 要开发一套针对瘫痪病人及老年人方便使用的系统。
本文采用优化的“虹膜中心–眼角点向量法” 实现对眼动数据的测量。动点选取为虹膜中心
·62·
应
用
科
技
第 48 卷
点，静点选取内眼角点，由于系统面向的对象是 四肢瘫痪病人，所以静点选取为内眼角点是合理 且可行的。由于四肢瘫痪病人的特殊性，他们在 眼球运动过程中，眼角点相对于脸部是一个绝对 静止的点。该方法在系统的复杂度上要远远低 于 PCCR 法，仅需要一台带电荷耦合器件（charge coupled device，CCD）相机的笔记本即可实现自然 光源下对眼动的测量。
提出了一种优化的自然光源下的眼动视觉测量方法。 从笔记本 CCD 相机获取的低分辨率图像，结合图 像处理的方法，实现眼动测量的流程如图 3 所示。
原始图像
趣区域
人脸定位
构建眼动向量
人眼定位
人眼感兴 趣区域
虹膜中心定位
变换坐标系
眼角定位
变换坐标系
图3 眼动向量测量流程
0.114B + 0.436B 0.100B
根据前人经验统计模型，肤色 YCrCb 颜色空
间 中 的 Cr、 Cb 分 量 满 足 椭 圆 模 型 ， 利 用 opencv 绘
制出该椭圆模型，如图 6 所示。
Cr 0
C b
图6 肤色椭圆模型
在将人脸 ROI 转化为 YCrCb 颜色空间后，只
需要判断像素点的 Cr、Cb 分量对应的坐标是否在
器官比例关系，总结出“三庭五眼”的比例关系。
本文在此先验知识的基础上，结合自己的人
眼与人脸外接矩形的比例关系，分割出人眼 ROI
如下：
hyxxxLRLLE
= = = = =
0.13wI 0.3wI 0.13wI wI − wE − 0.13wI yR = 0.25hI
式中：xI、yI 分别为人脸 ROI 在原图中的横、纵坐
域 (region of interest，ROI) 是 RGB 三通道图像，为
了 进 行 肤 色 检 测 ， 需 要 将 其 转 化 为 YUV(YCrCb)
颜色空间，转换公式如下：
UY V
= = =
0.299R + −0.147R 0.615R −
0.587G + − 0.289G 0.515G −
Vol.48 No.4 Jul. 2021
一种优化的自然光源下眼动视觉测量方法
陈加徐，陆永华，赵采仪，梁立鹏
南京航空航天大学 机电学院，江苏 南京 210016
摘 要：针对传统的 Adaboost 算法将非人脸、人眼目标误识别为人脸、人眼的问题，将基于椭圆模型的肤色检测融合进人脸
定位算法并采用优化的先验知识法实现人眼定位。采用优化的梯度重心法和 Dlib 特征点法进行虹膜中心、眼角点定位，完
收稿日期：2020−10−27. 网络出版日期：2021−04−14. 基金项目：国家自然科学基金项目 (51975293)；航空科学基金项
目 (2019ZD052010)； 研 究 生 实 验 室 开 放 基 金 项 目 (kfjj20190512). 作者简介：陈加徐，男，硕士研究生. 陆永华，男，教授，博士. 通信作者：陆永华，E-mail：nuaa_lyh@.
来将在这方面开展进一步的研究。 国外眼动测量设备采用的方法主要是“瞳孔
中 心 – 角 膜 反 射 法 ” (pupil center corneal reflection， PCCR)[9]。该方法利用近红外光源照射人眼，结合 亮暗瞳孔效应，进一步获取瞳孔区域并确定瞳孔 中心位置。在对眼球状态的量化过程中，一般需 要一个动点 (随视线变化的点) 和一个静点 (在视 线改变过程中保持不变的点)。PCCR 法的动点为 瞳孔中心，静点为光源在角膜反射的光斑。
椭圆内部，即可判断该点是否是肤色，即
{
∆=
1, 0,
η(Cr,Cb) = 255 η(Cr,Cb) = 0
式中：∆=1表示像素点是肤色点；∆= 0表示像素点 不是肤色点；η(Cr,Cb)表示椭圆模型中 (Cr,Cb) 坐标
处的灰度值，0 表示黑色，255 表示白色。 经过对大量的样本进行分析发现，正确的人
虹膜 中心点
眼角 点
2 人脸定位
注视 目标点
屏幕 平面
眼眶
图1 病人看向不同目标时眼球状态示意
内眼角点
虹膜中心点
图2 虹膜中心–内眼角向量示意
对眼动数据的测量关键是找到虹膜中心和眼
角点的位置，计算公式为
X = X − X e
iris
corner
Y = Y − Y e
iris
corner
式中：Xe、Ye 为某种眼球状态下眼动向量的横、纵 坐标，Xiris、Yiris 为算法定位出的虹膜中心在原图坐 标系中的横、纵坐标，Xcorner、Ycorner 为算法定位出的 内眼角点在原图所标系中的横、纵坐标。
在开发一套基于眼球驱动与控制的电动病床 位姿调节系统中，最重要的是将眼球的图像转化 为可读的信息，即利用图像处理的方法实现对眼 动数据的精确测量 。 [1−5]
近年来，随着深度学习在图像处理领域得到 了广泛的应用，一些新的算法不断涌现。但是就 眼动测量、注视点估计领域而言，精度与传统方 法差距较大，目前还不具有实际应用价值 ， [6−8] 未
经过实验，发现基于 Haar 特征的 Adaboost 算
法在检测人脸时，会将一些非人脸目标识别为人
脸，部分样本如图 4 所示。因此本文对该算法进
行优化，采用基于肤色和 Haar 特征的 Adaboost 算
法来进行人脸检测，以降低误检率。图 5 是该算
法流程图。
(a) 错误样本 1
(b) 错误样本 2
对于一张人脸图像，可以用多个不同类型的
Haar-like 特征来表示，每∑个 Haar-li∑ ke 特征值为
fv(x) = wwhite
p − wblack
p
p∈Rwhite
p∈Rblack
式 中 ： fv(x)为 第 x 个 Haar-like 特 征 的 特 征 值 ， wwhite 为 白 色 像 素 点 的 权 重 ， wblack 为 黑 色 像 素 点 的 权 重 ， p ∈ R 为 white 落在 Haar-like 特征中白色区域的图像像 素点， p ∈ Rblack为落在 Haar-like 特征中黑色区域的 图像像素点。
脸 ROI 中，肤色点占的比例一般大于 0.6，图 7 是 部分样本中肤色点占人脸 ROI 像素点的比例图。
0.90
0.85
人脸ROI肤色点比例
0.80
0.75
0.70
0.65
0.60 0
5
10
15
20
样本编号
图7 肤色点占人脸 ROI 比例
采用该算法进行人脸定位的效果如图 8 所示。
(a) 人脸定位效果图 (b) 人脸ROI
中图分类号：TP391
文献标志码：A
文章编号：1009−671X(2021)04−0061−07
An optimized visual measurement method for eye movement under natural light source
CHEN Jiaxu, LU Yonghua, ZHAO Caiyi, LIANG Lipeng
基于上述分析，本文从人脸定位、人眼定位、
虹膜中心定位和内眼角点定位等 4 个方面，分析
了经典的算法存在的问题和缺陷。在此基础上，
目前主要的人脸检测方法采用的是基于 Haar-
like 特征的 Adaboost 算法。
Haar-like 特征可以分为 4 种：边缘特征、线性
特征、圆心环绕特征和特定方向的特征。
第 48 卷第 4 期 2021 年 7 月
应
用
科
技
Applied Science and Technology
DOI: 10.11991/yykj.202010021 网络出版地址：https:///kcms/detail/23.1191.U.20210414.1504.004.html
成自然光源下眼动的视觉测量，从而解决传统的虹膜中心、眼角点定位算法存在参数设置依赖于光照条件、图像质量的问
题。实验结果表明，该优化算法与传统方法相比，人脸误检率降低了 8%，人眼真实检测率提高了 21%，虹膜中心定位误差
仅相差 0.1，视频帧眼角点定位时间降低了 55 ms。
关键词：人脸定位；人眼定位；虹膜中心；眼角点；评价指标；眼动；视觉测量；优化算法
图4 人脸检测错误结果
第4期
陈加徐，等：一种优化的自然光源下眼动视觉测量方法
·63·
开始 输入原图像
转化为灰度图
基于Haar_like特征 的Adaboost算法
人脸感兴趣区域矩形框
应用肤色检测统 计肤色点数量
肤色点数量/矩形框
N
面积>肤色阈值
Y 确实是人脸
结束
图5 优化的人脸定位算法流程
由 于 Adaboost 算 法 检 测 出 的 人 脸 感 兴 趣 区
College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China
Abstract: In order to solve the problem that traditional Adaboost algorithm misidentifies the targets of face and eyes, the skin color detection based on elliptic model is integrated into the face location algorithm and the optimized prior knowledge method is adopted to realize the eyes location. As the parameter setting of traditional algorithms depends on light condition and image quality, the optimized gradient barycenter method and Dlib feature point method are adopted to locate iris center and canthus point. The experimental results show that, compared with the traditional method, this optimization algorithm reduces the false detection rate of face by 8%, improves the real detection rate of eyes by 21%, makes only 0.1 difference in iris center positioning error, and reduces the positioning time of canthus points of video frame by 55 ms. Keywords: face location; eye location; iris center; canthus points; evaluation index; eye movement; visual measurement; optimization algorithm