一种基于立体视觉的视线估计方法

A Novel Gaze Estimation Method Based on Stereo Vision
ZHANG Chuang, CHI Jian nan, ZHANG Zhao hui, WANG Zhi liang
( School of In f ormation Engineeri ng , University of Sci ence and Technol ogy Beijing , Beiji ng 100083, Chi na )
本文视线追踪系统原 理流程 包括特征 参数提 取和 视线估计, 如图 2 所示. 其中特征提取过程如图 3 所示. 首先, 在全局范围内对瞳 孔进行 初始捕捉, 在初始 捕捉 到瞳孔位置以后, 对瞳孔 进行跟 踪. 跟踪后 对瞳孔 视线 特征进行检测, 进入先跟 踪后检 测的循环 过程. 头 部大 范围移动或长时间闭眼造 成瞳孔 丢失的情 况重新 对瞳 孔进行全局捕捉. 下面简要介绍本文特征提取方法.
Abstract: For main problems of the existing gaze estimation methods which are that they restrict the head mo vement of users and the issue of individual calibration, this paper presents a gaze estimation method based on stereo vision. A five spot model for the eye optical axis on the condition of two cameras and two light so urces is set up. T he model estimates the three dimensional orienta tion of the eye optical axis, which only needs one straight line intersection operation. On this basis, we forms a new gaze estimation method. This method allow s natural head mo vement and minimizes the calibration procedure to only one time for a new individual. A ll aspects of this method meet the real time requirement, which prov ides an effective solution for human computer interaction gaze tracking system. Key words: bration gaze tracking ; gaze estimation; stereo vision; pupil center cornea reflection ( PCCR ) technique; individual cali
2
视线追踪系统
本文视 线追 踪系 统采用 了非 接触 式 的双 摄像 机、
环形红外光源照明的思路进行设计. 硬件 系统( 图 1) 主 要由 CCD( Charge Coupled Device) 摄像 机、 图像 采集 卡、 GPIO( General Purpose Input/ Output ) 卡、 PC 机、 单 片机 和 光源组成. 双 CCD 摄像机 组成 的立 体视 觉系统 除了 完 成图像采集以外, 还实现 了三维 空间测距, 为视线 追踪 系统提供了 瞳孔中 心和 角膜 反射 的三 维 坐标 信息. 图 像采集卡分 别完成 视频 源采 集和 预处 理 工作, 并将 信 息传输至 PC 机进行图像处理. 单 片机的外 部中断 在捕 获到 GPIO 卡提供的图像 帧同步 信号后, 控 制两个 光源 交替亮灭, 即可在 任一 CCD 摄 像机 的相 邻两帧 图像 中 分别得到用户的 亮 瞳 和 暗瞳 两 种图像. 红外 光源 使用了近红外 LED( Light Emitting Diode) 发光二极 管, 波 长为 880nm, 在配合了相应的滤光片 后, 既可以产 生 亮 暗瞳 , 又不会由于光照影响用户的使用.
[ 6, 7]
收稿日期 : 2009 08 16; 修回日期 : 2009 11 16 基金项目 : 国家自然科学基金 ( No. 60574090) ; 国家 863 高技术研究发展计划 ( No. 2007AA1Z160) ; 博士后科学基金 ( No. 200604000400)
第
5 期
张
闯 : 一种基于立体视觉的视线估计方法
体视觉的视线估计方法 . 建立了一种双相机双光源 条件下计算眼睛光轴的 five spot 模型 , 本 模型估计 眼球光轴三 维方 向只需要一次直线求交运算 . 以此为基础形成一种 新的视线估计方 法 , 本 方法实现了 自然头动 视线估计 , 并且简 化用 户标定为单点标定 . 该方法的各个环节都 满足实时性要求 , 为面向人机交互的视线追踪系统提 供了有效的解决方案 . 关键词 : 视线追踪 ; 视线估计 ; 立体视觉 ; 瞳孔 角膜反射 ( PCCR) 技术 ; 个体标定 中图分类号 : TP391 文献标识码 : A 文章编号 : 0372 2112 ( 2010) 05 1008 06
第 5期 2010 年 5 月
电 子 学 报 ACTA ELECTRONICA SINICA
Vol . 38 No. 5 May 2010
一种基于立体视觉的视线估计方法
张
摘 要:
闯, 迟健男, 张朝晖, 王志良
( 北京科技大学信息工程学院 , 北京 100083)
针对现有视线估计 方法存在的主要问 题 : 限制 使用者头部运动和个 体标定问题 , 本文提出一种基 于立
1
引言
视线追踪是利用机械、 电子、 光 学等各 种检测 手段
的三维视线估计方法. 基于二维映射模型的视线估计方法, 通过一个经过 校准的视线映射函数来估计视线方向, 映射函数的输入 是从眼睛图像提取的一系列二维眼动特征, 输出是视线 方向或注视点. 二维视线估计方法有以下几个缺点: ( 1) 二维视线估计依赖于标定位置, 视线估计的精度随着使 用者头部远离标定位置而迅速下降, 所以使用者需要保 持头部静止; ( 2) 需要依 靠标定确 定眼 睛特征 参数 与视 线的映射函数, 所以标定点数较多. 对于直接的三维视线估计方法, 首先要估计三维的 视线方向, 然后通过视线方向和屏幕的交点即可得到盯 视点. 文献 [ 14 ] 提 出一 种用 以 估计 三维 视 线方 向的 方 法, 使用一个单校准摄像机和至少两个光源. 首先, 使用 至少三个光源测量每个使用者的眼球角膜半径. 一系列 高阶多项式方程用来计算角膜的半径和中心, 但是它们 的解不是唯一的. 因此, 如何从 这些解 中找到 正确 的答
获取受试者当前 注视方向 的技术. 按照系统构成和采 用的检测方法可以粗略划分为侵入式和非侵入式两种. 在人机交互和疾病诊断[ 1] 两个领域有着广泛的应用, 如 助残, 虚拟现实, 认 知障碍 诊断, 车 辆辅助 驾驶, 人 因分 析等. 随着数字化技术、 计算机视觉、 人工智能技术的迅 速发展, 基于 数字视频 分析( Video Oculographic, VOG) 的 非侵入式 视 线追 踪 技术 成 为当 前 热点 研 究方 向. VOG 系统 普 遍 使 用 瞳 孔 角 膜 反 射 方 法 ( The Pupil Center Cornea Reflect ion Technique, PCCR) : 采用红外光源产生角 膜反射, 通过计算瞳孔中心与角膜反射之间的向量来估 计视线方向[ 2~ 5] . 视线估 计模型 可以 采用映 射模 型( 通 常为 非 线 性 多 项 式 模 型 ) , 也 可 以采 用 几何 模 型[ 8~ 14] . 即基于二 维映 射模 型的 视线 估计 方法 和 直接
1009
案仍然是个问题. 此外, 还没有 用这种 技术建立 起相应 的实用系统. 文献[ 13] 提出了一种类似的方法来估计三 维视线方向. 限定 了一 些初 始 条件, 首先 角膜 半 径、 瞳 孔和角膜中 心的 距离 对所 有用 户是 一样 的, 当然 事实 上并不是如此的. 其次, 用来计 算角膜 中心的公 式是基 于红外光源虚像在角 膜表面 上的假设, 事实上, 红外光 源的虚像是在角膜里 面而非 表面. 因此, 计算角 膜中心 的公式是不准确的. 文献[ 11] 提出了另一个系统和至少 有 7 个参数的 复杂 眼球 模型 来 估计 三维 视线 方 向. 首 先, 三维眼球模型会针 对每个 使用者进 行建模, 将一系 列的图像特征通过非线性估计 技术适 配至眼球 模型中 以达到建模 的目 的. 用 以适 配模 型的 图像 特 征仅 仅包 括由红外光 源产 生的 角膜 反射 和瞳 孔边 缘. 但是 角膜 反射是由红 外光 源照 射角 膜产 生的 虚像 的投 影, 并不 在角膜表面而在角膜 内部. 同 样, 瞳孔 边缘也不 是在三 维眼球模型的表面. 因 此, 角膜 半径不 能基于上 述方法 得到. 此外, 对这样复 杂的三维 模型只 使用很少 的特征 点, 方程的解对噪 声会很敏 感, 鲁棒 性也较差. 文献[ 8] 使用一个或 两 个摄 像 机 配 合多 个 光 源来 估 计 三维 视 线. 首先重建眼睛的光 轴. 随后 通过一 个校准过 程用已 知的光轴得到视轴. 通过比较 分析了 多个系统 的不同, 理论上得出 了三 维视 线估 计的 系统 最少 配置, 一 个摄 像机和两个 光源 配以 一些 使用 者眼 睛的 独立 参 数, 或 是不用参数 情况 下使 用两 个摄 像机 和两 个光 源. 文中 用一个摄像 机和 两个 光源 实现 了一 个视 线 估计 系统, 并实验验证 了准 确性. 与双 摄像 机直 接估 计 视线 的系 统相比, 单摄像机代表 了一种 重要的简 化, 但是 这种方 法不能适应头动较大的情况. 综上所述, 现存的 三维视 线估计方 法中, 要么 需要 关于用户眼 球参 数的 独立 信息, 要么 需要 至 少两 摄像 机和两个光源的硬件配置. 否 则就不 能解决头 动问题. 但是使用者 眼球 的独 立信 息, 如 角膜 半径 和 瞳孔 与角 膜中心的距离, 是非 常小 的 ( 一 般小 于 10mm) . 在 不借 助其它仪器 的情 况下, 准确 的间 接估 计眼 球 独立 参数 很难实现. 即 使采 用一 个摄 像机 和两 个光 源 配以 使用 者眼睛独立 参数 的方 案, 在 系统 标定 过程 中 也要 使用 至少两个摄像机. 另外, 因为需 要估计 角膜球面 中心的 空间位置, 而角膜球面 中心不 可见, 需 要至少两 个光源 的像去估计角膜球面 中心的 空间位置. 所以, 两 个摄像 机和两个光源是高性能视线估计的基本硬件配置. 针对现有视线估计方法的不足, 本文基于立体视觉提 出一种可适应自然头动的视线估计方法. 建立了一种双相 机双光源条件下计算眼球光轴的 five spot 模型, 本模型估 计眼球光轴三维方向只需要一次直线求交运算. 以此为基 础形成一种新的视线估计方法, 本方法实现了自然头动视 线估计, 并且简化用户标定为单点标定.
3
特征参数wenku.baidu.com取简介
本文采用一种满足视 线估计 要求的特 征参数 提取
1010
电
子
学
报
2010 年
方法. 首先, 亮瞳( 图 4 ( a ) ) 与暗 瞳图像 ( 图 4 ( b) ) 相减 得到差分图像( 图 4( c ) ) , 对差分图像做滤 波, 得到瞳孔 区域. 检测瞳孔区 域的边缘 ( 图 5( a ) ) 并在 眼睛区 域附 近基于灰度搜索角 膜反射 ( 图 5( b ) ) . 求质 心定位 角膜 反射中心( 图 5( e ) ) , 并 对瞳孔 边缘 做滤 波消 除角 膜反 射对瞳孔 边缘 轮 廓的 影 响 ( 图 5 ( c ) ) , 椭 圆 拟 合 ( 图 5 ( d ) ) 定位瞳孔中心, 得到亚象素的中心坐标( 图 5( e) ) .