视线跟踪技术研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Corneal reflection center extraction
P-CR data
Calibrated mapping relation
Gaze position calculated
Gaze position vector
图 2 头部静止的视线跟踪系统流程
Fig.2 Flow graph of eye gaze tracking system with head fixed
志点算法，该坐标系即为标志点所在坐标系。
位置跟踪系统感应器坐标系 S：对于电磁式 位置跟踪器，是指接收器坐标系；对于共面彩色 4 点算法，即为拍摄标志点图像的摄像机所在坐 标系。
眼坐标系 E：眼球所在坐标系，该坐标系的 原点 o 为眼睛旋转中心，眼睛注视方向为 x 轴。 特别地，当视线方向与某一特定方向(称主视方向) 重合，记此时的眼坐标系 E 为眼主视坐标系 R。
第 34 卷第 10 期 2007 年 10 月
光电工程
Opto-Electronic Engineering
Vol.34, No.10 Oct, 2007
文章编号：1003-501X(2007)10-0118-06
视线跟踪技术研究
赵新灿，左洪福，徐兴民
( 南京航空航天大学 民航学院，江苏 南京 210016 )
1 头部静止视线跟踪系统
1.1 头部静止视线跟踪系统基本原理及组成 红外光源发出的光线照射人的眼睛时，眼球的反射光经红外高反滤光片进行反射，通过红外高透滤光
片进入眼摄像机，摄像机得到眼球的完整图像。将从 Purkinje 斑点到瞳孔中心的二维向量记作 P-CR 瞳孔-
收稿日期：2006-12-27；收到修改稿日期：2007-04-05 基金项目：国家 863 高技术计划基金项目(2006AA04Z427)，国家自然科学基金资助项目(60672164) 作者简介：赵新灿(1972-)，男(汉族)，河南郑州人，讲师，博士研究生，主要从事增强现实、人机交互技术的研究。
2.2 头部自由运动的视线跟踪系统几何模型
头部自由运动的视线跟踪系统涉及到多种设备，必须明确设备坐标系及它们之间的转换关系。
屏幕坐标系 O：计算机屏幕所在坐标系。原点 o 定义在屏幕的左上角，从原点出发水平向右为 x 轴，
从原点出发垂直向下为 y 轴，z 轴垂直 xoy 平面并满足右手系。
位置跟踪系统基准坐标系 B：对于电磁式位置跟踪，是指系统发射器所在坐标系；对于平面 4 彩色标
( College of Civil Aviation, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China )
Abstract: Two eye-movement detection devices were constructed based on the principle of corneal reflection and pupil center. By adding electromagnetic position tracker and using the position tracking algorithm with four coplanar markers, eye gaze tracking system solved perfectly the problem of head’s movement and permitted user’s head moving freely. The analysis of the data collected from the experiments shows that the average error of the eye gaze tracking system is approximately 1° when user’s head keeps still and 1cm when user’s head moves freely. The experimental results show the validity of the eye gaze tracking system. It is expected that the availability of this system will facilitate the development of eye tracking applications and the eventual integration of eye tracking into the next generation of everyday human computer interfaces. Key words: eye gaze tracking; position tracking; human computer interaction; eye-movement detection device
E-mail: zhaoxincan@126.com
2007 年 10 月
赵新灿 等：视线跟踪技术研究
119
角膜反射向量，显然，当用户头部静 止时，P-CR 向量与计算机屏幕上注视 点向量有一一对应关系，通过映射函 数将 P-CR 向量映射到注视点向量， 达到视线跟踪的目的[3-4]。头部静止视 线跟踪系统主要由固定支架、摄像机 系统和光路系统三个部分组成，结构 如图 1 所示。 1.2 头部静止视线跟踪系统实现流程
and camera
Calibration parameter
Gaze position vector
Hale Waihona Puke Baidu
图 3 头部自由运动的视线跟踪系统原理
Fig.3 Principle of eye gaze tracking system with head unfixed
120
光电工程
第 34 卷第 10 期
TO←E = TO←B ⋅ TB←S ⋅ TS←R ⋅ TR←E
图 4 头部自由运动的视线跟踪系统坐标转换
Fig.4 Geometric model of eye tracking system with head unfixed
注视点在眼坐标系 E 的坐标为 Fe=[xe, ye, ze, 1]T，在屏幕坐标系 O 下的坐标 Fo=[xo, yo, zo, 1]T，由图 4 描述的关系可知
Infrared camera
Computer screen
Infrared LED
IR transmission
filter
IR reflection filter
图 1 头部静止视线跟踪系统
Fig.1 Eye gaze tracking system with head fixed
1) 系统标定时，用户注视屏幕上一系列已知位置的点并通过眼摄像机采集每个注视点的眼睛图像，测
Fo = TO←B ⋅ TB←S ⋅ TS←R ⋅ TR←E ⋅ Fe
(2)
其中：ΤB←S 由位置跟踪器实时得到；ΤR←E 可由头部静止的视线跟踪系统得到；ΤO←B 和 ΤS←R 由系统标定技
术得到[8-10]。标定任务包括：
1) 位置跟踪系统标定：对于电磁式位置跟踪器，标定任务主要是对电磁式位置跟踪器的读数进行误差
视线跟踪系统实时跟踪误差小于 1cm，达到了良好的视线跟踪效果，为视线跟踪技术与人机交互设备的集成和广
泛应用奠定了良好的基础。
关键词：视线跟踪；位置跟踪；人机交互；眼动仪
中图分类号：TP391.41
文献标志码：A
Research on eye gaze tracking technology
ZHAO Xin-can，ZUO Hong-fu，XU Xing-min
⎡h1 h2 h3 ⎤
X s = H ⋅ X e = ⎢⎢h4
h5
h6
⎥ ⎥
⋅
X
e
(1)
⎢⎣h7 h8 h9 ⎥⎦
2) 注视点跟踪过程实时跟踪采集眼部图像，进行图像处理提取 P-CR 向量，代入映射函数 H 计算注视
点的屏幕坐标，具体流程如图 2 所示。
Eye image capture
Pupil center extraction
引言
人机交互受到键盘/鼠标的窄带宽输入界面的限制，输入与输出效率变得越来越不平衡，利用所有可能 的信息通道进行人机自然交互，提高交互的自然性和高效性，探索自然和谐的人机关系已成为计算机科学 研究的一个越来越重要的领域[1-2]。视线应用于人机交互具有直接、自然和双向等优点，人们对此有着浓厚 的研究兴趣。
头部自由运动的视线跟踪系统坐标系之间的
Z
X
O
Y
TO←B
Z
B X
TB←S
Z
Y
Y
X
S
TS←R
Y X X
Z Y
Z
E
R TR←E
转换关系分为三类，如图 4 所示：第一类是系统 设置好后，始终保持不变的坐标系 TO←B；第二类 是针对每个用户标定后保持不变的坐标系 TS←R； 第三类是需要实时测量的坐标系 TB←S 和 TR←E。 2.3 头部自由运动的视线跟踪系统标定任务及流程
2 头部自由运动的视线跟踪系统
2.1 头部自由运动的视线跟踪系统基本原理及组成
Electromagnetic position tracker
Position tracking system get head position
Position tracking using coplanar markers
Head position tracking
Eye gaze tracking
Eye gaze tracking system with head unfixed get gaze position
Geometric model parameter
Gaze position computing
Calibration of position tracker
量并确定 P-CR 向量与眼睛注视点向量之间的单应性映射 H [5]。设 Xs=[xs, ys, 1]T 为注视点在屏幕坐标系下 的坐标，Xe=[xe, ye, 1]T 为 P-CR 向量在眼摄像机图像坐标系下的坐标。通过标定过程采集 9 组不同的对应 点得到 27 个方程，利用最小二乘法求解超定线性方程组可求得 H。
补偿，其误差补偿多采用多项式插值方法[11-12]；对于共面彩色 4 点的位置跟踪算法，标定任务主要是对跟
踪相机的内部参数进行标定。
2) ΤO←B 和 ΤS←R 的标定：ΤO←B 发射器坐标系 B 相对于屏幕坐标系 O 的变换只需标定一次，当基准坐 标系位置发生变化需要重新标定。ΤS←R 眼主视坐标系 R 相对于感应坐标系 S 由于每个用户的情况不同需要 每次会话之前进行标定。
头部自由运动的视线跟踪系统要得到用户头部相对于空间某一固定坐标系(世界坐标系)的位置及方
向，系统主要由 Polhemus 公司的 Fastrak 电磁式位置跟踪系统、头部静止的视线跟踪系统、系统几何模型
及注视点计算算法等组成。头部静止的视线跟踪系统完成头部静止时视线跟踪功能；位置跟踪系统通过电
磁式位置跟踪器和共面彩色 4 点位置跟踪算法实时提供用户头部的空间方位信息；几何模型描述各子系统 之间的坐标系相对位置变换关系；注视点计算算法用于实时计算注视点坐标 [6-7]。
摘要：利用跟踪角膜反射-瞳孔中心的技术，构建了头部静止和头部自由运动两套视线跟踪系统，实时获取用户注
视点的信息，通过电磁式位置跟踪器和共面彩色四点位置跟踪算法较好地解决了用户头部小范围运动问题，并且
对系统的误差进行了详细分析。实验验证结果表明，头部静止视线跟踪系统实时跟踪误差小于 1°，头部自由运动
3) ΤR←E 视线跟踪系统的标定：计算当前眼坐标系 E 与眼主视坐标系 R 之间的变换关系。 2.3.1 ΤO←B 和 ΤS←R 的标定
采用欧拉角和平移向量描述 ΤO←B 和 ΤS←R 参数可减少到 12 个，其中前 6 个参数描述 ΤO←B，后 6 个参 数描述 ΤS←R。标定时，用户始终注视眼睛前方透明玻片的中央圆点，那么眼坐标系 E 在位置跟踪器感应坐 标系 S 是不变的，眼坐标系 E 与眼主视坐标系 R 重合，且注视点在 E 的 x 轴上。其中：[xo, yo, 0, 1]T 为注 视点的屏幕坐标，[xe, 0, 0, 1]T 为注视点的眼坐标系坐标，I 为单位矩阵，反映了标定时眼坐标系 E 与眼主
P-CR data
Calibrated mapping relation
Gaze position calculated
Gaze position vector
图 2 头部静止的视线跟踪系统流程
Fig.2 Flow graph of eye gaze tracking system with head fixed
志点算法，该坐标系即为标志点所在坐标系。
位置跟踪系统感应器坐标系 S：对于电磁式 位置跟踪器，是指接收器坐标系；对于共面彩色 4 点算法，即为拍摄标志点图像的摄像机所在坐 标系。
眼坐标系 E：眼球所在坐标系，该坐标系的 原点 o 为眼睛旋转中心，眼睛注视方向为 x 轴。 特别地，当视线方向与某一特定方向(称主视方向) 重合，记此时的眼坐标系 E 为眼主视坐标系 R。
第 34 卷第 10 期 2007 年 10 月
光电工程
Opto-Electronic Engineering
Vol.34, No.10 Oct, 2007
文章编号：1003-501X(2007)10-0118-06
视线跟踪技术研究
赵新灿，左洪福，徐兴民
( 南京航空航天大学 民航学院，江苏 南京 210016 )
1 头部静止视线跟踪系统
1.1 头部静止视线跟踪系统基本原理及组成 红外光源发出的光线照射人的眼睛时，眼球的反射光经红外高反滤光片进行反射，通过红外高透滤光
片进入眼摄像机，摄像机得到眼球的完整图像。将从 Purkinje 斑点到瞳孔中心的二维向量记作 P-CR 瞳孔-
收稿日期：2006-12-27；收到修改稿日期：2007-04-05 基金项目：国家 863 高技术计划基金项目(2006AA04Z427)，国家自然科学基金资助项目(60672164) 作者简介：赵新灿(1972-)，男(汉族)，河南郑州人，讲师，博士研究生，主要从事增强现实、人机交互技术的研究。
2.2 头部自由运动的视线跟踪系统几何模型
头部自由运动的视线跟踪系统涉及到多种设备，必须明确设备坐标系及它们之间的转换关系。
屏幕坐标系 O：计算机屏幕所在坐标系。原点 o 定义在屏幕的左上角，从原点出发水平向右为 x 轴，
从原点出发垂直向下为 y 轴，z 轴垂直 xoy 平面并满足右手系。
位置跟踪系统基准坐标系 B：对于电磁式位置跟踪，是指系统发射器所在坐标系；对于平面 4 彩色标
( College of Civil Aviation, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China )
Abstract: Two eye-movement detection devices were constructed based on the principle of corneal reflection and pupil center. By adding electromagnetic position tracker and using the position tracking algorithm with four coplanar markers, eye gaze tracking system solved perfectly the problem of head’s movement and permitted user’s head moving freely. The analysis of the data collected from the experiments shows that the average error of the eye gaze tracking system is approximately 1° when user’s head keeps still and 1cm when user’s head moves freely. The experimental results show the validity of the eye gaze tracking system. It is expected that the availability of this system will facilitate the development of eye tracking applications and the eventual integration of eye tracking into the next generation of everyday human computer interfaces. Key words: eye gaze tracking; position tracking; human computer interaction; eye-movement detection device
E-mail: zhaoxincan@126.com
2007 年 10 月
赵新灿 等：视线跟踪技术研究
119
角膜反射向量，显然，当用户头部静 止时，P-CR 向量与计算机屏幕上注视 点向量有一一对应关系，通过映射函 数将 P-CR 向量映射到注视点向量， 达到视线跟踪的目的[3-4]。头部静止视 线跟踪系统主要由固定支架、摄像机 系统和光路系统三个部分组成，结构 如图 1 所示。 1.2 头部静止视线跟踪系统实现流程
and camera
Calibration parameter
Gaze position vector
Hale Waihona Puke Baidu
图 3 头部自由运动的视线跟踪系统原理
Fig.3 Principle of eye gaze tracking system with head unfixed
120
光电工程
第 34 卷第 10 期
TO←E = TO←B ⋅ TB←S ⋅ TS←R ⋅ TR←E
图 4 头部自由运动的视线跟踪系统坐标转换
Fig.4 Geometric model of eye tracking system with head unfixed
注视点在眼坐标系 E 的坐标为 Fe=[xe, ye, ze, 1]T，在屏幕坐标系 O 下的坐标 Fo=[xo, yo, zo, 1]T，由图 4 描述的关系可知
Infrared camera
Computer screen
Infrared LED
IR transmission
filter
IR reflection filter
图 1 头部静止视线跟踪系统
Fig.1 Eye gaze tracking system with head fixed
1) 系统标定时，用户注视屏幕上一系列已知位置的点并通过眼摄像机采集每个注视点的眼睛图像，测
Fo = TO←B ⋅ TB←S ⋅ TS←R ⋅ TR←E ⋅ Fe
(2)
其中：ΤB←S 由位置跟踪器实时得到；ΤR←E 可由头部静止的视线跟踪系统得到；ΤO←B 和 ΤS←R 由系统标定技
术得到[8-10]。标定任务包括：
1) 位置跟踪系统标定：对于电磁式位置跟踪器，标定任务主要是对电磁式位置跟踪器的读数进行误差
视线跟踪系统实时跟踪误差小于 1cm，达到了良好的视线跟踪效果，为视线跟踪技术与人机交互设备的集成和广
泛应用奠定了良好的基础。
关键词：视线跟踪；位置跟踪；人机交互；眼动仪
中图分类号：TP391.41
文献标志码：A
Research on eye gaze tracking technology
ZHAO Xin-can，ZUO Hong-fu，XU Xing-min
⎡h1 h2 h3 ⎤
X s = H ⋅ X e = ⎢⎢h4
h5
h6
⎥ ⎥
⋅
X
e
(1)
⎢⎣h7 h8 h9 ⎥⎦
2) 注视点跟踪过程实时跟踪采集眼部图像，进行图像处理提取 P-CR 向量，代入映射函数 H 计算注视
点的屏幕坐标，具体流程如图 2 所示。
Eye image capture
Pupil center extraction
引言
人机交互受到键盘/鼠标的窄带宽输入界面的限制，输入与输出效率变得越来越不平衡，利用所有可能 的信息通道进行人机自然交互，提高交互的自然性和高效性，探索自然和谐的人机关系已成为计算机科学 研究的一个越来越重要的领域[1-2]。视线应用于人机交互具有直接、自然和双向等优点，人们对此有着浓厚 的研究兴趣。
头部自由运动的视线跟踪系统坐标系之间的
Z
X
O
Y
TO←B
Z
B X
TB←S
Z
Y
Y
X
S
TS←R
Y X X
Z Y
Z
E
R TR←E
转换关系分为三类，如图 4 所示：第一类是系统 设置好后，始终保持不变的坐标系 TO←B；第二类 是针对每个用户标定后保持不变的坐标系 TS←R； 第三类是需要实时测量的坐标系 TB←S 和 TR←E。 2.3 头部自由运动的视线跟踪系统标定任务及流程
2 头部自由运动的视线跟踪系统
2.1 头部自由运动的视线跟踪系统基本原理及组成
Electromagnetic position tracker
Position tracking system get head position
Position tracking using coplanar markers
Head position tracking
Eye gaze tracking
Eye gaze tracking system with head unfixed get gaze position
Geometric model parameter
Gaze position computing
Calibration of position tracker
量并确定 P-CR 向量与眼睛注视点向量之间的单应性映射 H [5]。设 Xs=[xs, ys, 1]T 为注视点在屏幕坐标系下 的坐标，Xe=[xe, ye, 1]T 为 P-CR 向量在眼摄像机图像坐标系下的坐标。通过标定过程采集 9 组不同的对应 点得到 27 个方程，利用最小二乘法求解超定线性方程组可求得 H。
补偿，其误差补偿多采用多项式插值方法[11-12]；对于共面彩色 4 点的位置跟踪算法，标定任务主要是对跟
踪相机的内部参数进行标定。
2) ΤO←B 和 ΤS←R 的标定：ΤO←B 发射器坐标系 B 相对于屏幕坐标系 O 的变换只需标定一次，当基准坐 标系位置发生变化需要重新标定。ΤS←R 眼主视坐标系 R 相对于感应坐标系 S 由于每个用户的情况不同需要 每次会话之前进行标定。
头部自由运动的视线跟踪系统要得到用户头部相对于空间某一固定坐标系(世界坐标系)的位置及方
向，系统主要由 Polhemus 公司的 Fastrak 电磁式位置跟踪系统、头部静止的视线跟踪系统、系统几何模型
及注视点计算算法等组成。头部静止的视线跟踪系统完成头部静止时视线跟踪功能；位置跟踪系统通过电
磁式位置跟踪器和共面彩色 4 点位置跟踪算法实时提供用户头部的空间方位信息；几何模型描述各子系统 之间的坐标系相对位置变换关系；注视点计算算法用于实时计算注视点坐标 [6-7]。
摘要：利用跟踪角膜反射-瞳孔中心的技术，构建了头部静止和头部自由运动两套视线跟踪系统，实时获取用户注
视点的信息，通过电磁式位置跟踪器和共面彩色四点位置跟踪算法较好地解决了用户头部小范围运动问题，并且
对系统的误差进行了详细分析。实验验证结果表明，头部静止视线跟踪系统实时跟踪误差小于 1°，头部自由运动
3) ΤR←E 视线跟踪系统的标定：计算当前眼坐标系 E 与眼主视坐标系 R 之间的变换关系。 2.3.1 ΤO←B 和 ΤS←R 的标定
采用欧拉角和平移向量描述 ΤO←B 和 ΤS←R 参数可减少到 12 个，其中前 6 个参数描述 ΤO←B，后 6 个参 数描述 ΤS←R。标定时，用户始终注视眼睛前方透明玻片的中央圆点，那么眼坐标系 E 在位置跟踪器感应坐 标系 S 是不变的，眼坐标系 E 与眼主视坐标系 R 重合，且注视点在 E 的 x 轴上。其中：[xo, yo, 0, 1]T 为注 视点的屏幕坐标，[xe, 0, 0, 1]T 为注视点的眼坐标系坐标，I 为单位矩阵，反映了标定时眼坐标系 E 与眼主