眼动跟踪研究

用来研究眼动活动的结合基于特征和

基于模型思想的算法

Dongheng Li, David Winfield, Derrick J. Parkhurst

摘要：由于用户的注视点能极大的改善人机接口，则可以把眼动活动当作用户注意力状态的标志。将眼动活动整合成现在这种接口的障碍就是没有一种可用的，可靠的，低成本的，开源的眼动跟踪系统。为了给那些接口设计者提供这样一个系统，我们研发了一种基于特征和模型思想的混合算法并且提供了一个开源的软件包。我们将这种算法命名为Starburst。这种算法比单纯基于特征跟踪的算法更准确而且比单纯基于模型跟踪的算法更省时。当前能够将红外视频剪辑来跟踪眼动活动。这种视频可以用一个廉价的头盔式眼动仪来获取。这是一个可靠的研究并且指出该电子技术能够估计眼睛的位置，误差不超过一度。

关键词：眼动跟踪；头盔式眼动仪；算法；基于特征；

1 简介

眼动活动的使用能极大的改善人机接口的质量。应用眼动活动的人机接口有两种：在线接口和离线接口。在线接口允许用户利用眼动活动详细的控制接口[8]。比如，用户可以通过注视虚拟键盘上的按键来进行打字而不用使用传统的敲击键盘的方法[9]。这种技术也可以用在常用的接口中，比如用户可以在图形用户接口中注视一个图标来选择它，这样大大提高了速度[16]。

另一方面，离线的接口能监视用户眼动活动并且自动调整。例如，在视频传输和虚拟现实应用，可变分辨率显示技术能主动跟踪用户的眼睛并且提供一个关于凝视点的详细信息，同时省略了外围设备的细节[13，14]。

尽管眼动跟踪已经应用到一些研究系统和小型的产品中，但是眼动跟踪技术还没充分发挥它的潜力。尤为重要的是，眼动跟踪技术的许多方法已经应用了很多年。将这种技术整合成人机接口的首要障碍是这种系统要么容易被入侵，要么就是成本太高。最近，由于头盔式视频眼动仪逐渐缩小，眼动跟踪的被入侵性显著下降[15，1]。视频眼动跟踪移动技术也减少了入侵性[6，10]，但是降低了系统的准确性。随着技术的不断发展，剩下的障碍就是成本。目前，有一些眼动跟踪系统已经投入市场，它们的价格大约5000到40000美元。值得注意的是，这些开销并不是由于硬件，因为在过去10年中高清数

码镜头的价钱已经下降了很多。然而，开销主要和软件相关，有时候也需要整合特殊的数码处理器来获得高速性能。

这种分析清楚的指明了，为了将眼动活动结合到平常的人机接口中，需要广泛的可用性，可靠性和高速眼动跟踪算法，而这种算法需要在普通电脑硬件的支持下完成。为了达到这个目的，我们发明了这个结合基于特征和模型思想的算法并且在一个开源包中使分布式系统得以实现。通过结合低成本的头盔式眼动仪[18]，眼动跟踪技术很可能成为下一代人机接口。

2 问题描述

如上所述，眼动跟踪系统可以分为远程系统和头盔式系统。每一种系统都有其特有的优势。比如远程系统比头盔式系统不容易被入侵，但是却减少了准确性和灵活性。另一方面，我们开发了一种低成本的头盔式眼动仪[18]。这个眼动仪由两个CCD摄像头组成，它们绑定在一对安全眼镜上（如图1）。其中一个摄像头捕捉眼镜的图像，另一个捕捉场景的图像。两个摄像头是同步的并且以30赫兹的频率捕捉640×480像素。在本文中，我们的眼动跟踪算法处理的图像就是利用这种头盔式眼动仪所获得的。然而，这种算法也可以被应用到远程的视频捕捉系统。

眼动跟踪技术中主要使用两种图像处理方法，可见光谱成像和红外光谱成像[5]。可见光谱成像是一种被动的方式，通过捕捉眼睛的反射光。在这些图像中，通常情况下跟踪可见光谱图像最好的特征就是虹膜和巩膜之间的轮廓也叫角膜缘。眼球的三种最相关的特征是瞳孔——让光进入眼球的光圈，虹膜——控制瞳孔直径的有色肌肉群，眼白保护覆盖在眼球其他部分的纤维。可见光谱成像是很复杂的，因为环境中的光源是无法控制的，它包含许多镜面反射和漫反射成分。红外光谱成像通过使用一个用户无法感知的红外光控制来主动消除镜面反射。红外光谱成像的好处就是，瞳孔作为图像中最强的特征轮廓而不是角膜缘（如图1d）。巩膜和虹膜都能够反射红外光，而只有巩膜能反射可见光。跟踪瞳孔轮廓更具优势，因为瞳孔轮廓比角膜缘更小更尖锐。还有，由于它的大小，瞳孔更不容易被眼皮遮住。红外光谱成像也有缺点，那就是在白天不能用在户外，由于外界环境能清除红外线。在本文中，我们的算法主要使用红外光谱成像技术同时也拓展到可见光谱成像技术。

红外眼球跟踪通常使用亮瞳或暗瞳技术（如参考文献[10]中结合了亮瞳和暗瞳技术）。亮瞳技术通过在离摄像头光轴非常近的地方使用一个光源来照射眼球。由于眼球后部的照片反光特性而形成了一个瞳孔分明的明亮区域。暗瞳技术通过在远离光轴的地

方使用一个光源，这样瞳孔在图像中就是黑暗的区域，同时巩膜、虹膜和眼皮反射比较多的光。两种方法都是使用对照明光源的表面反射而使角膜（眼球最具光学特性的结构）可见。使用瞳孔中心到角膜反射点的向量比单独使用瞳孔中心的方法要可靠的多。这是由于向量对于头盔摄像头和光源的同时移动所造成的误差不敏感（参考下面的实用性研究）。本文中我们的算法主要以暗瞳技术为核心，同时也可以应用到亮瞳技术中。

图1 （a）和（b）头盔式眼动仪

（c）眼动仪获得的图像（d）用户右眼的图像

3 相关工作

眼动跟踪算法可以分为两种方法：基于特征和基于模型。基于特征的方法根据眼球的位置探测和定位图像特征。基于特征的方法有一个共性，那就是需要一个标准（比如一个阈值）来确定特征的存在。这个阈值应该是一个由用户自行确定的参数。跟踪特性在整个算法中有很大变化但是主要依靠亮度水平和亮度梯度。比如，应用暗瞳技术的红外成像，可以设置适当的亮度阈值来提取对应该区域的瞳孔。将瞳孔中心当做该区域的几何中心。在可见光谱成像中，亮度梯度可以用来检测角膜缘[21]。在红外光谱成像中，亮度梯度可以用来检测瞳孔中心[12]。这些特征点最后可以拟合成一个椭圆。

另一方面，基于模型的方法不能发掘详细的特征但是可以找到连续图像的最佳模型。例如，可以利用积分微分运算来寻找角膜缘和瞳孔边缘点的最佳拟合圆[3]或者椭圆