基于单摄像机视线跟踪的眼控鼠标

基于单摄像机视线跟踪的眼控鼠标∗

刘瑞安1, 2+，靳世久1，吴晓荣2

1(天津大学 精密测试技术及仪器国家重点实验室，天津 300072)

2(天津师范大学 物理与电子信息学院，天津 300074)

摘 要：提出一种能对用户头部位置变化自动适应的视线跟踪方法，减少了系统对使用者的头部限制。依据瞳孔边界点的灰度信息、梯度信息及瞳孔边界曲线的平滑信息综合判据，给出了一种提取瞳孔边缘点的一维算法；为提高系统的分辨率和精确度，提出了一种眼睛红外图像中瞳孔亚像素边缘检测与中心定位算法。利用眼睛角膜反射光斑和瞳孔中心的位置关系来确定视线方向，推导出人眼在计算机屏幕上的注视点，进而实现人眼对鼠标的定位与操作，其在显示屏上定位精度可达到40像素以内。

关键词：视线跟踪；眼控鼠标；角膜反射；边缘检测；亚像素；椭圆拟合

1. 引言

眼睛是人类从周围世界中获取信息的重要器官，也是反映人的心理活动的窗口。将视线应用于人机交互可带来直接性、自然性和双向性[1]等优点。眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道，将人的眼睛作为输入媒介，通过眼睛盯视，对外部设备进行控制可以实现多任务操作，在一些工业控制、机器人学和临床医学上有着广泛的发展前景。

目前，人机交互已成为计算机科学研究的一个越来越重要的领域。在个人电脑飞速发展的今天，鼠标一直是最为重要的人机交互设备之一。而眼控鼠标是利用图像处理技术对捕获的眼睛图像进行处理，提取人眼视线方向及注视点位置，进而实现人眼对鼠标的定位与操作。视线跟踪技术是未来智能人机接口的关键技术之一，在人机交互领域有着广阔的应用前景。国际上一些公司与科研机构正致力于眼控鼠标的开发与研究，日本净冈大学的海泽嘉教授开发出一种可以用眼球控制的鼠标系统；布拉格捷克技术大学的研究人员也推出了一款可用眼睛控制电脑的操作系统。

视线方向的识别、跟踪，是实现眼控鼠标的关键技术。而利用角膜反射原理的视线跟踪技术，具有非侵入的优点，近年来取得了较快进展，人们也进行了将该技术应用于人机交互领域的大量研究工作[2,3]。该技术在用户头部不动情况下可获得较高精度，但对头动敏感。为减少对用户的限制，Sugioka[4]使用超声技术测得CCD和人眼之间的距离，Ebisawa[5]增加两个摄像机来获得眼睛的三维空间坐标。这不仅增加了系统复杂性，且系

* 基金项目：天津市高等学校科技发展基金项目（20051017）

* 刘瑞安，Email: wdxylra@

统精度受位置测量精度的局限。为克服上述困难，本文提出了一种能对用户头部位置变化自动适应的视线跟踪方法，实现了人眼对鼠标的定位与操作。

2. 系统原理与控制模型

系统采用角膜反射原理。近红外光源发出的光在用户眼睛角膜上形成高亮度反射点(glints)，利用瞳孔中心和光斑的相对位置关系确定视线方向。硬件组成如图1所示。

图1 系统硬件结构框图

使用云台，摄像机能作二维扫描，保证用户眼睛始终在摄像机视场范围内。采用近红外光源，在显示屏幕两侧及摄像机物镜上装有近红外LED。CCD物镜采用电动三可变镜头，镜头前置带通滤光片去除可见光影响。系统示意图如图2所示。

图2 系统示意图及视线模型

CCD捕获的眼睛图像通过图像采集卡，送计算机进行图像处理，提取瞳孔、光斑信息,对鼠标进行相应操作。计算机通过串口与下位机通讯，由单片机控制摄像机云台、LED光源及物镜的光圈、聚焦、变焦。捕获眼睛图像示意图如图3所示。

头不动情况下，当眼球转动注视屏幕上不同位置时，由于眼球近似为球体，光斑位置不变，瞳孔中心相对光斑发生偏移，眼睛转动视线发生变化由位矢OP反映。头前后移动，Glint2和Glint3间距离 d=d1+d2 发生变化；头水平移动，d1和d2大小比发生变化。

利用光斑 Glint2和Glint3 的中间位置控制云台；以光斑 Glint2和Glint3 的间距为依据调节镜头焦距，保证光学系统成像放大率不变，克服头部前后运动影响；利用光斑的灰度值来调节物镜光圈及LED 发光功率；依据瞳孔边界点的梯度平均值和光斑大小调节聚焦。由于头部运动,图像中眼睛丢失时，开大CCD 视场，关闭 LED2和LED3，此时仅 LED1亮，它和CCD 光轴同轴，出现亮瞳孔现象；而 LED2和LED3 打开时，对应暗瞳

孔图像。利用明、暗图像差法[2,3,5,6]，可克服环境干扰，快速搜索到眼睛位置。

图3 捕获图像示意图

3. 瞳孔中心精确定位

3.1 瞳孔边界点提取

很多算法对整个眼睛图像利用边缘算子提取瞳孔边界，考虑到瞳孔边界只占图像很小部分，故这些方法时间开销大，效率不高。

依据光斑位置，确定瞳孔搜索区域。利用搜索窗内瞳孔二值化图粗定瞳孔中心，并作为搜索瞳孔边界的起始点。在不同方向上做一维扫描，在搜索线上感兴趣区域，结合像素点灰度值、梯度值及边界曲线的平滑特性，由（1）式通过寻找最大值，决定边缘点位置r ，提取边界点。

)())(()()(1210−−−−−=n r r k Ip r I k r G k r f (1) f 为判据函数，)(r I 为搜索点灰度值，Ip 为瞳孔阈值，)(r G 为搜索点梯度值，由一维梯度算子[-1 0 1]计算得到，1−n r 为相邻搜索线上得到的边界点半径，0k 、1k 、2k 为由试验定值的权重参数。

考虑到东方人眼敛常常张的不是特别开的特点，常出现瞳孔被眼敛、眼睫毛部分遮挡；在眼睛及头部运动情况下，光斑有时落在瞳孔边界上或附近区域。在瞳孔边界点提取过程中，受遮挡影响及边界上的其它噪声（像阴影、光斑等），会产生一些虚假边界点，如图4中p1、p2点，其存在严重影响后续椭圆拟合算法，进而影响瞳孔中心定位。剔除虚假边界点，才能进一步提高定位精度。图4中P1为粗定瞳孔中心，P2为包含p1、p2时椭圆拟合中心，P3为剔除p1、p2后的拟合中心。