基于单摄像机视线跟踪的眼控鼠标
基于单目摄像机的无人机动态目标实时跟踪
基于单目摄像机的无人机动态目标实时跟踪随着科技的不断发展，无人机在军事、民用和商业领域逐渐展现出其巨大的应用潜力。
而无人机的核心技术之一就是目标跟踪，即无人机通过摄像头实时跟踪目标的运动轨迹，从而能够实现自主飞行、目标定位和监视等功能。
本文将介绍基于单目摄像机的无人机动态目标实时跟踪技术，探讨其原理、方法和应用前景。
一、技术原理无人机动态目标实时跟踪技术是指无人机通过搭载的单目摄像机来捕捉目标的图像，然后通过图像处理和计算机视觉算法来识别目标，并实时跟踪目标的运动。
其核心技术包括目标检测、目标识别和跟踪算法。
目标检测是指通过摄像头捕捉目标的图像，并将目标从背景中分离出来；目标识别是指对目标进行特征提取和匹配，识别目标的种类和位置；而跟踪算法则是指对目标的运动轨迹进行预测和实时更新，以实现目标的跟踪和定位。
二、技术方法针对无人机动态目标实时跟踪技术，目前主要采用的方法包括视觉特征提取和匹配、深度学习和强化学习。
视觉特征提取和匹配是指通过计算机视觉算法提取目标的特征，并通过特征匹配来识别和跟踪目标。
常用的特征包括颜色、纹理、形状等。
深度学习是指通过神经网络模型来学习和识别目标的特征，从而实现目标的跟踪和定位。
而强化学习则是指通过机器学习算法来对无人机的飞行轨迹和目标跟踪进行优化和调整，以提高跟踪的准确性和稳定性。
三、技术应用无人机动态目标实时跟踪技术在军事、民用和商业领域均有着广泛的应用。
在军事领域，无人机可通过目标实时跟踪技术实现对敌方目标的监视、侦察和打击，提高作战的精确度和效率。
在民用领域，无人机可通过目标实时跟踪技术实现对自然灾害、环境监测和搜索救援等任务的执行，为人们的生命和财产安全提供保障。
在商业领域，无人机可通过目标实时跟踪技术实现对农作物、地产和基础设施等的监视和管理，提高生产的效率和质量。
四、技术挑战虽然无人机动态目标实时跟踪技术具有巨大的应用前景，但其在实际应用中仍面临着一些挑战。
基于单目摄像机的无人机动态目标实时跟踪
基于单目摄像机的无人机动态目标实时跟踪
随着无人机在军事、民用等领域的广泛应用，无人机的目标跟踪技术也日趋成熟。
而
基于单目摄像机的无人机动态目标实时跟踪技术较为实用，具有广泛应用前景。
单目摄像机的优势在于可以实现轻量级的无人机设计。
同时，它可以适应不同环境条
件和不同目标特征，灵活性较高。
因此，基于单目摄像机的无人机动态目标实时跟踪技术
具有广泛的应用前景。
无人机动态目标实时跟踪技术的核心是计算机视觉算法。
针对目标跟踪任务，需要选
择相应的视觉算法，并进行改进和优化。
比如，使用颜色特征来进行目标跟踪，可以在一
定程度上提高跟踪的准确率。
此外，也可以使用卷积神经网络（CNN）算法，在不同光照、尺度、姿态等条件下提高目标区分度，提高跟踪算法的性能。
此外，无人机目标跟踪还需要考虑实时性和鲁棒性。
针对这两个问题，需要进行优化。
例如，在实现跟踪算法时可以采用目标卡尔曼滤波算法，以获得更精确和实时的跟踪结果。
同时，还可以加入自适应控制策略，以应对复杂环境下的干扰。
总之，基于单目摄像机的无人机动态目标实时跟踪技术是未来无人机领域的重要技术
之一。
它可以应用于军事侦察、民用航拍、环境监测等众多领域，具有深远的应用前景。
我们相信，通过不断地技术研发和应用推广，这项技术的发展将会不断加速，并为人类社
会做出更加重要的贡献。
基于单目摄像机的无人机动态目标实时跟踪
基于单目摄像机的无人机动态目标实时跟踪无人机技术在近年来得到了迅猛的发展，成为了军事、商业以及娱乐领域中的重要应用。
而无人机的动态目标实时跟踪技术则是无人机领域中的一个重要研究方向。
基于单目摄像机的无人机动态目标实时跟踪技术，在无人机应用中具有很高的潜力和广阔的应用前景。
本文将对该技术进行较为详细的介绍和分析。
一、动态目标实时跟踪技术的重要性动态目标实时跟踪是指无人机通过自身搭载的传感器，对地面、海面、空中运动的目标进行实时监测、追踪和定位。
该技术在军事侦察、搜索救援、环境监测、地质勘测、农业植保、交通监控等方面有着重要的应用价值。
通过对目标的实时跟踪，无人机可以实现针对性的任务执行，提高作战效率，减少人力资源的投入，同时也可以有效的避免目标的逃逸和偏移，提高任务的成功率。
基于单目摄像机的无人机动态目标实时跟踪技术是近年来国内外学者们不断探索和研究的一个热点领域。
该技术的核心思想是通过单目摄像机对目标进行连续采集图像，并通过图像处理算法对目标进行检测、跟踪和预测，从而实现对目标的实时跟踪。
该技术的主要原理包括目标检测、目标跟踪和目标预测三部分内容。
目标检测是指通过图像处理算法对目标进行识别和检测，将目标从背景中进行分割和提取，得到目标的位置、大小和形状等相关信息。
目标跟踪是指在连续的图像帧中，通过匹配和追踪目标的位置和运动状态，实现对目标的连续跟踪和定位。
目标预测是指通过对目标的运动轨迹和变化规律进行分析和预测，从而实现对目标未来位置的预测和推测。
基于单目摄像机的无人机动态目标实时跟踪技术，其关键在于图像处理算法的设计和优化。
目前已有多种基于深度学习、卷积神经网络、特征提取和匹配等技术的目标检测和跟踪算法得到了广泛的应用和研究。
这些算法的不断改进和优化，为无人机动态目标实时跟踪技术的发展提供了有力的支持和保障。
三、技术难点和挑战基于单目摄像机的无人机动态目标实时跟踪技术虽然具有广阔的应用前景和潜力，但其仍然存在着一些技术难点和挑战。
基于单目摄像机的无人机动态目标实时跟踪
基于单目摄像机的无人机动态目标实时跟踪随着无人机技术的不断发展，无人机在军事、民用领域的应用越来越广泛。
基于单目摄像机的无人机动态目标实时跟踪技术是无人机重要的功能之一。
实时目标跟踪技术可以使无人机能够跟踪目标物体进行监视、搜寻或执行特定任务，具有重要的军事和民用价值。
在无人机动态目标实时跟踪技术中，单目摄像机是实现实时目标跟踪的核心设备。
单目摄像机指的是只使用一个摄像头来获取场景信息的摄像系统。
与传统的多目摄像头相比，单目摄像机体积小，重量轻，成本低，更适合于无人机这种资源受限的平台。
由于单目摄像机只能获得二维信息，无法直接获取目标的深度信息，因此在实时目标跟踪中存在一定的挑战。
为了解决单目摄像机的局限性，研究者们提出了许多解决方案。
其中最为常见的一种方法是使用视觉SLAM技术。
SLAM（Simultaneous Localization and Mapping），即同时定位与地图构建，是一种利用传感器信息实现自主定位与地图构建的技术。
通过利用SLAM 技术，可以实现对目标的位置、速度等信息的估计，从而实现目标的实时跟踪。
除了SLAM技术之外，深度学习也被应用于无人机动态目标实时跟踪中。
深度学习是一种模拟人类大脑神经网络的机器学习方法，通过大量数据的训练，可以达到较高的识别准确率。
研究者们利用深度学习算法，可以实现无人机对目标物体的实时识别和跟踪，其准确性和实时性都得到了很大的提升。
在实际应用中，无人机动态目标实时跟踪技术可以广泛应用于军事、安防、应急救援、环境监测等领域。
军事上可以通过实时跟踪技术对目标进行监视、侦察、打击等任务；在安防领域可以对犯罪嫌疑人、失踪儿童等进行追踪；在应急救援中可以对受灾地区进行搜索救援；在环境监测中可以对污染源进行监控等。
当前，无人机动态目标实时跟踪技术还存在一些问题和挑战。
由于实时目标跟踪过程中环境光线、目标运动速度等因素的影响，会导致跟踪算法的准确性和鲁棒性下降；目标的多样性、复杂性也会对实时跟踪算法提出更高的要求。
基于单目摄像机的无人机动态目标实时跟踪
基于单目摄像机的无人机动态目标实时跟踪1. 引言1.1 研究背景无人机技术的快速发展正在为各行各业带来革命性变革，其中无人机动态目标实时跟踪技术作为无人机应用领域的重要研究方向之一，具有广泛的应用前景。
随着无人机在军事、航拍、搜救等领域的应用日益广泛，对无人机动态目标实时跟踪技术的需求也越来越迫切。
基于单目摄像机的无人机目标跟踪技术尤为重要，其可以利用无人机搭载的单目摄像机获取目标的信息，实现对目标的实时跟踪，并为无人机在复杂环境中的任务执行提供支持。
目前基于单目摄像机的无人机动态目标实时跟踪仍面临着一些挑战，如实时性和准确性等方面存在一定限制。
针对这些挑战进行深入研究，提高基于单目摄像机的无人机动态目标实时跟踪的准确性和实时性，对推动无人机技术的发展具有重要意义。
部分的论述将对本文的研究内容进行引出和概述，为接下来的研究内容提供有效的背景和基础。
1.2 研究意义基于单目摄像机的无人机动态目标实时跟踪技术具有重要的研究意义。
随着无人机技术的快速发展，无人机在各个领域的应用也日益广泛，如军事侦察、灾害救援、农业测绘等。
无人机在动态目标实时跟踪方面的应用尤为重要。
通过使用单目摄像机实时跟踪目标，无人机可以更精准地执行任务，提高任务的效率和成功率。
基于单目摄像机的实时跟踪技术还可以帮助无人机更好地适应复杂多变的环境，提高其自主性和智能化水平。
研究如何利用单目摄像机进行无人机动态目标实时跟踪具有重要的现实意义和应用前景。
通过深入研究和探索，将为无人机技术的发展和应用提供更多可能性，推动相关领域的发展和进步。
2. 正文2.1 无人机技术发展现状无人机技术在近年来得到了迅猛发展，成为了诸多领域中的重要工具。
无人机的广泛应用包括但不限于军事侦察、航拍摄影、搜索救援、农业植保等领域。
随着技术的不断进步，无人机的功能和性能也在不断提升，使其在各个领域中的应用更加广泛和深入。
在军事领域，无人机可以实现远程侦察和打击目标，为地面部队提供情报支持，提高作战效果。
基于视线跟踪技术的眼控鼠标研究与实现的开题报告
基于视线跟踪技术的眼控鼠标研究与实现的开题报告摘要：本文提出了一种基于视线跟踪技术的眼控鼠标解决方案，并实现了一个原型系统。
通过采用光学式眼动仪实现对用户视线的跟踪控制，实现了鼠标的控制。
实验表明，该系统在简单的鼠标操作上取得了较好的效果，可为特殊人群提供更加便利的计算机使用方式。
关键词：视线跟踪、眼控鼠标、光学式眼动仪、计算机辅助技术一、研究背景和意义计算机辅助技术在现代生活中扮演着越来越重要的角色。
但是，有一些人群，如肢体残疾、瘫痪、运动障碍等特殊人群，受到了计算机使用方面的限制。
由于无法使用常规的输入设备如鼠标键盘等，这些人群的计算机使用体验往往非常不便利。
为了解决这个问题，眼控技术应运而生。
眼控技术利用计算机对眼睛的运动轨迹进行跟踪和解析，进而实现对计算机的控制。
这种技术对于肢体残疾等特殊人群非常有用，但是目前市场上的眼控设备价格非常昂贵，一般用户难以承受。
因此，本文提出了一种基于视线跟踪技术的眼控鼠标解决方案，并实现了一个原型系统，以期为特殊人群提供更加便利的计算机使用方式。
二、国内外研究现状视线跟踪技术在计算机辅助技术领域中得到了广泛的应用。
视线跟踪技术的核心在于通过相应的设备对用户的眼睛轨迹进行跟踪，将跟踪结果作为输入信号传送给计算机，从而实现对计算机的控制。
国外的眼控设备主要分为两类，一类是追踪型眼动仪，采用机械式追踪。
主要由摄像机、光电转换器、计算机等组成。
该类设备精度高，但是价格较贵；另一类是固定型眼动仪，采用非机械性的静态跟踪。
主要由光电二极管、光电放大器、运算放大器等组成。
该类设备相对便宜，但是精度较低，受到遮挡、干扰等因素的影响较大。
国内的眼控技术相对较为落后，主要集中在视线跟踪反应时间的优化等方面。
由于市场规模较小，研究经费和科研人员相对较少，因此国内在眼控技术领域的研究发展与国外相比存在差距。
三、研究内容和技术路线本文旨在提出一种基于视线跟踪技术的眼控鼠标解决方案，并实现原型系统。
基于眼动追踪的游戏类鼠标造型特征设计研究
摘要：产品开发前的用户隐性意向预测，根据特征曲线演绎出设计意向风格曲线，提高感性意向设计水平；构建用户与设计者语义认知结构，并结合产品情报分析法进行造型意象提取，根据眼动追踪的数据相关性得出意向曲线，最终通过七点量表图验证用户满意度；得出符合用户隐性意向特征的游戏类鼠标曲线造型。
获取用户潜在的情感需求，为后续的游戏类鼠标产品造型设计提供依据。
关键词：语义认知 情报分析 眼动追踪 用户意向 鼠标造型 中图分类号：TB472 文献标识码：A 文章编号：1003-0069（2023）08-0108-04Abstract：To predict the user's implicit intention before product development ，deduce the design intention style curve according to the characteristic curve ，and improve the level of perceptual intention design ；constructing the semantic cognitive structure of users and designers and extracting modeling images in combination with product intelligence analysis method ，obtaining the intention curve according to the data correlation of eye tracking ，and finally verifying user satisfaction through a seven-point scale chart ；the game mouse curve shape that conforms to the user's implicit intention characteristics is obtained. Obtain the potential emotional needs of users and provide a basis for the subsequent modeling design of gaming mouse products.Keywords：Semantic cognition Intelligence analysis Eye tracking User intention Mouse shape南京理工大学设计艺术与传媒学院 宋珂凡基于眼动追踪的游戏类鼠标造型特征设计研究RESEARCH ON MODELING FEATURE DESIGN OF GAME MOUSE BASED ON EYE TRACKING引言在当代互联网背景的前提下，鼠标使用场景广、使用频率高，随着技术发展，不仅鼠标的形式、种类愈加繁多，如体感式、沉浸式追踪鼠标，便携、多功能、游戏鼠标层出不穷，而且作为电脑使用过程中必不可少的配件和操作工具，鼠标设计需在满足使用需求前提下兼顾用户感性需求从而提高用户的使用愉悦感。
基于单目视觉的虚拟鼠标方法
基于单目视觉的虚拟鼠标方法权巍;张超;赵璘;包铁壮;曹玉玲【摘要】自然的交互方式有利于提高增强现实系统的真实感和沉浸感,是增强现实技术的重要研究内容;针对这一问题,提出一种基于单目视觉的虚拟鼠标实现方法,只需要使用单个摄像头,即可对裸手手势进行识别进而模拟真实鼠标动作,最后基于该方法开发了基于单目视觉的虚拟鼠标系统;首先,根据色度信息,分割手部肤色区域;然后,基于指尖的形态学特征识别指尖点,并过滤以排除误检点;最后根据指尖点及其坐标控制光标模拟鼠标动作;实验结果表明,该系统设备简单、精度较高,完全可以实现各种鼠标动作的模拟.【期刊名称】《计算机测量与控制》【年(卷),期】2015(023)010【总页数】3页(P3543-3544,3548)【关键词】虚拟鼠标;指尖检测;手势;曲率;增强现实【作者】权巍;张超;赵璘;包铁壮;曹玉玲【作者单位】长春理工大学计算机科学技术学院,长春 130022;长春理工大学计算机科学技术学院,长春 130022;长春理工大学计算机科学技术学院,长春 130022;长春理工大学计算机科学技术学院,长春 130022;长春理工大学计算机科学技术学院,长春 130022【正文语种】中文【中图分类】TP391增强现实技术是一种将真实世界和虚拟世界“无缝”融合的新技术［1］。
它随着虚拟现实技术［2］的发展而产生，近几年来已经成为一个研究热点。
使用增强现实技术的系统被广泛地应用在视频监控、机器人控制、媒体广播、远程会议等领域中。
增强现实技术力图为体验者提供一个和谐自然的交互环境，从而无缝地融合虚拟和真实的世界［3］。
手势是一种非常直观的表达方式，在增强现实系统的交互过程中使用手势进行控制符合人的交互习惯，提高了人机交互的真实感和沉浸感。
虚拟鼠标就是指通过使用计算机视觉的方法来识别出人们的手势输入，从而模拟出鼠标的具体动作。
虚拟鼠标技术基于手势识别技术实现，不需要真实鼠标，只需要使用一些手势动作便可模拟真实鼠标。
基于视线追踪的眼控鼠标设计
基于视线追踪的眼控鼠标设计朱麒文;闫隆鑫;张若兰;张帅;杨兰兰【期刊名称】《电子器件》【年(卷),期】2016(039)002【摘要】以Visual Studio为平台，OpenCV计算机视觉库为基础，辅助以单片机、传感器、无线传输模块等自主研发了一套头戴式视线追踪系统，完成瞳孔提取、视线追踪定位、眨眼检测等功能，实现眼球替代鼠标完成对电脑的指令。
创新性地提出了椭圆拟合与积分投影去噪法等方法，以消除头部微小移动对定位带来的影响，使系统具有高的精确度和良好的实用价值。
%With the platform of Visual Studio,the basis of OpenCV computer vision library and the assistance of a MCU,sensors and wireless transmission modules,a head-mounted eye tracking system is built. The system accom⁃plished pupil extraction,eye tracking positioning,blinking detection and other functions which enabled eyes instead of mouse to complete computer instructions. Innovative methods have been presented:integral projection denoising, capturing the pupil center through ellipse fitting algorithm,etc. This series of methods eliminates the influence of slight movement of the head on positioning accuracy,endowing the system with high accuracy and practicality.【总页数】7页(P235-241)【作者】朱麒文;闫隆鑫;张若兰;张帅;杨兰兰【作者单位】东南大学电子科学与工程学院，南京210096;东南大学电子科学与工程学院，南京210096;东南大学电子科学与工程学院，南京210096;东南大学电子科学与工程学院，南京210096;东南大学电子科学与工程学院，南京210096【正文语种】中文【中图分类】R339.14【相关文献】1.基于视线追踪,产品设计概念可用性评价方法 [J], 王秋惠;杨爱慧;任成元2.眼控鼠标的研究 [J], 刘丽娟;李欣3.基于视线角度的人眼视线检测研究 [J], 李涛4.基于视线跟踪技术的眼控鼠标 [J], 胡畔;董春鹏;吴晓荣5.基于人眼特征信息的驾驶人眼视线估计 [J], 朱立新;付锐;郭应时;袁伟因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于单摄像机视线跟踪的眼控鼠标∗刘瑞安1, 2+，靳世久1，吴晓荣21(天津大学 精密测试技术及仪器国家重点实验室，天津 300072)2(天津师范大学 物理与电子信息学院，天津 300074)摘 要：提出一种能对用户头部位置变化自动适应的视线跟踪方法，减少了系统对使用者的头部限制。
依据瞳孔边界点的灰度信息、梯度信息及瞳孔边界曲线的平滑信息综合判据，给出了一种提取瞳孔边缘点的一维算法；为提高系统的分辨率和精确度，提出了一种眼睛红外图像中瞳孔亚像素边缘检测与中心定位算法。
利用眼睛角膜反射光斑和瞳孔中心的位置关系来确定视线方向，推导出人眼在计算机屏幕上的注视点，进而实现人眼对鼠标的定位与操作，其在显示屏上定位精度可达到40像素以内。
关键词：视线跟踪；眼控鼠标；角膜反射；边缘检测；亚像素；椭圆拟合1. 引言眼睛是人类从周围世界中获取信息的重要器官，也是反映人的心理活动的窗口。
将视线应用于人机交互可带来直接性、自然性和双向性[1]等优点。
眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道，将人的眼睛作为输入媒介，通过眼睛盯视，对外部设备进行控制可以实现多任务操作，在一些工业控制、机器人学和临床医学上有着广泛的发展前景。
目前，人机交互已成为计算机科学研究的一个越来越重要的领域。
在个人电脑飞速发展的今天，鼠标一直是最为重要的人机交互设备之一。
而眼控鼠标是利用图像处理技术对捕获的眼睛图像进行处理，提取人眼视线方向及注视点位置，进而实现人眼对鼠标的定位与操作。
视线跟踪技术是未来智能人机接口的关键技术之一，在人机交互领域有着广阔的应用前景。
国际上一些公司与科研机构正致力于眼控鼠标的开发与研究，日本净冈大学的海泽嘉教授开发出一种可以用眼球控制的鼠标系统；布拉格捷克技术大学的研究人员也推出了一款可用眼睛控制电脑的操作系统。
视线方向的识别、跟踪，是实现眼控鼠标的关键技术。
而利用角膜反射原理的视线跟踪技术，具有非侵入的优点，近年来取得了较快进展，人们也进行了将该技术应用于人机交互领域的大量研究工作[2,3]。
该技术在用户头部不动情况下可获得较高精度，但对头动敏感。
为减少对用户的限制，Sugioka[4]使用超声技术测得CCD和人眼之间的距离，Ebisawa[5]增加两个摄像机来获得眼睛的三维空间坐标。
这不仅增加了系统复杂性，且系* 基金项目：天津市高等学校科技发展基金项目（20051017）* 刘瑞安，Email: wdxylra@统精度受位置测量精度的局限。
为克服上述困难，本文提出了一种能对用户头部位置变化自动适应的视线跟踪方法，实现了人眼对鼠标的定位与操作。
2. 系统原理与控制模型系统采用角膜反射原理。
近红外光源发出的光在用户眼睛角膜上形成高亮度反射点(glints)，利用瞳孔中心和光斑的相对位置关系确定视线方向。
硬件组成如图1所示。
图1 系统硬件结构框图使用云台，摄像机能作二维扫描，保证用户眼睛始终在摄像机视场范围内。
采用近红外光源，在显示屏幕两侧及摄像机物镜上装有近红外LED。
CCD物镜采用电动三可变镜头，镜头前置带通滤光片去除可见光影响。
系统示意图如图2所示。
图2 系统示意图及视线模型CCD捕获的眼睛图像通过图像采集卡，送计算机进行图像处理，提取瞳孔、光斑信息,对鼠标进行相应操作。
计算机通过串口与下位机通讯，由单片机控制摄像机云台、LED光源及物镜的光圈、聚焦、变焦。
捕获眼睛图像示意图如图3所示。
头不动情况下，当眼球转动注视屏幕上不同位置时，由于眼球近似为球体，光斑位置不变，瞳孔中心相对光斑发生偏移，眼睛转动视线发生变化由位矢OP反映。
头前后移动，Glint2和Glint3间距离 d=d1+d2 发生变化；头水平移动，d1和d2大小比发生变化。
利用光斑 Glint2和Glint3 的中间位置控制云台；以光斑 Glint2和Glint3 的间距为依据调节镜头焦距，保证光学系统成像放大率不变，克服头部前后运动影响；利用光斑的灰度值来调节物镜光圈及LED 发光功率；依据瞳孔边界点的梯度平均值和光斑大小调节聚焦。
由于头部运动,图像中眼睛丢失时，开大CCD 视场，关闭 LED2和LED3，此时仅 LED1亮，它和CCD 光轴同轴，出现亮瞳孔现象；而 LED2和LED3 打开时，对应暗瞳孔图像。
利用明、暗图像差法[2,3,5,6]，可克服环境干扰，快速搜索到眼睛位置。
图3 捕获图像示意图3. 瞳孔中心精确定位3.1 瞳孔边界点提取很多算法对整个眼睛图像利用边缘算子提取瞳孔边界，考虑到瞳孔边界只占图像很小部分，故这些方法时间开销大，效率不高。
依据光斑位置，确定瞳孔搜索区域。
利用搜索窗内瞳孔二值化图粗定瞳孔中心，并作为搜索瞳孔边界的起始点。
在不同方向上做一维扫描，在搜索线上感兴趣区域，结合像素点灰度值、梯度值及边界曲线的平滑特性，由（1）式通过寻找最大值，决定边缘点位置r ，提取边界点。
)())(()()(1210−−−−−=n r r k Ip r I k r G k r f (1) f 为判据函数，)(r I 为搜索点灰度值，Ip 为瞳孔阈值，)(r G 为搜索点梯度值，由一维梯度算子[-1 0 1]计算得到，1−n r 为相邻搜索线上得到的边界点半径，0k 、1k 、2k 为由试验定值的权重参数。
考虑到东方人眼敛常常张的不是特别开的特点，常出现瞳孔被眼敛、眼睫毛部分遮挡；在眼睛及头部运动情况下，光斑有时落在瞳孔边界上或附近区域。
在瞳孔边界点提取过程中，受遮挡影响及边界上的其它噪声（像阴影、光斑等），会产生一些虚假边界点，如图4中p1、p2点，其存在严重影响后续椭圆拟合算法，进而影响瞳孔中心定位。
剔除虚假边界点，才能进一步提高定位精度。
图4中P1为粗定瞳孔中心，P2为包含p1、p2时椭圆拟合中心，P3为剔除p1、p2后的拟合中心。
Ohno [7]利用两次椭圆拟合来去除干扰。
Starburst 算法[8]采用填充方法，将光斑删除，根据邻近区域灰度值对其插值填充。
上述算法复杂且耗时。
根据光斑所处位置，将搜索到的光斑附近的瞳孔虚假边界点直接剔除，简单省时。
对眼敛遮挡，依据相邻边界点连线的导数变化情况，确定为虚假边界点后采用了类似处理方法。
图4 去除瞳孔边界处干扰示意图剔除虚假边界点后，在搜索线方向上，对得到的像素级边缘点前后邻近的几个像素点计算其一维梯度值，然后对亚像素位置进行梯度的一维多项式插值，通过寻找局部极值点得到亚像素位置精度的边缘点位置，提高系统的精度和分辨率。
3.2 瞳孔中心定位瞳孔经光学系统在CCD 成像为平面椭圆，所以对提取的边缘点进行椭圆最小二乘拟合链接成边界，即可确定瞳孔中心位置。
椭圆方程取为：022=+++++E Dy Cx By Axy x （2） 椭圆拟合可求得椭圆方程的5个参数A、B、C、D 和 E ，椭圆中心计算公式如下：B A AD BC x 4220−−=, BA AD D y 4220−−= （3） 实验图像经上述算法处理，处理效果图如图5所示。
图5 瞳孔边缘检测与中心定位4. 鼠标控制的实现图像中光斑面积小、亮度大，受干扰小，采用圆模型处理，提取光斑区域质心位置。
求出瞳孔中心坐标及光斑位置后，可得到瞳孔中心与光斑的位置相对偏移量。
用P1),(p p y x 表示瞳孔中心的图像坐标，),(g g y x 表示光斑参考位置（图3中点O ）的图像坐标。
瞳孔中心与光斑的位置相对偏移量为：g p g p y y dy x x dx −=−=, （4） 用),(Ys Xs 表示眼睛注视点的屏幕坐标。
通过多项式变换建立如下映射关系： ),(),(s s Y X dy dx f →：22)(5)(4))((3)(2)(10dy a dx a dy dx a dy a dx a a Xs +++++= （5） 22)(5)(4))((3)(2)(10dy b dx b dy dx b dy b dx b b Ys +++++= （6） 通过校准环节，可由最小均方差法定出参数5050~,~b b a a 。
被测水平移动，得到不同位置变换参数，经插值运算后可用于实测。
系统可工作在一般办公室环境，人眼距离计算机屏幕50-80cm 左右，屏幕17英寸，分辨率是1280x1024 pixels。
将屏幕区域划分为40×40像素的小方格，可依据测试者注视点的变化改变对应方格颜色。
针对不同测试者，先进行调校实验，设置各项参数后，基本能够实现对视线的跟踪与定位。
统计数据表明，准确率平均高达92%。
5. 结束语本文探讨的眼控鼠标以较高精度实现了鼠标的定位。
该技术可用于盯视输入系统，作为对键盘、鼠标等传统人机交互方式的补充，可应用于助残、机器人人机交互平台等。
未来工作主要针对提高跟踪速度，简化校准环节展开研究，以实现真正的非接触、高精度、可应用于多领域的实用视线跟踪技术。
参考文献[1] WANG JIAN. “Integration of eye-gaze, voice and manual response in multimodal user interface”. In Proc. of the IEEE International Conference on System, Man and Cybemetics. IEEE. 1995. Piscataway, N.J. P3938-3942.[2] Zhiwei Zhu, Qiang Ji. “Eye and gaze tracking for interactive graphic display”. Machine Vision and Applications. 2004. 15, P139-148.[3]B. Noureddin, P.D. Lawrence, C.F. Man. “A non-contact device for tracking gaze in a human computer interface”. Computer Vision and Image Understanding.2005.98, P52-82.[4]A.SUGIOKA, Y. EBISAWA, M. OHTANI. “Noncontact video-based eye-gaze detection method allowing large head displacements”. In: IEEE Internet. Conf. on Medicine and Biology Society. IEEE.1996. Amsterdam.P526-528. [5]YOSHINOBU EBISAWA. “Realtime 3D position detection of human pupil”.VECIMS 2004-IEEEInternational Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems. IEEE. 2004. Boston.P8-12.[6]DONG HYUN YOO, MYUNG JIN CHUNG. “A novel non-intrusive eye gaze estimation using cross-ratio under large head motion”. Computer Vision and Image Understanding.2005.98, P25-51.[7]T. OHNO, N. MUKAWA, A. YOSHIKAWA. “FreeGaze: a gaze tracking system for everyday gaze interaction”. In Proc. of Eye Tracking Research and Applications Symposium. ETRA.2002.New Orleans.P125-132.[8]DONGHENG Li, DAVID WINFIELD, DERRICK J. PARKHURST. “Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches”. /openEyes.Eye-Controlled Mouse Based on Eye-Gaze TrackingUsing One CameraLIU Rui-An1,2+, JIN Shi-Jiu1, WU Xiao-Rong21(State Key Laboratory of Precision Measuring Technology and Instruments, TianjinUniversity, Tianjin 300072,China)2(College of Phy sics and Electronic Information Science, Tianjin Normal University,Tianjin 300074,China)+ Corresponding author: Phn: +86-022-2371-0378, E-mail:wdxylra@Key words: gaze tracking; eye-controlled mouse; corneal reflection; edge detection; subpixel; ellipse fittingAbstract: An eye-gaze tracking method, which can make this system be adaptive to the user’s head movements freely, was put forward to alleviate the restriction on the user’s head movements. On the basis of the brightness, gradient of the edge points of the pupil and the smoothness of the pupil boundary, the edge points could be obtained by a 1D line search. To improve the resolution and accuracy of the system, a Sub-pixel edge detection algorithm was proposed in order to locate the center of the pupil accurately in IR image of the eye. The gaze direction was determined by the relationship between the position of the pupil center and the corneal reflections. The gaze point on the computer screen was derived and the mouse position could be determined through the eye. The accuracy of the position of the cursor on the screen is within 40 pixels.。