人眼定位跟踪系统的设计研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.1 课题背景 ................................................................................................................................. 1 1.2 视野计的研究进展 .................................................................................................................. 2 1.3 人眼检测跟踪技术的研究进展 ............................................................................................. 3 1.4 目标检测技术的发展与现状 ................................................................................................. 4 1.5 目标跟踪技术的发展与现状 .................................................................................................. 5 1.6 本课题的主要研究内容 ......................................................................................................... 7 1.6.1 研究目的 ........................................................................................................................ 7 1.6.2 研究内容 ........................................................................................................................ 7
II
重庆大学硕士学位论文
英文摘要
The software module is accomplished based on the platform of VC6.0 and OpenCV. The development cycle has been greatly shortened with the help of OpenCV library function. Additionally, major programming code and some experimental results was given in the end of the third chapter and fourth chapter. Keywords：Perimeter, Classifier, Eye Tracking, Jaw Bracket
重庆大学硕士学位论文
中文摘要
摘
要
全自动视野计是进行视野检查的主要医疗设备， 在青光眼的早期发现与治疗中 起着关键作用。在进行视野检查的过程中，需要监视被检者的固视情况。因此， 关于人眼定位跟踪的研究就显得尤为重要。 人眼的检测定位作为模式识别与计算机视觉领域内的重要课题早已引起 普遍重视。本文从实用角度出发，以检测系统的准确性和实时性为目的对多 种目标检测算法进行了对比分析。最终采用了基于积分图及 Ababoost 算法的 级联分类器用于人眼检测， 实现对输入图像中的人眼区域的检测与瞳孔定位。 通过视频流图像序列的检测结果分析可知：基于 Adaboost 算法的人眼检测系 统在对视频图像进行检测识别中，对视频流的帧率要求较高。当帧率过高时，系 统难以达到较好的识别效果。因此，本文继续引入了基于 Camshift 的人眼跟踪算 法,CamShift 算法是以颜色概率分布图为基础的目标跟踪算法。在该算法执行过程 中，首先需要对第一帧图像初始化目标搜索窗口，并求得目标质心；通过移动窗 口中心到目标质心，得到下一帧图像的搜索窗口。 然而，Camshift 是半自动跟踪算法，在每一次跟踪前必须手动添加跟踪目标。 本文采用将基于级联分类器的人眼检测算法与 Camshift 算法相结合的方法，方便 的解决了跟踪半自动化的问题。 人眼定位跟踪系统采用红外 CCD 摄像头采集人眼图像。 通过比对每帧图像的 瞳孔中心与图像窗口中心是否重合，采用串口通信技术向单片机发送指令， 调整下颚托架纵横坐标的位置，使得瞳孔中心始终位于固定位置，以保证视 野检查的准确度。 本课题的软件实现采用 VC6.0 与 OpenCV 相结合的软件平台，通过调用 OpenCV 库函数， 极大地缩短了系统的开发周期。 在本文第三、 第四章的结尾部分， 作者给出了主要编程代码及部分实验结果。 关键词：视野计，分类器，人论文
学生姓名：安大伟 指导教师：王秋晓 副教授 专 业：机械制造及其自动化
学科门类：工 学
重庆大学机械工程学院
二 O 一一年四月
Design and Study on Eye Location and Tracking System
A Thesis Submitted to Chongqing University in Partial Fulfillment of the Requirement for the Degree of Master of Engineering
III
重庆大学硕士学位论文
目
录
目
录
中文摘要 ..........................................................................................................................................I 英文摘要 ........................................................................................................................................ II 1 绪 论 ...................................................................................................................................... 1
By An Dawei
Supervised by Associate. Prof. Wang Qiuxiao Major： Mechanical Manufacture and Automation
College of Mechanical Engineering of Chongqing University , Chongqing, China April 2011
perimeterclassifiereyetrackingjawbracket重庆大学硕士学位论文11课题背景12视野计的研究进展13人眼检测跟踪技术的研究进展14目标检测技术的发展与现状15目标跟踪技术的发展与现状16本课题的主要研究内容161研究目的162研究内容21boosting算法211boosting算法的起源212boosting算法概述22adaboost算法10221强分类器的训练10222强分类器阈值分析1223特征与积分图像13231haarlike特征13232积分图1524弱分类器17241弱分类器的定义17242弱分类器阈值的确定1725分类器误检率分析1826本章小结2031级联分类器20311级联分类器的构建20312级联分类器的训练2132opencv基础22重庆大学硕士学位论文321概述23322opencv主要数据结构介绍2333vc60下的配置25331全局配置25332项目设置2634样本的选取与预处理2635静态图像人眼检测的实现27351基于opencv的目标检测函数27352静态图像人眼检测效果2936视频流图像人眼检测30361视频分帧处理30362视频流图像人眼检测效果3137本章小结基于camshift算法的人眼跟踪系统设计3441meanshift算法34411基本meanshift34412扩展的meanshift35413算法步骤3642颜色模型37421常用的颜色模型38422rgb模型到hsv模型的转换3943图像阶距4044camshift跟踪算法40441camshift算法流程40442初始化搜索窗41443搜索窗自适应原理4145camshift跟踪算法的改进4146算法实现及实验结果4345本章小结4751步进电机驱动控制47511步进电机控制原理48512驱动控制电路设计4952串口通信技术50重庆大学硕士学位论文vi521单片机的串口结构50522上位机串口编程52523下位机串口编程5353本章小结5661论文的工作总结5662下一步工作展望58参考文献62重庆大学硕士学位论文11课题背景人眼定位跟踪技术是模式识别与计算机视觉领域研究的重要课题眼睛定位作为人脸识别过程中的关键步骤最初在自动人脸识别系统中被提出随着近年来其在医疗器械视觉检测身份鉴别安全访问控制预防疲劳驾驶等领域的有着愈来愈重要的应用价值人眼的定位跟踪开始作为一个独立的
I
重庆大学硕士学位论文
英文摘要
ABSTRACT
The full-automatic perimeter is a primary armamentarium in vision inspection, which plays a key role in the early detection and treatment of glaucoma. During the process of vision inspection, it’s necessary to monitor the fixation condition of examiner’s eye. Therefore, to proceed the research on eye detection and tracking is particularly important. As an important subject in the field of pattern recognition and computer vision, the study on eye detection and location has been valued universally by researcher for a long time. In this paper, to design an accurate and fast eyes detection system, several target detection algorithms have been compared. Ultimately, cascade classifier based on integral image and Ababoost algorithm is adopt for eye detection and pupil localization. The detection results of video images show that the eye detection system based on Adaboost algorithm take higher requirements for frame rate. The System can hardly achieve a desired detection effect if there is a high frame rate.Therefore, CamShift algorithm is introduced for eye tracking, and it is a target tracking algorithm on the basis of color probability distribution. During the implementation of the algorithm, it’s necessary to initialize a search window for the first frame image and figure out its centroid. Then, the search window for later image would be get by move the pupil centre to target centroid. However, CamShift is a semi-automatic tracking algorithm and a target search window must be initialized manually. In this paper, the problem is solved conveniently by a new method combined eye detection algorithm with CamShift. The eye images are captured by infrared CCD camera in the system. After comparing each frame of the pupil center with the center of the image window, vertical and horizontal coordinates of the position of the jaw bracket are adjusted by microcontroller on basis of Serial communication technology to ensure the accuracy of vision inspection. Eye location tracking system uses infrared CCD camera capture eye images. By comparing each frame of the pupil center is coincident with the center of the image window, using serial communication to send commands to the microcontroller to adjust vertical and horizontal coordinates of the position of the jaw bracket, making the pupil center is always in a fixed location, to ensure the accuracy of vision inspection.
II
重庆大学硕士学位论文
英文摘要
The software module is accomplished based on the platform of VC6.0 and OpenCV. The development cycle has been greatly shortened with the help of OpenCV library function. Additionally, major programming code and some experimental results was given in the end of the third chapter and fourth chapter. Keywords：Perimeter, Classifier, Eye Tracking, Jaw Bracket
重庆大学硕士学位论文
中文摘要
摘
要
全自动视野计是进行视野检查的主要医疗设备， 在青光眼的早期发现与治疗中 起着关键作用。在进行视野检查的过程中，需要监视被检者的固视情况。因此， 关于人眼定位跟踪的研究就显得尤为重要。 人眼的检测定位作为模式识别与计算机视觉领域内的重要课题早已引起 普遍重视。本文从实用角度出发，以检测系统的准确性和实时性为目的对多 种目标检测算法进行了对比分析。最终采用了基于积分图及 Ababoost 算法的 级联分类器用于人眼检测， 实现对输入图像中的人眼区域的检测与瞳孔定位。 通过视频流图像序列的检测结果分析可知：基于 Adaboost 算法的人眼检测系 统在对视频图像进行检测识别中，对视频流的帧率要求较高。当帧率过高时，系 统难以达到较好的识别效果。因此，本文继续引入了基于 Camshift 的人眼跟踪算 法,CamShift 算法是以颜色概率分布图为基础的目标跟踪算法。在该算法执行过程 中，首先需要对第一帧图像初始化目标搜索窗口，并求得目标质心；通过移动窗 口中心到目标质心，得到下一帧图像的搜索窗口。 然而，Camshift 是半自动跟踪算法，在每一次跟踪前必须手动添加跟踪目标。 本文采用将基于级联分类器的人眼检测算法与 Camshift 算法相结合的方法，方便 的解决了跟踪半自动化的问题。 人眼定位跟踪系统采用红外 CCD 摄像头采集人眼图像。 通过比对每帧图像的 瞳孔中心与图像窗口中心是否重合，采用串口通信技术向单片机发送指令， 调整下颚托架纵横坐标的位置，使得瞳孔中心始终位于固定位置，以保证视 野检查的准确度。 本课题的软件实现采用 VC6.0 与 OpenCV 相结合的软件平台，通过调用 OpenCV 库函数， 极大地缩短了系统的开发周期。 在本文第三、 第四章的结尾部分， 作者给出了主要编程代码及部分实验结果。 关键词：视野计，分类器，人论文
学生姓名：安大伟 指导教师：王秋晓 副教授 专 业：机械制造及其自动化
学科门类：工 学
重庆大学机械工程学院
二 O 一一年四月
Design and Study on Eye Location and Tracking System
A Thesis Submitted to Chongqing University in Partial Fulfillment of the Requirement for the Degree of Master of Engineering
III
重庆大学硕士学位论文
目
录
目
录
中文摘要 ..........................................................................................................................................I 英文摘要 ........................................................................................................................................ II 1 绪 论 ...................................................................................................................................... 1
By An Dawei
Supervised by Associate. Prof. Wang Qiuxiao Major： Mechanical Manufacture and Automation
College of Mechanical Engineering of Chongqing University , Chongqing, China April 2011
perimeterclassifiereyetrackingjawbracket重庆大学硕士学位论文11课题背景12视野计的研究进展13人眼检测跟踪技术的研究进展14目标检测技术的发展与现状15目标跟踪技术的发展与现状16本课题的主要研究内容161研究目的162研究内容21boosting算法211boosting算法的起源212boosting算法概述22adaboost算法10221强分类器的训练10222强分类器阈值分析1223特征与积分图像13231haarlike特征13232积分图1524弱分类器17241弱分类器的定义17242弱分类器阈值的确定1725分类器误检率分析1826本章小结2031级联分类器20311级联分类器的构建20312级联分类器的训练2132opencv基础22重庆大学硕士学位论文321概述23322opencv主要数据结构介绍2333vc60下的配置25331全局配置25332项目设置2634样本的选取与预处理2635静态图像人眼检测的实现27351基于opencv的目标检测函数27352静态图像人眼检测效果2936视频流图像人眼检测30361视频分帧处理30362视频流图像人眼检测效果3137本章小结基于camshift算法的人眼跟踪系统设计3441meanshift算法34411基本meanshift34412扩展的meanshift35413算法步骤3642颜色模型37421常用的颜色模型38422rgb模型到hsv模型的转换3943图像阶距4044camshift跟踪算法40441camshift算法流程40442初始化搜索窗41443搜索窗自适应原理4145camshift跟踪算法的改进4146算法实现及实验结果4345本章小结4751步进电机驱动控制47511步进电机控制原理48512驱动控制电路设计4952串口通信技术50重庆大学硕士学位论文vi521单片机的串口结构50522上位机串口编程52523下位机串口编程5353本章小结5661论文的工作总结5662下一步工作展望58参考文献62重庆大学硕士学位论文11课题背景人眼定位跟踪技术是模式识别与计算机视觉领域研究的重要课题眼睛定位作为人脸识别过程中的关键步骤最初在自动人脸识别系统中被提出随着近年来其在医疗器械视觉检测身份鉴别安全访问控制预防疲劳驾驶等领域的有着愈来愈重要的应用价值人眼的定位跟踪开始作为一个独立的
I
重庆大学硕士学位论文
英文摘要
ABSTRACT
The full-automatic perimeter is a primary armamentarium in vision inspection, which plays a key role in the early detection and treatment of glaucoma. During the process of vision inspection, it’s necessary to monitor the fixation condition of examiner’s eye. Therefore, to proceed the research on eye detection and tracking is particularly important. As an important subject in the field of pattern recognition and computer vision, the study on eye detection and location has been valued universally by researcher for a long time. In this paper, to design an accurate and fast eyes detection system, several target detection algorithms have been compared. Ultimately, cascade classifier based on integral image and Ababoost algorithm is adopt for eye detection and pupil localization. The detection results of video images show that the eye detection system based on Adaboost algorithm take higher requirements for frame rate. The System can hardly achieve a desired detection effect if there is a high frame rate.Therefore, CamShift algorithm is introduced for eye tracking, and it is a target tracking algorithm on the basis of color probability distribution. During the implementation of the algorithm, it’s necessary to initialize a search window for the first frame image and figure out its centroid. Then, the search window for later image would be get by move the pupil centre to target centroid. However, CamShift is a semi-automatic tracking algorithm and a target search window must be initialized manually. In this paper, the problem is solved conveniently by a new method combined eye detection algorithm with CamShift. The eye images are captured by infrared CCD camera in the system. After comparing each frame of the pupil center with the center of the image window, vertical and horizontal coordinates of the position of the jaw bracket are adjusted by microcontroller on basis of Serial communication technology to ensure the accuracy of vision inspection. Eye location tracking system uses infrared CCD camera capture eye images. By comparing each frame of the pupil center is coincident with the center of the image window, using serial communication to send commands to the microcontroller to adjust vertical and horizontal coordinates of the position of the jaw bracket, making the pupil center is always in a fixed location, to ensure the accuracy of vision inspection.