基于标识的增强现实系统的研究

I
杭州电子科技大学硕士学位论文
ABSTRACT
Augmented Reality (AR) is a combination of virtual environment and real environment. It uses the known information in the real world to track and register, then integrates the virtual objects which is generated by computer into the real world, displays the final image by means of display device at last .AR will make us to have a better understanding of our world.AR has its wide application prospect. Many users have PC and webcam. This meets the basic requirement for desk-top AR system. The registration based on markers has a high accuracy and requires no complex track hardware. The mark is easy to track. So the research of AR system based on markers is somewhat practical and significant. The main purpose of this thesis is to implement a simple AR system based on Marker. According to analyzing result of characteristic of the augmented reality system, we develop this AR system with ARToolKit and OpenCV SDK. Tracking by ARToolKit marker, we use finger-tip as interactive means. The main works have three points: 1. Through the study of the concept, application of AR, we summarize the three main technologies, and give the analysis of the pros and cons of these technologies, propose that the marker-based registration suits current AR application because of its portable and high real-time performance. 2. We describe the principle of marker-based registration and analyze four kinds of AR tools based on marker which are very popular, then select ARToolKit as our research object. We give a simple introduction of the feature and architecture of ARToolKit, make a deep research for ARToolKit modules and registration algorithm. In view of the pose ambiguity, we improve registration module of ARToolKit. Aming at the defect of ARToolKit registration module—pose ambiguity, uses globally convergent pose estimation algorithm and robust pose estimation algorithm from a planar target which was proposed by Gerald Schweighofer to improve the original registration module. The experiment result shows that the improved module could reduce the probability of pose ambiguity and it is more robust than original registration module. 3. To develop a simple finger-interactive AR system based on marker, we use ARToolKit for advanced development, and then use OpenGL and Metasequoia modeling software to do graphics rendering .Using the improved ARToolKit algorithm to realize the registration, we use finger-tip to interactive with the virtual menus to control the virtual model. The action was decided by judging whether the finger-tip was in the virtual menu areas through finger-tip detecting in image space. This AR system has a simple hardware and convenient operation. Experimental results demonstrate the system is effective to detect the correct position of finger-tip and it is real-time when the
论文作者签名：
日期：
年
月
日
学位论文使用授权说明
本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕业离校后，发表论文或 使用论文工作成果时署名单位仍然为杭州电子科技大学。学校有权保留送交论文的复印件， 允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其 它复制手段保存论文。 （保密论文在解密后遵守此规定）
原创性声明
本人郑重声明： 所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得 的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过 的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。
II
杭州电子科技大学硕士学位论文
intensity of light is moderate. Keywords：Augmented Reality, Marker, Registration Technology, Human Interaction, ARToolKit
III
杭州电子科技大学 学位论文原创性声明和使用授权说明
杭州电子科技大学 硕士学位论文 基于标识的增强现实系统的研究 姓名：盛君 申请学位级别：硕士 专业：计算机应用技术 指导教师：王毅刚 20091201
杭州电子科技大学硕士学位论文
摘
要
增强现实(Augmented Reality， 简称AR)是虚拟现实与真实环境相结合的产物， 它利用已知 的真实环境中的信息进行三维注册，然后将计算机生成的虚拟信息融合到真实的环境中，用 显示设备将虚实融合后的效果显示出来，以达到加深用户对真实世界的认识的目的。增强现 实技术拥有广泛的应用前景，而且目前已有相当多的用户拥有PC机以及网络摄像头，这已满 足桌面AR系统的基本要求。而基于标识的跟踪技术注册精度较高，不需要复杂的硬件跟踪设 备，同时标识物的获取极为容易。因此基于标识的AR系统研究就具备了一定的现实意义。 本文的研究目标是实现一个基于标识的增强现实系统。根据基于标识的AR系统的特点， 本文利用ARToolKit、OpenCV等开源软件库进行基于标识的增强现实系统的二次开发，使用 ARToolKit标记作为本文实验的标记块，利用手指交互作为本文AR系统的交互手段。具体包 括以下三方面的工作： 1．通过对增强现实的概念、主要应用、研究现状的研究，总结了增强现实中的三个关键 技术，分析了各种技术的优缺点。并且指出基于标识的跟踪注册技术具备标识识别率高，携 带性强，系统实时性强，适合目前的AR应用开发。 2． 介绍了基于标识的跟踪注册技术的主要原理以及目前四种较为常用的AR标记系统。 本 文选择了ARToolKit作为基于标识增强现实系统的主要研究对象。介绍了ARToolKit开发库的 特点、体系结构以及主要模块，并深入研究其注册模块，包括标记物的识别以及各个坐标系 的矩阵转换。针对ARToolKit注册模块中的缺陷——容易产生位姿歧义(pose ambiguity)的现 象，结合Gerald Schweighofer提出的位姿估计算法以及快速全局位姿估计算法，对ARToolKit 注册模块进行了改进。 实验结果表明， 改进后的ARToolKit模块有效的降低了位姿歧义的现象， 增强了注册的鲁棒性。 3．开发了一款简单的基于标识的手指交互系统。使用 ARToolKit 标记作为该系统跟踪注 册的标记块，并且利用 ARToolKit 开发库进行 AR 系统的二次开发，结合了水杉建模软件以 及 OpenGL 实时图形渲染来实现虚拟物体的生成。系统利用 ARToolKit 改进算法进行虚实注 册，并且采用了手指交互这一新型交互手段，通过对手指指尖的检测，在图像空间判断其是 否落在虚拟菜单项的投影区域来控制虚拟物体的操作。该系统硬件设备简单，使用方便。实 验结果表明，系统能有效地检测出手指指尖的位置，并且在光照适中的情况下三维注册效果 良好，具备一定的实时性。 关键词：增强现实，标识，注册技术，人机交互，ARToolKit
论文作者签名：
日期：
年
月
日
指导教师签名：
日期：
年
月
日
杭州电子科技大学硕士学位论文
第1章
1.1 研究的背景与意义
绪论
增强现实(Augmented Reality，简称 AR)是将虚拟事物叠加到真实环境中从而实现虚实融 合效果，它是在虚拟现实(Virtual Reality，简称 VR)基础上发展起来的一种新兴技术，近年来 已经成为计算机视觉、计算机图形学等领域的一个研究热点。 增强现实技术的应用领域非常广泛，从博物馆展览、医疗上的远程手术、工业上的训练 指导等应用领域，到一些与人类生活更为接近的领域：如新闻、娱乐以及教育事业。美国巴 特尔研究所在一项研究报告中列出 10 个 2020 年最具战略意义的技术趋势，这些趋势将决定 着未来一个时期的社会发展特征，其中排名第 10 位的便是增强现实技术。因此增强现实技术 的研究就成为一个必然的趋势。 近年来随着计算机视觉、传感技术的飞速发展，为增强现实技术的发展提供了强有力的 技术支撑。增强现实技术具有虚实结合、实时交互以及三维注册的特点。三维注册所要完成 的任务是实时地检测出使用者头部的位置和视线方向，计算机根据这些信息确定所要添加的 虚拟信息在投影平面中的映射位置，并将这些信息实时显示在显示屏的正确位置[1]。无论是 实时交互还是虚实结合，它都需要虚拟物体能和现实场景具有一个良好的配准关系。三维注 册直接关系到一个增强现实系统的成功与否。因此三维注册就成为一个增强现实技术中至关 重要的技术。所以对增强现实中的三维注册算法的研究就显得更为重要。 一般而言，AR 系统或者是基于视觉跟踪，或者是基于传感器跟踪，或者是基于混合跟踪 注册方法。后两者均需要借助硬件跟踪设备来实现 AR 系统的跟踪与注册，而硬件跟踪设备 的价格相对比较昂贵，而基于视觉的增强现实系统对硬件要求比较低，不需要复杂的硬件跟 踪设备，因此它相较基于传感器的增强现实系统更具有广阔的市场需求。而在基于视觉的增 强现实中，基于标识的增强现实系统注册精度较高，成本较低，而且 AR 标识容易获取，易 于跟踪，方便携带，在 AR 发展中越来越重要。同时，PC 机以及网络摄像头的普及，已经满 足基于标识的 AR 系统的基本要求。这些使基于标识的 AR 系统成为推广 AR 应用的首选。 介于我国增强现实技术的起步较晚，而基于标识的增强现实系统具有比较重要的现实意 义，因此本课题的提出与研究就更具意义。