增强现实技术综述

增强现实技术综述
马福强
（北京理工大学光电学院）
摘要：增强现实是指将虚拟物体叠加到显示场景中，并支持使用者与其进行交互，它已经成为当今虚拟现实研究中的一个重要分支。

本文首先概述了增强现实领域内的主要研究内容和进展情况，并对增强现实的实现系统进行了描述，然后重点介绍了增强现实中的关键技术及现在取得的一些成果，最后描述了增强现实的广泛应用和广阔的应用前景。

关键词：增强现实，跟踪注册，显示技术
1、引言
增强现实（Augmented Reality, AR）是虚拟现实（Virtual Reality, VR）的基础上发展起来的，AR是VR的技术延伸，同时两者又有着明显的界线与区别。

VR 是将计算机图形学、计算机仿真技术、人机交互技术、传感技术、人工智能、多媒体技术等综合集成，产生逼真的视、听、触觉一体化的特定范围的三维虚拟环境，使用者可以自然地和虚拟环境中的客体进行交互，相互影响。

与VR所要达到的完全沉浸在虚拟环境中的效果不同的是，AR的目标是将计算机生成的文本信息、图像、虚拟3D模型、视频或场景等实时准确的叠加到使用者所感知的真实景物上，实现虚拟场景和真实场景的有机融合。

因此AR是虚拟环境与真实场景之间的一座桥梁，实现了对现实世界信息的增强，提高使用者对真实世界的感知能力。

在AR中，使用者同样可以通过各种方式来与虚拟物体进行交互。

AR技术不仅提供了一种更容易实现的虚拟现实的方法，更代表了下一代更易使用的人机界面的发展趋势。

近年来，随着计算机性能的提高和图形学与视觉技术的发展，AR技术逐渐成为了国内外广大学者们研究的热点，其应用领域也越来越广泛，包括医疗、军事、工业、教育、娱乐、城市规划、旅游展览和可视化信息检索服务等。

美国巴特尔研究所将AR技术列为二十一世界十大最具战略意义的技术之一。

2、增强现实的研究与进展
2．1、国外研究与进展
20世纪90年代初期，波音公司的Tom Caudell和他的同事第一次提出了“增强现实”（Augmented Reality）的概念[1]。

但不得不说的是在1966年，美国人伊万萨瑟兰（Ivan Sutherland）教授发明了头盔显示器，并在1968年使用光学透视头盔显示器开发了世界上第一套增强现实系统，同时也是第一套虚拟现实系统[2]。

此后的二十多年中增强现实技术一直是一些机构的研究热点，直到波音公司在飞机铺线工作中将材料的虚拟信息添加到工作人员的头盔显示器中帮助工作人员工作，才在真正意义上实现了将计算机产生的虚拟信息叠加到真实环境中。

实时出现在机械师视线中的虚拟信息为他们提供了指导，提高了工作效率，而增强现实技术由此也受到工业界的重视。

随着移动计算机和跟踪设备取得重大突破，在90年代中后期，哥伦比亚大学开发出了最早用于户外的移动增强现实原型系统——Touring Machine，该系统通过向游客的头盔显示器中添加与游客视野中建筑和文物相关的3D图形信息为游客提供游览帮助[3]。

此后增强现实系统则遍地开花，陆续出现在了各行各业，例如齐妮尔（Kirner）、克劳迪奥（Claudio）等学者运用增强现实技术，改善了网络环境中人际交流的方式[4]；兰姆（Lam）、阿尔伯特（Albert H.T）等人结合真实世界的游戏与电脑游戏的优点，开发出一款名为“增强现实桌”（Augmented Reality Table）的游戏，它利用头盔式摄像机来感知纸牌的输入和真人玩家的命令操作，通过交互式的游戏环境使真人玩家与3D模型玩家进行互动，从而产生更有吸引力的用户体验[5]；2012年4月4日，美国著名互联网巨头谷歌公布的“Project Glass”的电子眼镜产品计划，即谷歌眼镜，这款增强现实产品具有智能手机所能提供的各类服务，镜片具有微型显示屏的功能，其可将信息传送至镜片，并允许课穿戴用户通过声音控制收发信息[6]。

另外，在著名打印机生产商爱普生的协助下，创业公司Meta也开发出了一款现实增强眼镜，它主要借助独特的双手立体空间手势识别功能，搭载了爱普生生产的Moverio BT-100可穿戴式双眼显示器，并在设备顶端配备了低延迟的三维摄像机，虽然这款设备仍处于原型研发阶段，但该设备有望给增强现实设备领域带来革命性的影响[7]。

学术界也不失时机的开展了对增强现实技术的研究，国内外知名大学和研究机构的力量投入推动了增强现实技术的发展。

查启亚农（Zakiah Noh）等学者探讨了如何使计算机生成的虚拟物体更好地与真实场景的融合方法[8]；而Knorlein等学者则针对增强现实应用系统中不可避免地出现视觉延迟的现象进行了实验验证[9]。

同时很多
学者在增强现实技术所涉及到的摄像机实时跟踪、三维标定、虚实融合、视频帧处理、虚拟场景的高逼真渲染及人机交互等技术领域取得了一定成果。

2.2、国内研究与进展
国内有关增强现实技术的研究相比国外而言起步明显较晚，但在近几年也得到了深入发展，北京理工大学光电信息技术与颜色工程研究所、浙江大学计算机辅助设计与图形学国家重点实验室、电子科技大学移动计算机研究中心、国防科技大学等高校开展了增强现实技术的系统研究，在AR现实技术、摄像机校准算法、跟踪注册算法等方面取得了一定成果。

其中，北京理工大学较早的将增强现实技术应用到文物复原中，并在2002年提出，2006年正式实施完成了运用增强现实技术数字化重建圆明园计划[10]，在之后的研究中，北京理工大学还将增强现实技术应用到模拟军事演练中；国防科技大学对基于增强现实的虚拟实景空间的研究与实现[11]；华中科技大学对基于增强现实的遥操作关键技术进行了研究，提出了一种基于视觉的增强现实跟踪注册方法和基于实时定标策略的虚实配准方法，设计了一种基于标示焦点与全局单应性矩阵相结合的三维注册方法[12]；浙江大学以基于定位标记的视频检测为基础，从增强现实环境中的阴影生成方法和光线检测算法入手，提出以场景管理为核心的增强现实软件框架ARSGF[13]。

在国内增强现实的应用也得到了快速发展，其中2013年央视春晚的科技感和观赏性十足的舞台效果让亿万观众有一个全新的体验，其中增强现实等3D互动技术的应用，使舞台空间变化、意向环境等呈现在电视屏幕上，给电视观众带来了前所未有的视觉冲击。

此后，增强现实广泛应用于媒体界。

除此之外，增强现实技术还广泛应用于军事训练、建筑规划等多个领域。

3、增强现实系统的关键技术
增强现实技术的三大特征是虚实结合、实时交互和三维尺度上的匹配，这主要通过显示技术、交互技术、多种传感技术和计算机图形与多媒体技术等的结合来实现。

一个典型的增强现实系统通常由场景采集系统、跟踪注册系统、虚拟场景发生器、虚实合成系统、显示系统和人机交互界面等多个子系统构成。

其中，场景采集系统负责获取真实环境中的信息，如外界环境或视频；跟踪注册用于跟踪观察用户的头部方位和视线方向等；虚实合成系统是指虚拟场景和真实场景对准的定位设备和算法。

增强现实系统中，输入图像经过处理组织建立起实景空间，计算机生成虚拟对象
依几何一致性嵌入实景空间中，形成虚实融合的增强现实环境；这个环境再输入到显示系统中呈现给使用者；最后使用者通过交互设备与场景环境进行互动。

其中，让虚实结合的注册步骤非常关键，和最后的显示输出端一起，决定了使用者对环境的最终感知效果。

而虚拟对象的生成也直接影响着使用者的体验效果。

因此称虚实结合的注册技术、虚拟对象的生成技术和显示技术为增强现实系统的三大关键技术。

3.1、跟踪注册技术
为了实现虚拟信息和真实场景的无缝叠加，这就要求虚拟信息与真实环境再三维空间位置中进行配准注册。

这包括使用者的空间定位跟踪和虚拟物体在真实空间中的定位两个方面的内容。

而移动设备摄像头与虚拟信息的位置需要相对应，这就需要通过跟踪技术来实现。

跟踪注册技术首先检测需要“增强”的物体特征点以及轮廓，跟踪物体特征点并生成二维或三维坐标信息。

跟踪注册技术的好坏直接决定着增强现实系统的成功与否，常用的跟踪注册方法有四种：基于跟踪器的注册、基于机器视觉跟踪注册、基于无线网络的和混合跟踪注册技术。

基于跟踪器的注册方法普遍采用惯性、超声波、电磁、光学、无线电波或机械装置等进行跟踪。

其中，惯性导航装置通过惯性原理来测定使用者的运动加速度，通常所指的惯性装置包括陀螺仪和加速度计；超声波系统利用测量接受装置与3个已知超声波源的距离来判断使用者位置；电磁装置通过感应线圈的电流强弱来判断用户与人造磁场中心的距离，或利用地球磁场判断目标的运动方向；光学系统使用CCD传感器，通过测量各种目标对象和基准上安装LED发出的光纤来测量目标与基准之间的角度，并通过该角度计算移动目标的运动方向和距离；机械装置则是利用其各节点间的长度和节点连线间的角度定位各个节点。

基于机器视觉的跟踪注册主要有基准点法，模板匹配法，仿射变换法和基于运动图像序列的方法等。

其中，基准点方法需事先对相机进行标定，并设置相应的标记或基准点，然后对获取的图像进行分析，以计算相机的位置和姿态。

其原理是先从图像中提取一些已知的对象特征点，找到真实环境和图像中对应点的相关性，然后由相关性计算出对象姿态，这个过程就是对从世界坐标转换到摄像机坐标的模型视图矩阵的求解过程。

模板匹配法同样需要事先对相机标定内部参数，再通过图像分析处理提取环境中平面上的特定图形图案，并与已有的模板进行匹配，匹配成功即可确定该图案板的位置和姿态，因而确定要叠加在图案上虚拟对象的位置和姿态。

仿射变换法不易
获得准确的深度信息和实时跟踪作为仿射坐标系基准的图像特征点；基于图像序列的方法难以保证观测点位置获取的实时性。

一个实际的增强现实系统，仅仅使用一种方法所获得的精度和使用范围都不能满足实际需要，又容易受到外界干扰，因而往往几种方法结合起来使用。

3.2、显示技术
典型的增强现实应用除了上述技术之外，还依赖与设备的显示技术，为了达到逼真的虚实融合的展示效果，高效率的显示技术和显示设备必不可少。

目前，增强现实系统中的显示器可以分为头盔显示器(HMD)和非头盔显示设备。

目前，一般的增强现实系统主要使用透视式头盔显示器。

透视式头盔显示器主要由三个基本环节构成：虚拟信息显示通道、真实环境显示通道、图像融合及显示通道。

其中，虚拟信息的显示原理与虚拟现实系统所用的浸没式头盔显示器基本相同；图像融合与显示通道是与用户交互的最终接口，根据其中真实环境的表现方式，可分为基于CCD摄像原理的视频透视式头盔显示器和基于光学原理的光学透视式头盔显示器两类。

视频透视式头盔显示器首先由安装在头盔上的两个微型CCD摄像机摄取外部环境的图像，然后将计算机图像学生成的信息或图像叠加在摄像机视频上，通过视频信号融合器实现计算机生成的虚拟场景与真实场景融合，最后通过显示系统呈现给使用者。

光学透视式头盔显示器则通过一对安装在眼前的半透半反的光学合成器实现对真实环境与虚拟信息的融合：真实场景直接透过半透半反透镜呈现给使用者，经过光学系统放大的虚拟场景经半透半反透镜反射而进入眼睛。

非头盔式的显示设备一般包括手持显示器、CRT或平面LCD显示器、投影成像系统、自由立体显示器以及一些特殊场合专用的显示设备。

其中较特别的有头戴式投影器、眼镜式显示器和视网膜投影显示等。

3．3、虚拟物体生成技术
增强现实的目标是在屏幕上把虚拟世界套在现实世界并进行互动，所以在准确的跟踪注册技术的基础上，要提高增强现实系统的效果，还需要保证所生成的虚拟物体真实感和实时性强。

如谷歌眼镜推出的增强现实眼镜，在用户观测到一个物体后，镜片就能迅速呈现该物体的相关信息，其中真实感和实时性是虚拟物体生成的两个最主要的性能判断标准。

4、增强现实技术的应用及总结
增强现实技术作为虚拟现实的一个延伸充分继成并发展了虚拟现实的各方面的优势，它综合了计算机图形、多媒体、实时跟踪及注册、融合显示等多门学科，在医学、教育、文化遗产保护、媒体等领域都有着广泛的应用前景。

在文化遗产保护的应用中，北京理工大学开展的运用增强现实技术数字化重建圆明园计划；也可将增强现实技术应用于博物馆展览中，采用虚实结合的方式，将被动是的参观方式转变为互动式的多感官参观方式，是的博物馆展览更直观形象，充分发挥其存在的作用。

教育培训中，通过移动设备扫描纸质课本上的图片，显示器上就能呈现多姿多彩的动态图，方便对抽象事物的理解，提升真实感和互动体验，同时增强现实技术也是课件制作或辅助教材实验的全新手段。

在其它方面，如工业医疗中，通过各种硬件设备的辅助能够将机器不易看到的部分显示给用户，包括机器的内部结构、零件图等。

同样，医生可以利用增强现实技术，准确的进行手术部位的定位。

在军事演习中运用增强现实技术实现模拟战场环境可以节省大量的人力、物力和财力。

增强现实技术经过最近十几年的快速发展，在社会进程中正在充分发挥其重要作用，虽然尚有许多亟待解决的技术问题，比如如何实现虚实物体精准实时叠加，但是随着技术的不断发展，这些问题终将会被逐一解决，增强现实将会为人类的智能扩展提供强有力的手段，对生产方式和社会生活产生深远影响。

参考文献
[1].朱淼良，姚远，蒋云良.增强现实综述[J].Journal of Image and
Graphics,2004,7(9):767-769.
[2].Ronald T. Azuma. A Survey of Augmented Reality. Tele operators and
Virtual Environments,1997(9):355-385.
[3].Feiner S, MacIntyre B, Hollerer T and Webster A. A touring machine:
Prototyping 3D Mobile augmented reality systems for exploring the urban environment[J].Proceeding of First IEEE International Symposium on Wearable Computers (ISWC’97).Columbia University, New York,
1997:74-81.
[4].Kaufmann H. Collaborative augmented reality in education[C].
Keynote Speech at Imagine Conference.2003
[5].Lam A H T, Chow K C H, Yau EHH, et al. ART: augmented reality table
for interactive trading card game[C]//Proceedings of the 2006 ACM international conference on Virtual reality continuum and its applications. ACM, 2006:357-360.
[6].唐笑.增强现实技术在移动互联网中的应用[J].华章，2013（2）：330-331.
[7].AR技术网.Meta推出双手手势识别功能的3D眼镜亮相
[EB/OL]./home.php?mod=space&uid=1&do=blog&id =19,2014-11-26.
[8].Zakiah Noh, Mohd Shahrizal Sunar. A review of shadow techniques
in augmented reality[C]. Machine Vision, 2009. ICMV’09.Second International Conference on. IEEE,2009:320-324.
[9].Knorlein B, Di Luac M, Harders M. Influence of visual and haptic
delays on stiffness perception in augmented reality[C]. Mixed and Augmented reality, 2009. ISMAR 2009.8th IEEE International Symposium on. IEEE,2009: 49-52.
[10].王涌天，林倞，刘越，郑伟. 亦真亦幻的户外增强现实系统：圆明园的
数字重建. 中国科学基金，2006,2:76-80.
[11].高宇，邓宝松，杨冰. 基于增强现实的虚拟实景空间的研究与实现. 小
型微型计算机系统，2006,27（1）：146-154.
[12].蒋钦云. 增强现实中三维注册算法研究[D]. 华中科技大学，2006.8-10.
[13].陈靖，王涌天，郭俊伟等. 基于特征识别的增强现实跟踪定位算法. 中
国科学，2010，40（11）：1437-1449.
[14].陈靖,王涌天,闫达远.增强现实系统及其应用.计算机工程与应
用,2001,37(15):72-75.
[15].Vlahakis V. Ioannidis N, Karigiannis J.et al. Virtual reality and
information technology for archaeological site promotion[A]. In:5th
International Conference on Business Information Systems(BIS02)[C], Poznan Poland, April,2002:2425.
[16].钟慧娟，刘肖琳，吴晓莉.增强现实系统及其关键技术研究[J]. 计算机
仿真,2008, 25(1):252-255.
[17].施琦，王涌天，陈靖.一种基于视觉的增强现实三维注册算法[J].中国图
像图形学报，2002,7:679.
[18].Ronald Azuma, et al. Recent Advances in Augmented Reality [J]. IEEE
Computer Graphics and Applications. 2001,(11-12):34-47.
[19].明德烈,柳健,田金文.增强现实中的虚实注册技术研究[J].中国图象图
形学报,2003,5:557.
[20].周雅, 徐彤, 阎达远. 增强现实中虚拟物体的投影注册算法研
究．北京理工大学学报，2000 ,20(6):738-742.
[21].李玲玲，李翠华, 曾晓明．基于 Harris-affine和SIFT特征匹配的图像
自动配准[J]．华中科技大学学报：自然学报版，2008,36(8):13-16．[22].陈靖，王涌天，施琦．基于视觉的增强现实运动跟踪算法[J]．计算机应
用研究, 2002（2）：15-17．
[23].Ha Yong-gang, Zhou Ya, Wang Yong-tian, Yan Da-yuan. Head mounted
display for augmented reality visualization. Optical Technology, 2000, 26(4): 350-353 (in Chinese).
[24].任鹏.增强现实中基于视觉的跟踪配准技术的研究[D].杭州：电子科技大
学，2008.
[25].陈丽莉.图像配准与合成显示技术研究[D].西安：西安电子科技大学，
2011.
[26].姚远.增强现实应用技术研究[D].浙江：浙江大学，2006.
[27].张伟, 张春华, 徐卫.增强现实技术及其应用研究[J].电脑编程技巧与
维护，2012（6）:29.
[28].吴帆，张亮.增强现实技术发展及应用综述[J].电脑知识与技术:学术交
流,2012,8(12): 8319-8325.
[29].齐越,马红妹.增强现实:特点、关键技术和应用[J].小型微型计算机系
统,2004.25(5):900-903.
[30].Dünser A, Grasset R, Seichter H, Billinghurst M.Applying HCI
principles to AR systems design[J].Proceedin gs of MRUI‘07, 2001,pp.
37-42.
[31].Nilsson S. Augmentation in the wild: user centered development
and evaluation of augmented reality applications[J].Doctoral Dissertation, Linköping univ ersity,2010.
[32].Vaittinen T, Kärkkäinen T, Olsson T. A diary study on annotating
locations with mixed reality information[J]. Proceedings of MUM‘10, ACM Press, 2010, Article no.21.
[33].常勇.基于空间信息的户外增强现实技术研究[D].武汉大学博士学位论
文,2005.
[34].Yuan Tian, Tao Guan, Cheng Wang. Real-Time Occlusion Handling in
Augmented Reality Based on an Object Tracking Approach[J].IEEE Computer Graphics and Applications,2010,10(4):2885-2900.
[35].蔡攀.基于增强现实的实时交互技术研究与实现[D].电子科技大
学,2009.7-13.
[36].周洪玉，王慧英，周岩. 虚拟现实及应用的研究. 哈尔滨理工大学学报，
2000,5（4）：49-51.
[37].王涌天,刘越,胡晓明. 户外增强现实系统关键技术及其应用的研究[J].
系统仿真学报.2003(03):329-337..
[38].陈靖,王涌天,刘越等. 适用于户外增强现实系统的混合跟踪定位算法
[J].计算机辅助设计与图形学学报.2010(02):204-209.
[39].李薪宇,陈东义.基于混合跟踪的增强现实系统设计与实现[J].计算机应
用.2009(10):2852-2858.
[40].罗斌,王涌天,沈浩等. 增强现实混合跟踪技术综述[J].自动化学
报.2013(08):1185-1201.
[41].蒋先利. 增强现实技术的应用[J].信息与电脑(理论
版).2010(01):34-35.
[42].Azuma R, et al, A Motion-Stabilized Outdoor Augmented Reality
System [A]. Proc. IEEE Virtual Reality[C]. Los Alamitos, Calif, IEEE CS Press, 1999: 252-259.。