增强现实的解决方案

增强现实的解决方案 Document number：NOCG-YUNOO-BUYTT-UU986-1986UT

移动增强现实关键技术及研究

增强现实是随着计算机图形技术、可视化技术以及光电成像技术等一系列技术的发展在近年出现的，虚拟现实营造一个和用户周围环境完全不同的由计算机生成的虚拟场景，而增强现实则是把计算机生成的虚拟物体或文字信息叠加到真实的环境中，增强现实在虚拟环境和真实环境之间搭起了一个桥梁。

是一个典型的增强现实场景，用户借助手机、平板电脑等智能终端显示设备自带的摄像头观察周围的真实环境，在其手持的智能终端显示屏上除了可以看到其周围的真实环境之外，还可以看到由计算机生成的虚拟辅助信息，如最近的麦当劳在哪个位置，这可以通过在周围环境上叠加一个汉堡来表示附近有一家麦当劳店。当用户来到一个陌生城市，如果要找最近的地铁站，可以通过手机摄像头扫描周围环境来得知最近的地铁站或其他一些感兴趣的地点在哪个位置。除了在工业、医疗等领域具有十分广泛的应用，近年来增强现实在军事领域也有非常广泛的应用。在本次国防电子展上展出了一套单兵作战系统，借助摄像机和头盔显示器士兵在观察战场环境时可以看到例如敌方的火力点等很多提示信息。在夜晚和恶劣天气情况下这套系统具有重要作用，可以更好的保护士兵，使得士兵能够更好地地完成作战任务。

近年来增强现实技术得到了很大的发展，图2是一些典型的增强现实应用，在体育转播时，借助增强现实技术可以把运动员的名字或者所做国家的国旗叠加在跑道上，由于事先已经获取了摄像机以及赛场环境的准确参数，可以保证在实时转播时由计算机所添加的虚拟物体或者文字信息天衣无缝的融合到当前环境中。除了体育转播以外，现在很多的演出中也应用了增强现实技术。

增强现实的另外一个典型应用是运行在手机上的一个智能感知系统。例如借助增强现实技术，当用户到达一个陌生的环境需要获取信息时，通过举起手机拍摄周围环境，所有的陌生文字都可以变成其熟悉的语言。在商业区举起手机拍摄就可以很快找到最近的快餐店的地址。当想知道天气时，只需要拍摄一下天空，就可以获得天气的信息。

移动增强现实系统所需要解决的

一系列关键技术

移动增强现实系统由硬件和软件两部分构成。硬件部分主要包括可以把用户当前所处的真实环境和计算机所生成的虚拟物体以及文字同时进行显示的显示载体，这既可以是单兵作战系统中的头盔显示器，也可以是用户手持的智能手机或者是平板电脑。除了融合

显示装置外，还需要了解用户意图的人机交互设备，因为系统需要知道用户现在的需求是什么，采用传统的键盘鼠标无法实现这样的人机交互，需要采用包括语音识别、眼动跟踪、身体动作跟踪等一系列的自然交互手段。此外还需要硬件计算平台来完成融合显示、虚拟物体的绘制以及人机交互等一系列的复杂运算。除了上述硬件平台之外还需要一系列软件的支撑，包括识别当前用户所看到的场景中的物体种类以及物体具体位置的识别和跟踪软件，把虚拟的三维物体进行实时的绘制和融合显示的三维图形渲染绘制软件，这些硬件和软件平台一起构成了移动增强现实系统。

目前有三种方式可以实现移动增强现实系统，包括基于头盔式显示器的移动增强现实系统、基于手持投影仪的移动增强现实系统以及基于智能手机、平板电脑等便携智能终端的移动增强现实系统。

尽管移动增强现实系统已经显示出了在诸多领域中广泛的应用前景，但是由于技术条件和成本的限制，和大规模的推广应用尚有一定的距离，目前比较成熟的应用大多集中在军事、医疗等对价格不是特别敏感的领域。

目前制约移动增强现实系统性能的因素主要包括以下两个方面，一是移动计算平台的计算资源、电池的寿命和重量的限制。二是户外场景复杂多变的因素，由于户外存在光照的变化以及遮挡等问题，同时用户在户外的场景中自由移动，事先无法预测用户的轨迹，而环境又会有阴晴雨雪变化，所有这些不可控的因素制约了移动增强现实技术的应用。

开发移动增强现实需要攻克以下六项关键技术：

一、高效便携的终端定位系统，为了获得用户在环境中的准确位置，完成对用户在环境中的准确定位，目前有几种方法可以实现，当用户携带手机时，通过移动网络可以对用户进行粗略定位，可以记录用户在网络中的一个历史轨迹，通过这样的一系列的历史数据，在服务器端可以对用户当前的位置有一个相对精确的估计，这些的复杂运算是在服务器端实现的，借助服务器端强大的计算能力，可以在不占用移动端过多资源的情况下获取准确的定位。

二、移动终端和多核工作站之间不同计算能力设备间的任务协同。为了实现移动增强现实系统，要完成非常多复杂的运算，包括对用户位置的跟踪、渲染、绘制等，这些复杂的运算任务要在移动终端和系统的服务器中进行协调，目前的解决方案是把一部分工作放在手机端由手机实现，而将另外一部分复杂运算放在服务器中实现。

三、海量目标的精确识别。在生活中有时我们希望能够知道用户面前的建筑物是什么，用户面前的车是什么型号，目前有多种方式实现这样的功能。为了识别出这些物体，可以通过提取对象的轮廓特征、纹理特征等来辨识。由于户外环境的复杂多变，单一的特征很难实现百分之百的识别，为此在移动增强现实系统中，通过多特征融合进行物体识别，例如对于同一个用户眼前的建筑物，首先提取它的多种特征，通过融合多种特征来更加详尽的对目标加以识别和描述。

四、六自由度跟踪定位，即知道用户在环境中是在向哪个方向看以及确定用户所处的位置，所采用的方法是事先在计算机存储部分已经标好的图像，当实际用户使用的时候，通过将拍摄到场景中的图像和事先存储的图像进行匹配可以获得准确的六自由度信息。

五、多传感器数据融合。目前移动智能终端带有多种传感器，在实际使用中即可以通过计算机视觉技术对摄像头所拍摄的环境物体进行跟踪，也可以采用惯性传感器进行姿态跟踪，通过融合多个传感器的输出可以获取更加准确的跟踪结果。

六、真实、高效的3D渲染。为了实现移动增强现实系统，还需要把生成的三维物体准确的绘制到当前的场景中，考虑到移动终端资源的限制，需要绘制算法能够尽可能简化，解决的方法之一就是简化传输数据的冗余性，从而实现真实高效的三维渲染。

下面介绍国外的典型应用。图3所示是增强现实浏览器，用户只需要在手机上选择一个频道，在拍摄周围环境的时候，用户所有感兴趣的信息都会自动出现在屏幕上。比如在选择餐饮的时候，周围的所有的饭店的符号都会出现在屏幕上，用户可以通过点击屏幕看到对应的评价，甚至可以下载饭店的优惠券。

移动增强现实在博物馆导览方面也有很好的应用。博物馆提供了非常多的展品，但目前所有展品的标签所提供的信息都是有限的，用户到博物馆参观时希望知道展品背后的故事。借助移动增强现实技术，用户进入到博物馆时可以在手机上下载一个软件，当用户在博物馆内进行游览时当用户看到感兴趣的展品，通过手机屏幕呈现和这个展品有关的文字、图片以及视频等信息可以增强用户对展品的认识。

移动增强现实在电子商务方面也有很多的应用，例如近年来在北京地铁站出现的虚拟购物超市，消费者只要通过手机拍摄想要购买的物品并发送给服务商，就可以享受到送货上门的服务。

移动增强现实在教学培训上也有广泛的应用，国外开发了一款在iPhone上的运行的软件，可以在实际的电路上通过三维显示的方式来叠加学生需要搭建的电子元器件来指导