混合现实技术在科普展示中的应用

混合现实技术在科普展示中的应用
摘要:本文通过“虚拟漫游”展项的设计思想、体验过程、技术方案,阐述了混合现实技术的技术特点,以及硬件和软件系统的基本构成,展现了高科技在科普展示中的实际应用。

关键词:虚拟现实混合虚拟现实头盔显示器光学跟踪视景仿真
1 混合虚拟现实技术及其特点
1.1 虚拟现实技术与混和现实技术
虚拟现实(Virtual Reality,简称VR)是一种基于可计算信息的沉浸式交互环境,具体地说,就是采用以计算机技术为核心的现代高科技生成一个逼真的视觉、听觉、触觉、嗅觉及味觉等的虚拟环境和感官世界,用户通过多种传感设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响、从而产生一种身临其境的感觉。

它是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面,综合了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术,模拟人的视觉、听觉、触觉等感觉器官功能,使人能够沉浸在计算机生成的虚拟境界中,并能够通过语言、手势等自然的方式与之进行实时交互,创建了一种适人化的多维信息空间。

混合现实技术(Mixed Reality,简称MR)又称增强现实(Augmented Reality,简称AR),是在虚拟现实技术的基础上发展起来的,它通过计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象,并通过传感技术将虚拟对象准确“放置”在真实环境中,真实的环境和虚拟的对象实时地叠加到了同一个画面或空间同时存在,用户利用显示设备(如头盔显示器),将虚拟对象与真实环境融为一体便可以看到一个感官效果真实的新环境。

混合现实提供了在一般情况下,不同于人类可以感知的信息。

它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。

混合现实的目的并非以虚拟世界代替真实世界,而是利用附加的信息去增强使用者对真实世界的观察和感知。

混和现实与虚拟现实是有所区别的。

在虚拟现实系统中,人具有沉浸感。

视觉、听觉、嗅觉、味觉、触觉部分或全部处于计算机系统控制之中。

人失去与真实现实的一切联系。

混和现实则不同,它是将虚拟的物体融合到真实的环境中,或者将真实的物体融合到虚拟的环境中。

在混合现实中,人可以感受到真实世界的存在。

在混合现实中最重要也是最关键的技术就是如何将真实的部分和虚拟的部分完美无缺地融合在一起。

1.2 混合现实技术的基本特点
混和现实技术有以下几个主要特点:
(1)真实性
混和现实技术体现了真实环境与虚拟环境的结合,比起以往的虚拟现实技术具有一定的的优越性,虚拟现实只是纯反应计算机所虚拟现实世界中的事物,而混和现实技术将虚拟世界中的事物和真实事物结合,使人们与虚拟世界有了沟通的桥梁。

(2)实时与互动
实时性是指虚拟现实系统能按用户当前的视点位置和视线方向,实时地改变呈现在用户眼前的虚拟环境画面,并在用户耳边和手上实时产生符合当前情景的听觉、视觉和触觉、力觉响应。

互动性是指用户可采取现实生活中习以为常的方式来操纵虚拟场景中的物体,并改变其方位、属性或当前的运动状态。

(3)构想性
强调虚拟现实技术应具有广阔的可想象空间,可拓宽人类认知范围,不仅可再现真实存在的环境,也可以随意构想客观不存在的甚至是不可能发生的环境。

1.3 混合现实系统的基本构成
混合现实由于是在虚拟现实的基础上发展起来的,因此在硬件结构上同虚拟现实系统的硬件具有一定的继承性和一致性。

混合现实系统把计算机生成的虚拟物体、文字和图形等信息重叠显示在用户所看
到的真实物体上,为用户提供与现实环境有关的辅助信息,增强用户对真实环境的感受,其中关键技术涉及到显示和注册。

因此,头盔显示器和方位跟踪器是这种系统必不可少的外设。

如图1所示,一个典型的混合现实系统由虚拟场景生成器、头盔显示器、实现用户观察视线跟踪的头部姿态跟踪设备、虚拟场景与真实场景对准的定位设备和交互设备构成。

其中虚拟场景生成器负责虚拟场景的建模、管理、绘制和其它外设的管理;头部姿态跟踪设备跟踪用户视线变化,实现用户观察坐标系与虚拟场景坐标系的匹配;交互设备则用于实现感官信号及环境控制操作信号的输入输出,上述几部分的功能和要求与虚拟现实系统中的相应单元相同。

混合现实系统中的显示设备通常采用头盔显示器(HMD)。

对于头
盔显示器(HMD),主要有两种类型,一种为透光式HMD(Optical see-through),另一种是影像式HMD(Video see-through)。

透光式HMD 允许用户看到真实的环境,计算机把生成的图像叠加显示于视场中。

影像式HMD并不能让用户直接看到真实的环境,而是通过HMD上的摄像头采集环境影像,然后将计算机生成的虚拟图像融合后显示出来。

与大多虚拟现实系统一样,图像处理器也是AR系统所必不可缺的。

从价值几百美元的3D图形加速卡到价值十几万美元的专用图形工作站。

混合现实系统还包括有人机交互设备,如数据手套、6D鼠标器、跟踪器、力反馈装置、语音识别与合成系统等,每种设备的品种也是五花八门、性能各异。

尽管混合现实技术在不同应用领域所强调的重点有所不同,不同档次、不同用途的系统所需要的配备也各不相同,但它们在原理上存在很多共性,至于选配哪些硬件设备往往需要用户在经费投入、性能需求和市场效益等方面进行折衷考虑。

2 广东科学中心“虚拟漫游”展示项目简介
广东科学中心“数码世界”展区的“虚拟漫游”展项,全面展示了混
合现实技术。

“虚拟漫游”展项共设置了三个不同的真实场景,分别是“珠江畅游”、“海底世界”、“空中游览”,观众乘坐小型轨道车穿行在不同的场景中,通过头盔式显示器体验虚景和实景融合之后的神奇,还可以用手持设备与场景中的角色互动,在美妙的体验中探索科学的奥妙。

图2为“虚拟漫游”展项的体验路线示意图。

(1)珠江畅游(图3、图4)
观众首先乘坐电动轨道车进入珠江畅游的场景,场景设计成14m2的圆形房间,营造一种船的感觉。

船和船上的物品为实景,珠江和两岸的景色为计算机生成的虚景,二者经过有机的融合呈现在头盔显示器中,观众仿佛坐在船上,游览珠江两岸的景色,往来的船只、低空飞行的飞机、江面上的汽球等。

观众还可以通过手持设备进行互动,我们在这里设计了喂鸽子的
互动情节,此时手持设备会变成一个喂鸽子的盘子,并与鸽子嬉戏。

当船进入珠江夜景时,你可以让手持设备变成一个礼花筒,并且通过燃放礼花来庆祝。

(2)海底世界:(图5、图6)
游览完“珠江畅游”后来到“海底世界”,利用布景将16m2的圆形房间,布置成为海底场景,包括海底岩石、珊瑚礁等等。

背景制作成蓝色,让观众有一种完全置身海底的感觉。

但是当你戴上头盔后,你会惊奇地发观各种各样的小鱼、海豚、海龟、魔鬼鱼等友好的动物在你周围游动。

参与者可以用自己手中的手持设备直接抓取海底中的珍珠(此时变成为机械臂);或是可以用手持设备(此时变成一条小鱼)来喂海豚。

当凶猛的鲨鱼逼近时。

参与者可以将激光枪(手持式互动设备)对准鲨鱼。

参与者对准鲨鱼,扣动扳机发射激光,鲨鱼受到攻击,仓皇离去。

随后鱼群重新回到参与者周围,并簇拥着参与者浮上海面。

此时火车缓缓开动,驶入“空中游览”场景。

(3)空中游览:(图7、图8)
整个14m2的圆形房间布置成为飞船的内部场景,观众仿佛乘坐飞船在空中通过舷窗饱览广州的壮丽景色。

戴上头盔显示器,你可从舷窗鸟瞰广州现代化的夜景,时而穿过摩天大楼,时而与珠江宏伟的跨江大桥擦肩而过,最后飞船降落在广东科学中心的正门广场,并结束整个漫游行程回到序厅。

整个漫游行程约15分钟。

3 广东科学中心“虚拟漫游”项目技术方案简介
3.1 展项系统结构
展项的系统结构(包括硬件结构、软件结构)拓扑图如9所示。

3.2 软件系统的构成
软件系统包括三大部分,分别是:
视景子系统:包括虚拟场景的生成、实景的采集、虚景和实景的融合、以及交互过程虚拟物体的生成等模块;
跟踪子系统:包括光学跟踪数据的获取与处理、头部及交互设备位置的计算等模块;
管理子系统:包括系统的运行管理、系统自动检测、系统监控及系统维护等模块(图10)。

3.3 主要硬件系统的构成
本项目最主要的硬件包括高性能的计算机(图形工作站)、头盔显示器、光学跟踪系统,分别介绍如下:
(1)头盔显示器
头盔显示器最先是专门为虚拟现实用户提供沉浸感的立体显示设备,它由三个主要部分构成:显示部件、采集镜头和头盔壳体。

为了产生逼真的立体感,显示部件一般采用两块显示屏,分别显示计算机输出的、具有代表双眼视差的左右眼图像。

用户大脑将自动融合这两幅具有视差的图像而获得深度感知,形成立体视觉。

对于本项目来说,头盔显示器不仅是作为显示设备,而且还要兼具
实景采集和位置跟踪的功能,因此我们需要在头盔显示器上集成实景摄像机和红外跟踪摄像机,经过与欧美多家制作厂家协商,最后选定了由荷兰公司生产的CyberMind头盔。

屏幕分辨率:800×600,重量:500g(图2)。

(2)光学跟踪系统
在混和现实系统中,头盔显示器不仅要具备普通的三维图像显示功能,而且需要能够实时地跟踪用户头部的位置和姿态,即跟踪视线方向,并及时将视线信息反馈给图像生成软件,实现视景图像与增强信息的同步刷新显示,使得用户能够以在真实世界中观察周围事物的方式在增强环境中进行畅游,从而增强用户在融合环境中的浸没感和交互性。

本项目采用的是Fantastic Space光学式跟踪系统:
Fantastic Space光学跟踪系统主要分为两部分:(1)光学跟踪单元阵列,部署于天花上,可以覆盖任意大小的面积,用于发射信号。

(2)传感器,用于接受信号,跟踪用户的头部和手部位置。

Fantastic Space系统只需采用大约2000个红外LED就可以跟踪100平方米的展示场地,一个头盔只需使用一个摄像头即可,而且刷新频率最大可以达到240Hz,位相滞后大约为4ms(图12)。

4 本项目的科普意义
广东科学中心的“虚拟漫游”展项是国内第一个将混和虚拟现实技术应用在科普场馆,展现了高科技的魅力,给游客带来无可比拟的视听体验。

神奇的珠江漫游、海底世界和空中游览都给游客带来梦幻般的体验。

自2008年9月开馆以来,该展项有几万人次参与体验,这中间既有普通的中小学生,也有专家、学者,还有从事相关专业的科技工作者,受到了广泛的好评,也引起了各科普展馆浓厚的兴趣。

混合虚拟现实融合计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术等多种技术,“虚拟漫游”成功地将混和现实这种高科技应用到科普展示中,为高科技在科普场馆的应用提供了成功的案例。