虚拟现实技术与计算机图形学

第一章引言

翻开历史的篇章，不难发现人类社会的每一次巨大进步与发展总是离不开科学的发明与技术的进步。科学技术的变革不断地将人们的幻想变为现实。

1.1 虚拟现实技术与计算机图形学

39年前，Mort Heilig申请的一项专利预言了我们今天称之为虚拟现实（Virtual Reality——VR）技术的很多功能细节，而今天这一预言的技术已经用于飞行模拟、训练模拟、医学诊断等许多实践领域。当然，目前的技术水平还不能使人们在操作VR设备时象生活在真实世界中那样自然、方便，但这并不能阻碍VR的发展与应用。相反，正是VR技术的应用使人们能够仿真模拟各种复杂、危险、代价高的实验情况，从而节省了大量的财力、物力和人力，并保证了人的生命安全。有科学家和企业家预测，VR技术将引起未来人类生活的变革[Watt98]。

虚拟现实是一项九十年代孕育发展起来的、极具潜力的核心技术。它的应用能够带来对科学和工程领域中许多挑战性问题的深入认识和解决。对VR一词虽然有很多的解释，但由于其应用的依赖性，故很难给它下一个确切的定义。一般地，虚拟现实是这样一种技术，它利用计算机生成模拟的三维环境，并通过各种传感设备将人带到该环境中，最终实现人与虚拟环境间直接自然的交流。就其特点来说，虚拟现实是一种计算机生成的，具有临场感（Immersive）、实时交互性（Real-time Interactive）及多感官（Multi-sensory）体验的合成技术（见图1.1）。

作为虚拟现实系统的组成，包括视觉显示设备、跟踪系统、输入设备、语音系统、触觉反馈装置、图形与计算硬件、软件环境与软件工具等。因此虚拟现实的研究涉及到计算机科学、认知科学、工程学、神经生理学、心理学、声学以及力学等许多领域的关键技术。本论文力图从VR对计算机图形学的要求和激励方面出发，在研究和探索新的场景建模和绘制机制方面作了一定的努力。

计算机图形学是实现虚拟现实最重要的技术保证。为了让人在计算机所创造的虚拟世界里有一种身临其境的视觉感受，VR对传统的计算机图形学技术提出了挑

战：

高质量的、实时的图象生成。VR应用要求绘制系统能根据用户视点和视线方向的变化及时地生成相应的视图（一般刷新率应在15Hz以上）；“高质量”是指绘制场景的复杂度和真实感应满足特定应用的需要。

高分辨率的显示。表现为一个宽视角的立体显示器，这是产生“沉浸感”

的前提。目前最流行的是头盔显示器HMD（Head-Mounted Display）。这也相应地要求绘制系统能同时生成一对（左、右眼）立体视图。

自然的交互。系统应确保用户在虚拟环境中的操作简单易学，并得到有效的响应。比如HMD的头部跟踪器应能准确即时地反馈观察者所处的位置和视线方向。

图1.1 虚拟现实系统

上述挑战中，计算机成像（Computer Imagery）技术是VR中最根本和关键的核心问题。在传统的图形学里，图象的生成是利用透视投影原理将三维几何模型变换到二维屏幕空间的过程，这其中包括光照、消隐、纹理、阴影等一系列复杂的计算和处理。尽管经典的图形学发展已经能在很短的时间里产生具有相当复杂度的真实感图形，但其固有的矛盾却无法使它满足高级VR应用的要求，从而也在一定程度上限制了VR技术的应用推广。九十年代中后期国际上跃然兴起了一股新的研究热潮——基于图象的建模与绘制技术（Image-Based Modeling and Rendering ——IBMR），它企图从根本上打破传统绘制模式的禁锢，这无疑将是图形学史上

的一次飞跃。本论文将主要涉及IBMR的讨论，在下一节里还将对这两种模式作详细的比较和分析。

其次，人眼是一个复杂的器官，它通过分析来自左右眼的视图的视差来感知物体的深度，产生三维立体感。计算机视觉上称左右眼看到的这一对视图为一个立体对（Stereo Pair）[Ma98]。HMD这类宽视场的立体显示器就是通过仿真人眼的视觉原理，将绘制系统生成的一个立体对分别投影到HMD的左右两个显示屏上。当人的双眼同时看这两组图象时就会产生真实三维景物的立体感，因而也使VR系统具有了“沉浸感”。可以说，VR将“立体视觉”概念带到了图形学中，从而促使图形学工作者对新的成像方法进行研究。也既是说VR促成了计算机图形学与计算机视觉的结合。在论文后面讨论的IBMR建模和绘制方法中都将用到计算机视觉中的理论和方法。

另外，VR的出现还引入了很多新的输入设备，如数据手套、空间球、各种传感器等，需要研究新的交互技术。例如怎样有效地协调发挥各种图形资源（软件、硬件）的性能、即时地根据用户的动作刷新场景，等等。论文将不涉及这方面的内容。

尽管今天的学科发展尚不能使人们全面地认识人类的视觉、听觉、触觉等感觉器官的功能原理及构造；机器智能技术也还远不能使机器代替人类。但不可否认，虚拟现实是人们对计算机“人化”、“社会化”的一种展望。同时它又是一种激励技术（enabling technique），导致许多新问题的研究和探讨、导致不同基础学科的交叉与渗透、也导致应用的深入和推广。论文将从这里开始，先总结分析图形学中两种虚拟现实的实现模式，然后逐步引出我们要讨论的问题和解决的方法。

1.2 基于几何的VR与基于图象的VR

目前虚拟现实应用方面存在的问题是：质量的可接受性。即系统所生成的图象复杂度能否满足对真实世界进行模拟的要求？如果从建模和绘制角度来划分，VR 系统可以总的分为基于几何的VR和基于图象的VR。本节将从VR的上述目的出发，详细讨论这两种方法的特点。

1.2.1 基于几何的实现方法

80年代初开始，三维计算机图形发展的核心就是围绕真实感图形的生成。过去一直认为是标准且被广泛接受的方法是：首先建立一精确的三维几何模型，设置视点位置，然后经过明暗（shading）、隐藏面消除（hidden surface removal）等处理生成一个屏幕投影。这种方法导致的直接问题是：建模的开销(modeling cost)和绘制的开销(rendering cost)都非常大。

建模的复杂性：建模过程虽然可以离线（off-line）进行，但却要浪费大量的人力和时间，而且还需要相当的技巧。因为在传统的图形学方法中，所有的场景几何都是用三维点采样的方法来定义的，如多边形网格表示。这对于复杂的景物，如雄伟的故宫，它包括近万间房屋，其建筑外观的亭台楼阁、室内布置的独巨匠心，非但是计算机所难以模拟，就算可以几何再现，也是一项宏大的“工程”。

绘制的速度：主要指一幅图象合成所需要的时间。图形工作站的出现和其性能的趋于稳定已经能够将用于隐藏面消除的Z-buffer算法固化在一个特殊硬件中，以提高多边形网格物体的绘制速度。而且，各硬件厂商还将多边形的吞吐量作为相互追逐的目标之一。但是，图象合成的时间仍然是困绕图形学界的问题。“相片真实感”(photo-realism)的目标意味着：只要绘制方法的复杂性和环境的复杂性超过了主流硬件的发展，就会导致图象生成时间的增加。根本原因就是图形学理论的发展还不能反映越来越复杂的光传播过程。因此，VR应用只能在图象质量与绘制时间上进行折中，从而往往无法使用户感知到真正的“浸入”。

自然界中的事物是形态各异、千变万化的。传统的绘制方法无论从理论上还是方法上都无法满足VR系统的要求，因此限制了VR的应用发展。“除其惯性之外，没有更好的理由再停留在标准的绘制方法上”[Watt98]。

1.2.2 基于图象的建模和绘制

另一种可能的选择就是用相片代替传统的几何输入来进行建模和图象合成。在这种假设下，相片可以有两种用途：一是利用从相片中抽取出的三维信息，重构传统的几何模型。这其中很多问题可以归结到计算机视觉领域。另一种可能就是将照片作为系统的输入，消除了以往的建模和绘制过程，而代之以二维的、基于