第二章虚拟现实系统的硬件设备24

第二章虚拟现实系统的硬件设备24
在虚拟现实系统中，显
2.1.2 三维定位跟踪设备
示设备或交互设备都必 须配备跟踪定位设备。
o 三维定位跟踪设备：检测位置与方位，并将其数据 报告给虚拟现实系统。
o 在虚拟现实系统中最常见的应用是跟踪用户的头部 位置与方位来确定用户的视点与视线方向，而视点 位置与视线方向是确定虚拟世界场景显示的关键。
第二章虚拟现实系统的 硬件设备24
2020/12/10
第二章虚拟现实系统的硬件设备24
2.1 虚拟现实系统的输入设备
输入设备分为两类： o 基于自然的交互设备，用于对虚拟世界信息
的输入 o 三维定位跟踪设备，用于对输入设备在三维
空间中的位置进行判断，并送入虚拟现实系 统中。
第二章虚拟现实系统的硬件设备24
o 应用程序阶段可以在多个CPU上运行。 o 几何处理阶段在一组几何处理引擎(geometry engines,GE)上运行，每
个引擎处理一部分场景几何（一组图形对象或图元）。应用程序阶段的输 出存储在一个FIFO缓冲区中，每个几何处理引擎在处理完自己的图元后， 从这个缓冲区里读取新的图元。然后，把结构写入到光栅化阶段的FIFO 缓冲区中。 o 光栅化单元(rasterizer units,RU)周期性地读取这个缓冲区，形成绘制 流水线的第三个阶段。每个RU绘制分配给它的一片像素，把数据写入输 出缓冲区，然后从FIFO缓冲区中读取新数据，依次类推。 o 现代体系结构使用双缓冲区，即有一个前缓冲区和一个后缓冲区。前者存 储已经显示的图像，与此同时一副新场景被写入后缓冲区。接着后缓冲区 被显示，新图像被写入前缓冲区，如此周而复始。这样做是为了减少由于 显示硬件刷新而引起的闪烁。
o 触觉与力觉通道信号生成与显示：
第二章虚拟现实系统的硬件设备24
2.3 虚拟世界生成设备
o 现有的虚拟现实系统主要考虑视觉通道，因 此对虚拟现实生成设备提出了一下要求：
（1）帧频和延迟时间的要求：VR要求高速的 帧频和快速响应。
帧频是指新场景更新旧场景的时间，当达到每秒20帧 以上时就产生连续运动的幻觉。 延迟时间是从用户的动作开始，经过三维空间跟踪器 感知用户位置，把这个信号传送给计算机，计算机计算 新的显示场景，把新的显示场景传送给视觉显示设备， 直到视觉显示设备显示出新的场景为止。
2.4 绘制流水线
o 光栅化阶段：为了提高速度，它是通过硬件实现的，把 几何处理阶段输出的顶点信息（例如颜色和纹理）转换 成视频显示器需要的像素信息。
o 光栅化阶段的一个重要功能是执行反走样，以平滑多边 形的边缘锯齿。
第二章虚拟现实系统的硬件设备24
2.4 绘制流水线
为了提高性能，绘制流水线的各个阶段使用并行体系结构。
o 听觉感知设备：提供虚拟世界中的三维真实 感声音的输入及播放。一般由耳机和专用声 音卡组成。通常用专用声音卡将单通道或普 通立体声源信号处理成具有双耳效应的三维 虚拟立体声音。
第二章虚拟现实系统的硬件设备24
2.2 虚拟世界输出设备
o 触觉（力觉）感知设备：力觉感知设备主要 是要求能反馈力的大小和方向，而触觉感知 应包含一般的接触感，进一步应包含感知物 体的质感、纹理感及温度感等。目前能实现 的仅仅是模拟一般的接触感。
第二章虚拟现实系统的硬件设备24
2.4 绘制流水线
o 图形流水线优化：
o 应用程序阶段优化： （1）用告诉CPU取代低速CPU，或者再增加一个CPU。 （2）降低场景的复杂性。 （3）优化仿真软件。 o 几何处理阶段优化： （1）减少虚拟光源的数量。 （2）使用绘制硬件有优化措施的多边形类型。 o 光栅化阶段优化： （1）减少显示窗口尺寸 （2）减少窗口分辨率
第二章虚拟现实系统的硬件设备24
2.1.1 基于自然的交互设备
数据衣：让虚拟现实系统 识别全身运动而设计的输 入装置，可以检测出人的 四肢、腰部等部位的活动， 以及各关节弯曲的角度。 它能对人体大约50多个 不同的关节进行测量，通 过光电转换，身体的运动 信息送入计算机进行图像 重建。
第二章虚拟现实系统的硬件设备24
第二章虚拟现实系统的硬件设备24
2.5 基于PC的图形体系结构
o PC机体系结构的通信瓶颈影响着实时图形 绘制的性能。现代基于PC的VR系统，通过 引入加速图形接口(Accelerated Graphics Port，AGP)总线来解决PCI带宽问题。
o AGP总线直接与主板的北桥芯片相连，且通 过该接口让显示芯片与系统主内存直接相连， 避免了窄带宽的PCI总线形成的系统瓶颈， 增加3D图形数据传输速度，同时在显存不 足的情况下还可以调用系统主内存。
第二章虚拟现实系统的硬件设备24
2.1.2 三维定位跟踪设备
空间跟踪设备通常有下列要求：
o 数据采样率高且传输数据速度快，既要满足精确度的需要，同时 又不能出现明显滞后。
o 抗干扰性要强，也就是受环境影响要小。 o 对被检测的物体必须是无干扰的，不能因为增加了跟踪设备影响
用户的运动等。 o 真实世界和虚拟世界之间相一致的整合能力。 o 多个用户及多个跟踪设备可以在工作区域内自由移动，不会相互
2.1.1 基于自然的交互设备
o 数据手套：作为一只虚拟的手用于与虚拟现实系统进行交互，可 以在虚拟世界中进行物体抓取、移动、装配、操纵、控制等操作， 并把手指和手掌伸屈时的各种姿势转换成数字信号传送给计算机， 计算机通过应用程序识别出用户的手在虚拟世界中操作时的姿势， 执行相应的操作。在实际应用中，数据手套还必须配有空间位置 跟踪器，检测手在空间中的实际方位及运动方向。 现在已经有多种传感手套产品，区别主要在于采用传感器的不同。
第二章虚拟现实系统的硬件设备24
2.3 虚拟世界生成设备
虚拟世界生成设备主要分为： o 基于高性能个人计算机的VR系统 o 基于高性能图形工作站的VR系统 o 高度并行的计算机系统的VR系统 o 基于分布式计算机的VR系统
第二章虚拟现实系统的硬件设备24
2.4 绘制流水线
o 绘制流水线：把绘制过程划分成几个阶段， 并把它们指派给不同的硬件资源。
2.1.1 基于自然的交互设备
三维控制器 o 三维鼠标：可以完成在虚拟空间中6个自由
度的操作，包括三个平移参数与三个旋转参 数。常用于建筑设计等领域。 o 力矩球：可以通过手的扭转、挤压、来回摇 摆等实现相应的操作。
第二章虚拟现实系统的硬件设备24
2.1.1 基于自然的交互设备
o 三维扫描仪：是一种较为 先进的三维模型输入设备， 是当前使用的对实际物体 三维建模的重要工具。能 快速方便地将真实世界的 立体彩色的物体信息转换 为计算机能直接处理的数 字信号，为实物数字化提 供有效的手段。
第二章虚拟现实系统的硬件设备24
2.4 绘制流水线
o 图形流水线瓶颈：图形流水线基于一种理想 的假设，每一阶段的输出速度和下一阶段的 输入速度都非常匹配，即两个FIFO缓冲区 永远不会为空。事实上，三个阶段中最慢的 那个阶段会处于100%的运行状态，从而限 制了整个流水线的吞吐量。这一阶段成为瓶 颈状态。
几何处理阶段可以通过软件和硬件两种渠道实现。该阶 段包括模型变换（平移、旋转和缩放）、光照计算、场 景投影、剪裁和映射等。
光照子阶段根据场景中的模拟光源的类型和数目、光照 模型、表面材质属性、大气效果计算表面颜色。光照计 算的结果是场景具有明暗效果，看上去会更加真实。
第二章虚拟现实系统的硬件设备24
之间产生影响。
第二章虚拟现实系统的硬件设备24
2.2 虚拟世界输出设备
o 感知设备将虚拟世界中各种感知信号转变为 人所能接受的多通道刺激信号。
（1）视觉感知设备 （2）听觉感知设备 （3）触觉（力觉）感知设备
第二章虚拟现实系统的硬件设备24
2.2 虚拟世界输出设备
o 视觉感知设备：主要是向用户提供立体宽视 野的场景显示，并且这种场景的变化会实时 改变。
第二章虚拟现实系统的硬件设备24
2.3 虚拟世界生成设备
（2）计算能力和场景复杂性
如果一个显示的场景中有10000个三角形（或多 边形），这个数量就反应了场景复杂性。
如在每秒进行10次计算，就应该计算100000个三 角形（或多边形），这表示了计算能力。
若要求更加逼真的仿真效果，就要增加场景复杂性。 这就要求更强的计算机能力，每秒计算更多的三角形 （或多边形）。 这就要考虑计算能力和场景复杂性的折衷。
图形绘制分为三个阶段： 应用程序阶段、几何处理阶段和光栅化阶段
应用程序阶段
几何处理阶段
光栅化阶段
用户
CPU1
输入
…
CPUn
GE1
缓
…
冲
区
GEn
FIFO FIFO
RU1
输 视频控
缓 冲 区
… RUn
出 缓
制器
冲
区
第二章虚拟现实系统的硬件设备24
2.4 绘制流水线
o 应用程序阶段是用软件方法由CPU完成的，读取数据库 和来自鼠标、跟踪球、跟踪器或传感手套等的用户输入。
第二章虚拟现实系统的硬件设备24
2.3 虚拟世界生成设备
虚拟世界生成设备的主要功能包括：
o 视觉通道信号产生与显示：生成显示所需三维立体、高 真实感复杂场景，并能根据视点的变化进行实时绘制。
o 听觉通道信号生成与显示：支持三维真实感声音的生成 与播放。所谓三维真实感声音是具有动态方位感、距离 感和三维空间效应的声音。
o 虚拟现实系统中常需要检测头部与手的位置。要检 测头与手在三维空间中的位置和方向，一般要跟踪 6个不同的运动方向，即沿X、Y、Z坐标轴的平动 和沿X、Y、Z轴方向的转动。由于这几个运动都是 相互正交的，因此共有6个独立变量，即对应于描 述三维对象的宽度、高度、深度、俯仰角、转动角 和偏转角，称之为六自由度（DOF）。