虚拟现实技术概述(PPT 65页)

虚拟现实的研究现状
–浙江大学CAD&CG国家重点实验室在基于图像 的虚拟现实、分布式虚拟环境的建立、多细 节层次模型、真实感三维重建、基于几何和 图像的混合式图形实时绘制算法等领域开展 了深入的研究，在国内外产生了广泛的影响。
–清华大学计算机科学和技术系对虚拟现实和 临场感的方面进行了研究，例如球面屏幕显 示和图像随动、克服立体图闪烁的措施和深 度感试验等方面都有不少独特的方法。
虚拟现实技术
(Virtual Reality)
徐雷 12 April 2011
主要内容
• 虚拟现实技术概述 • 虚拟现实体系结构 • 虚拟环境的建立 • 产品的虚拟原型 • 在虚拟环境中制造
虚拟现实技术概述
• 定义和特征 • 虚拟现实的发展历程 • 虚拟现实的国内外研究现状 • 虚拟现实的主要应用领域
• 两耳强度差(Interaural Intensity Differences，简称IID)。
虚拟现实硬件基础
• 虚拟环境的听觉通道
– 听觉通道接口技术存在的问题：
• 其中问题之一就是多声源声场的声音立体化，用 户稍微偏离预定的位置，声音的立体声效果就会 降低。
• 另一个问题是声音信号的生成，语言和音乐的合 成已经有了较好的办法，但环境声音合成和建模 以及声学场景分析尚有待研究。
– 分布式VR技术主要运用于远程虚拟会议，虚拟医 院，虚拟战场等。
虚拟现实硬件基础
• 虚拟环境的视觉通道
– 头盔式显示器 (Head一Mounted Display, HMD) ：最常见的使用 户产生沉浸感的 装置是头盔显示 器，它可提供视 觉显示、立体声 音输出以及头部 位置跟踪的功能 ，是进入虚拟环 境首选的装置。
–遥现技术(Telepresence)，它是一种基于VR的遥控制、 遥操作或遥显示技术。
定义和特征
• 虚拟现实的四个重要特征
–多感知性(Multi-Sensory)。 –存在感(Presence)又称为临场感(Immersion) –交互性(Interaction) – 自主性（Autonomy）
虚拟现实硬件基础
• 立体显示器
– 不需借助外部设备和编程开发技术，只 要有三维模型，就可以实现三维模型的 立体显示。
虚拟现实硬件基础
• 虚拟环境的听觉通道
– 听觉环境系统的组成
• 语音与音响合成设备 • 识别设备 • 声源定位设备
– 人类进行声音的定位依据两个要素：
• 两耳时间差(Interaural Time Differences ，简称ITD)
虚拟现实的研究现状
–北卡罗来纳大学(UNC)的计算机系是进行VR研究最早 最著名的大学。他们主要研究分子建模、航空驾驶、 外科手术仿真、建筑仿真等。
–麻省理工学院(MIT)是一个一直走在最新技术前沿的 科学研究机构。1985年M1T成立了媒体实验室，进行 虚拟环境的正规研究。
–SRI研究中心建立了“视觉感知计划”，研究现有VR 技术的进一步发展。1991年后，SRI进行了利用VR技 术对军用飞机或车辆驾驶的训练研究，试图通过仿 真来减少飞行事故。此外，SRI还利用遥控技术进行
定义和特征
• 类似概念
–人工现实(Artificial Reality，简称AR) ：与VR相 类似的一个概念，它是可以更方便地与用可视化技术 建立的三维空间中的物体进行交互的技术。这个空间 是人造的，但是物体的控制方法就像物体在现实空间 中一样，所以就称为人工现实。例如，可用AR技术来 漫游用可视化技术建立的大脑结构。
– 虚拟现实技术在飞行仿真领域的应用 • 飞行员的操纵舱系统 • 显示外部图像的视觉系统 • 产生运动感的运动系统 • 计算和控制飞行运动的计算机系统。
虚拟现实技术的主要应用领域
• 工程应用
– 虚拟现实技术在虚拟实验的应用
• 虚拟风洞 • 虚拟物理实验室 • 虚拟电力控制室
虚拟现实技术的主要应用领域
定义和特征
• 概念 –虚拟现实(Virtual Reality，简称VR)是一 种计算机界面技术。从本质上讲，虚拟现实 就是一种先进的计算机用户接口，它通过给 用户同时提供诸如视觉、听觉、触觉等各种 直观而又自然的实时感知交互手段，最大限 度地方便用户操作，从而减轻用户的负担， 提高整个系统的工作效率。
虚拟现实硬件基础
• CAVE的优点
– 它可提供180度的宽视域和2000x2000以上的高分辨 率。
– 它允许用户在虚拟空间中走动，而不用佩戴笨重设 备。
– 它允许在同一个环境中存在多个用户，而且用户之 间可以自然地交互。
– 一次能显示大型模型，如汽车、房屋等，而用HMD 则需要头部运动刁能看到完整的模型。
虚拟现实的研究现状
– 在德国有大约50个研究所，研究开发工作 集中在计算机图形学有关的领域，如可视 模拟、可视化、图像处理和VR等，并对那 些需要复杂底层结构、技术支持和专业性 的中长期项目实现承包管理方法。
虚拟现实的研究现状
• 国内虚拟现实技术的研究现状：
–北京航天航空大学计算机系是国内最早进行VR研 究的单位之一，他们首先进行了一些基础研究， 并着重研究虚拟环境中物体物理特性的表示与处 理；在虚拟现实中的视觉接口方面开发了部分硬 件，并提出了有关算法及实现方法；分布式虚拟 环境DVENET
– 分布式虚拟现实系统(DVR)是一种基于网络的虚 拟现实系统，它可使一组虚拟环境连成网络，使 其能在虚拟域内交互，同时在交互过程中意识到 彼此的存在，每个用户是虚拟环境中的一个化身 (Avatar)。它的基础是网络技术、实时图像压缩技 术等，它的关键是分布交互仿真协议，必须保证 各个用户在任意时刻的虚拟环境视图是一致的， 而且协议还必须支持用户规模的可伸缩性，常用 的分布式协议是DIS和HLA。
• 医学领域的应用
– “虚拟现实”装置 – 虚拟现实技术分析神经系统 – 分子造型
虚拟现实技术的主要应用领域
• 教育培训领域的应用
– 建筑工程学 – 考古学 – 医学教育 – 导游培训 – 生物教育 – 历史教育 – 化学和物理教育 – 社会科学
虚拟现实技术的主要应用领域
• 军事应用
– 步兵训练系统 – 作战仿真系统
虚拟现实的发展历程
• 发展历程
1965年 Sutherland提出
1966年 开始HDM的研究
1968年 研制出第一台HMD
20世纪90年代以来 VR应用到众多领域
1990年
Siggraph会议确定 VR技术的发展方向
1986年 VIEW系统研制成功
1975年 Myron Krueger 提出AR的思想
图8.10 头盔显示器(HMD)
虚拟现实硬件基础
– 原理：计算机系统针对左右眼的两个RGB信 号，通过双路立体显示系统发送给HMD的控 制单元，用于立体观察。控制单元同时接 收立体声，发送给HMD的立体耳机。
– 位置跟踪器 – 头盔的缺点是使人感到不习惯和不舒适，
加上分辨率低和视野范围不够会引起信息 丢失。
虚拟现实硬件基础
• 立体眼镜
– 被动式（Passive），这两幅图像可以并排放置， 重叠在一起，图像能够通过放于眼前的不同的 滤波器投影到眼睛，立体图像使用偏正光眼镜 或红/蓝玻璃眼镜，以提供天然的（无色彩）立 体视觉，这类眼镜造价便宜，电影等娱乐业大 量采用该类型。
– 主动式（Active），计算机交替产生左、右眼 图像，使用液晶显示眼镜与显示器上的立体图 像对，同步开关，遮挡左/右眼，使大脑很快收 到交替图像，并融合图像为单一的场景和景深。 所以需要高速的场频（最小为60Hz）来避免闪 烁，否则用户佩戴后会感到头昏。这类眼镜较 昂贵，主要有Crystal Eye公司的立体眼镜，见 图。
虚拟现实的研究现状
–Dimension International是桌面VR的先驱， 尽管桌面VR是非沉浸式的，但是与那些可视 效 果 和 动 态 质 量 差 的 沉 浸 式 ( Immersive) 系 统相比，具有优质图像和实时交互特性。
–英国的高级机器人研究有限公司(ARRL)关于 远程呈现的实验研究主要包括VR技术重构问 题。头控立体摄像Байду номын сангаас统、在手套和3D／6D鼠 标上使用了触觉反馈等。
虚拟现实硬件基础
• 立体投影显示
– CAVE握由美国Illinois大学EVL实验室为克服HMD 存在的问题而研制的一个系统，完成于20世纪90年 代初。它由一个10ft×lOft×9ft大小的房间组成 ，房间的每一面墙与地板均由大屏幕背投影机投上 1024×768分辨率的立体图像。可允许多人走进 CAVE中，用户戴上立体眼镜便能从空间中任一方向 看到立体的图像。CAVI实现了大视角、全景、立体 、且支持5～lO人共享的一个虚拟环境。
虚拟现实技术的主要应用领域
• 工程应用
–虚拟现实技术在制造业的广泛应用。
• 德国的汽车制造企业，将vr应用到零部件设计、 内部设计、空气动力学实验和模拟撞车安全测试。
• 福特公司的虚拟工厂 • 英国航空实验室的虚拟轿车客舱 • 雷诺汽车公司的“city Fleet”
虚拟现实技术的主要应用领域
• 工程应用
虚拟现实系统的分类
• 虚拟现实系统的分类
– 叠加式：叠加式虚拟现实系统允许用户对现实世 界进行观察的同时，虚拟图像叠加在被观察点(即 现实世界)之上。叠加式虚拟现实系统又称为“补 充现实系统”或者“扩大的现实系 统”(Augmented Reality，A11)。
虚拟现实系统的分类
• 虚拟现实系统的分类
虚拟现实系统的分类
• 虚拟现实系统的分类
– 非沉浸式：非沉浸式VR系统又称为桌面VR 系统或非配带型VR系统，其视景是通过计 算机屏幕、或投影屏幕、或室内的实际景 物加上部分计算机生成的环境来提供给用 户的；音响是由安放在桌面上的或室内音 响系统提供的。这种系图8.统5 沉浸式有VR系时统 称为“窗口 虚拟现实系统(through-the-Windows VR system)”或者“桌面虚拟现实系统(Desktop VR System)”。
用户
用户界面
传感 器模 块
相
输入模块
应
反馈模块
模 块
虚拟现实系统的分类
• 虚拟现实系统的分类
– 沉浸式：用封闭的视景和音响系统将用户的视听觉 与外界隔离，使用户完全置于计算机生成的环境之 中，计算机通过用户戴的数据手套和跟踪器可以测 试用户的运动和姿态，并将测得的数据反馈到生成 的视景中，产生人在其中的效果。
虚拟现实技术体系结构
• 虚拟现实的硬件系统结构
虚拟现实技术体系结构
• 虚拟现实系统的组成模块
– 输入模块：是虚拟现实系统的输入接口，其功能是检测用户 的输入信号，并通过传感器模块作用于虚拟环境。
– 传感器模块：是虚拟现实系统中操作者和虚拟环境之间的桥 梁。
– 响应模块：是虚拟现实系统的控制中心。 – 反馈模块：是虚拟现实系统的输出接口。
虚拟现实硬件基础
• CAVE的不足
– 价格昂贵 – 要求更大的空间和更多的硬件 – 还没有产品化和标准化等。
• 改进
– ImmersaDesk – Infinity Wall – SGI Reality Center – 虚拟视网膜显示器(Virtual Retinal
Display，简称VRD)
外科手术仿真的研究。
虚拟现实的研究现状
–华盛顿大学华盛顿技术中心的人机界面技术实验室 (HIT Lab)在新概念的研究中起着领先作用，同时也 在进行感知、知觉、认知和运动控制能力的研究。 HIT将VR研究引人了教育、设计、娱乐和制造领域。 例如，波音公司的V22运输机就是先在实验室中造出 虚拟机后再投人生产的。
1985年 研制出数据手套
虚拟现实的研究现状
• 国外虚拟现实技术的研究现状
–美国宇航局(NASA)
• 美国宇航局(NASA)的Ames实验室完善了HMD，并 将VPL的数据手套工程化，使其成为可用性较高 的产品。
• NASA完成的一项著名的工作是对哈勃太空望远 镜的仿真。
• 现在NASA已经建立了航空、卫星维护VR训练系统、 空间站VR训练系统，并且已经建立了可供全国使 用的VR教育系统。
虚拟现实的研究现状
–Windustries位于Leicester，是国际VR界的 著名开发机构，正在开发一系列 VR产品， 主要是娱乐业方面的。正在计划推出新型轻 量显示头盔和功能强大的图形引擎 (Graphics Engine)。
–British Aerospace(BAE)的许多部门参与了 VR，利用VR技术设计高级战斗机座舱，