虚拟现实基本概念

萌芽与诞生（ 60年代-80年代末）
1966年，美国MIT林肯实验室研制出了第一个 头盔式显示器(Helmet Mounted Display 即HMD) 1968年，Sutherland在哈佛大学的组织下开发 了头盔式立体显示器及一个虚拟系统，可称得 上是第一个虚拟现实系统。
萌芽与诞生（ 60年代-80年代末）
虚拟现实
• • • • Virtual Reality 1989年由美国Jaron.Lanier 发明出来的一个词 灵境、幻境、赛伯空间、虚拟现实 虚拟现实（Virtual Reality）
– 虚拟的现实 – 虚拟化现实
怎样理解虚拟现实
• 虚拟现实系统中 的“现实”（即 所虚拟的环境） 大致可分为三种 情况：
主题公园、游乐场
• 4D影院
4D影院演示1 4D影院演示2
虚拟高尔夫球场
飞行、航海驾驶模拟
驾驶射击模拟
医学模拟、仿真
演示: medicien.mpg
渐入民间---软硬件技术的发展
• 显卡的出现与飞速发展 • 计算机图形基础算法的发展
• 游戏引擎、虚拟现实平台软件的研发
VR在Internet上的兴衰（90年代中-21世纪）
VR终极目标
• 《黑客帝国》
• 距离这个目标还有相 当的距离
黑客帝国影片片段
不同层次上的虚拟现实
• 哲学意义上的虚拟现实 – 虚拟实在与自然实在的对等性 • 科学意义上的虚拟现实 – 科学研究的三大手段：理论、建模、实验验证与 模拟仿真 – 人类梦想的场景在感知中的实现 • 工程意义上的虚拟现实 – 以计算技术为核心，生成感知上与真实环境高度 近似，交互上直观自然的数字化环境
• 虚拟现实（Virtual Reality）
– 虚拟的现实 – 虚拟化现实 – 虚拟与现实
与几个概念的辨析
• 虚拟现实与三维漫游，景观动画，三维游戏 ，计算机图形学
• 虚拟现实与
– 媒体 – 数字媒体，新媒体 – 创意媒体
虚拟现实概念的进一步分析
• 什么是虚拟现实
– 虚拟现实的终极目标 – 不同层次上的虚拟现实 – 虚拟现实的概念辨析 – 虚拟现实应用目标的变化
四面CAVE
洞穴式（CAVE） 桌面立体显示器 五面CAVE 六面CAVE
非 沉 浸 式
墙式立体显示器 响应式工作台（RWB）
屏面宽屏幕 180°环状 单屏幕RWB 双屏幕RWB
HMD CAVE
BOOM
180度环状屏幕
球面投影显示系统
• 机器 人
– 跟踪、探测人的动作和响应 ---- 跟踪设备
• 机器 人
眼、耳、鼻、舌、身、意
根据实验心理学家统计，人类获取的信息83%来自 视觉，11%来自听觉，这两个加起来有94%。还有 3.5%来自嗅觉，1.5%来自触觉，1%来自味觉。
感知设备
• 视觉感知设备
头盔显示器（HMD） 沉 浸 式 吊杆式（BOOM） 封闭式头盔显示器 透视式头盔显示器
虚拟现实
原理
• • • •
VR基本概念 VR软件系统平台 VR引擎实例和演示 VR应用模式
“虚”与“实”
昔者庄周梦为蝴蝶，栩栩然 蝴蝶也，自喻适志与！不知 周也。俄然觉，则蘧蘧然周 也。不知周之梦为蝴蝶与， 蝴蝶之梦为周与？
——《庄子· 齐物论》
“虚”与“实”
• 柏拉图：真正的世界只是存在于我们的想象 中。 • 笛卡尔：我思故我在！ • “I think therefore I am”
萌芽与诞生（ 60年代-80年代末）
• 军事与航天的推动（70年代-80年代）
– 70年代和80年代早期，美国军方开展“飞行头盔”和军 事现代仿真器的研究 – 1983年美国DARPA(Defense Advenced Research Projects Agency)和美国陆军共同为坦克编队作战训练开发了一 个实用的虚拟战场系统SIMNET。
• 1987年，《科学的美国人》(“Scientific American”)上发表了一篇题为先进的计算机界 面（Interfaces for Advanced Computing）一文 ；该杂志还发表了一篇报导数据手套的文章 • 基于从60年代以来所取得的一系列成就，美 国的Jaron Lanier 在80年代正式提出了 “Virtual Reality”一词。
萌芽与诞生（ 60年代-80年代末）
• 1962年，美国电 影摄影师Morton Heilig研制的 Sensorama的立 体电影系统
萌芽与诞生（ 60年代-80年代末）
1965年，Ivan Sutherland 在名为“Ultimate Display” (终极的显示)的 论文中首次提出了包括 具有交互图形显示、力 反馈设备以及声音提示 的虚拟现实系统的基本 思想。
萌芽与诞生（ 60年代-80年代末）
• 萌芽
– 1929年，Edwin A.Link发明了飞行模拟器，使 乘坐者的感觉和坐在真的飞机上是一样的。 – 1956年，Morton Heileg开发了一个叫做 Sensorama (传感景院）的摩托车仿真器。 – 1962年，Morton Heileg申请了专利“全传感仿 真器”。该专利蕴涵了虚拟现实技术的思想。
• 虚拟现实的发展历史与演变 • 虚拟现实系统的组成
虚拟现实系统的一般组成形式
虚拟现实系统的组成元素
• 介入者（人） • 虚拟世界生成设备 --- VR的计算机系统 • VR的人机接口
– 感知设备：给介入者提供感知信号 – 跟踪设备：探测（接受）介入者的反应动作
（介 人入 ）者
感知设备 感官刺激信号
虚拟现实概念辨析
• • • •
虚拟现实与三维漫游 虚拟现实与景观动画 虚拟现实与三维游戏 虚拟现实与计算机图形学
虚拟现实概念的变化
• 虚拟现实是计算机生成的给人多种感官刺激的虚 拟环境。用户应该能够以自然的方式与这个环境 交互，从而产生置身于相应的真实环境中的虚幻 感，沉浸感，身临其境的感觉 • 应用需求使VR的应用重点进行了多种变化 – 强调自然交互产生的应用 ----如Kinect诸多应用 – 不再强调沉浸感，而强调信息提供 ---- 增强现实
• 记忆裂痕 • 虚拟偶像（SIMONE，又名虚拟情人 、西蒙妮） • 逃出克隆岛（The Island） • 时空悍将（Virtuosity） • 异次元骇客（The Thirteenth Floor， 又名十三阶梯、十三度空间） • 黑客帝国 • 时间线 • 盗梦空间
描述
• 虚拟现实（Virtual Reality）就是研 究一种计算机技术，把人们想象中的东 西转化为一种虚拟境界和虚拟存在，而 这种虚拟境界和虚拟存在对我们的感觉 器官就象真的客观存在一样。
– 技术问题 – 无法找到盈利模式
VR应用的大众化与多元化（21世纪）
• 多媒体创意展示
– 奥运、世博、春晚
• 3D电影
– 阿凡达
清明上河图 --- 水晶石公司制作
多媒体创意展示
• 虚拟现实艺术
• 虚拟现实与数字媒体、文化创意紧密 结合起来
VR应用的大众化与多元化（21世纪）
• 适当放宽对沉浸感的追求，而重视用户体 验
NASA研制的VIVED和VIEW系统
渐入民间---游戏、娱乐、模拟应用的刺激（90年代）
• 3D游戏 • 主题公园、游乐场 • 飞行、航海、医学等的模拟训练
1990年最早出现的两款3D游戏
1995年的3D游戏
毁灭战士1&2（Doom 1&2）
2004年Doom3的效果
2011年，Crysis2
• 2. 交互性(Interaction )
– 指wenku.baidu.com能以自然方式与虚拟世界进行交互操作 – 专用交互设备，如数据手套、跟踪器、触觉和 力反馈装置
• 3. 沉浸感（Immersion,存在感、临场感）
– 它是指虚拟现实系统对介入者的刺激在物理上 和认知上符合人的已有经验，从而使介入者感 到自己作为主角存在于模拟环境中的真实程度
计算机网络
计算机视觉
数字图像处理
人工智能
人机交互 科学计算可视化
模式识别
虚拟现实
输入/输出设备 自动化控制
计算机图形学
生理学、心理学等
虚拟现实
• 科学意义上的纯粹的概念：
– 虚拟现实是计算机生成的给人多种感官刺激 的虚拟环境。用户应该能够以自然的方式与 这个环境交互，从而产生置身于相应的真实 环境中的虚幻感，沉浸感，身临其境的感觉
– 创意展示、体验 – 人机交互 ---- Kinect, iPhone – 增强现实
增强现实
增强现实——google智能眼镜
Google眼镜演示
虚拟现实概念的进一步总结
• 有很深的哲学渊源 • 是一种理念
• 新的应用模式不断产生，应用热点在 不断发生变化 • 是多学科的融合
虚拟现实及其相关学科
• 触觉和力觉通道信号生成与显示 • 支持实时人机交互操作的功能——三维空间定 位、碰撞检测、语音识别以及人机实时对话功 能
系统组成框图
感官刺激信号
感知设备
（介 人入 ）者
跟踪设备
人 机 接 口
反应动作
虚 拟 世 界
虚拟现实的人机接口
• VR的人机接口有两个作用：
– 给人提供环境感知信息 ---- 感知设备
• 第一种情况是模 仿真实世界中的 环境。
怎样理解虚拟现实
• 第二种情况是人 类主观构造的环 境。例如，用于 影视制作或电子 游戏的三维动画 。环境是虚构的 ，几何模型和物 理模型可以完全 虚构。
怎样理解虚拟现实
• 第三种情况是模仿真 实世界中的人类不可 见的环境。例如，分 子的结构，空气中速 度、温度、压力的分 布等。
跟踪设备
人 机 接 口
反应动作
虚 拟 世 界
生成虚拟世界的设备
• 硬件
– 计算机
• 软件
– 操作系统；虚拟现实引擎；建模软件……
• 网络
– 分布式交互仿真已经成为现代仿真技术，特别是军 事仿真的潮流。通讯网络可以把VE转换成共享的分 布式计算环境。
这些设备的主要功能
• 视觉通道信号生成与显示 （要求：实时的帧速率；高质量的图像） • 听觉通道信号生成与显示
• 1994年3月在日内瓦召开的第一届WWW 大会，就提出了VRML这个名字。 • SecondLife，There • 国内：HiPiHi
网络上的虚拟世界
http://secondlife.com/
VR在Internet上的兴衰（90年代中-21世纪）
• • • •
2006-2007年随second life的被报道而繁荣 国内出现很多类似产品 局面迟迟无法打开，大都面临破产 原因分析
一个蛋白质分子的示例
虚拟现实的概念
• 虚拟现实是计算机生成的给人多种感 官刺激的虚拟环境。用户应该能够以 自然的方式与这个环境交互，从而产 生置身于相应的真实环境中的虚幻感 ，沉浸感，身临其境的感觉
• 1. 多感知性(Multi-Sensory)
虚 拟 现 实 的 特 点
– 计算机生成一个给人多种感官刺激的虚拟环境 ：视觉感知、听觉感知、力觉感知、触觉感知 、运动感知、甚至包括味觉感知、嗅觉感知等
• 应用意义上的概念
– 利用计算机及各种传感设备构造一种信息环 境，人能够高效、自然地对此信息环境进行 感知、交互，产生沉浸感或达到某种信息传 达的目的。
对虚拟现实概念的分析
• 应用意义上的概念
– 利用计算机及各种传感设备构造一种信息环 境，人能够高效、自然地对此信息环境进行 感知、交互，产生沉浸感或达到某种信息传 达的目的。
SIMNET
萌芽与诞生（ 60年代-80年代末）
70年代和80年代早期，美国军方开展“飞行头盔 ”和军事现代仿真器的研究 1983年美国DARPA(Defense Advenced Research Projects Agency)和美国陆军共同为坦克编队作战 训练开发了一个实用的虚拟战场系统SIMNET。 1984年NASA（National Aeronautics and Space Administration，美国宇航局）研制成功具有现代 虚拟现实系统雏形的VIVED系统 1988年NASA研究完成VIEW系统
虚拟现实的发展历史与演变
• • • • • 萌芽与诞生（ 60年代-80年代末） 军事与航天的推动（70年代-80年代） 渐入民间---游戏、娱乐、模拟应用的刺激（90年代） VR在Internet上的兴衰（90年代中-21世纪） VR应用的大众化与多元化（21世纪）
– 世博会、春晚、文化创意产业、3D电影 – 人机交互、增强现实