虚拟现实技术基础(PPT 51页)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
“虚拟环境是使人们具有沉浸感的由计算 机生成的、交互的、三维的环境”
--- Aukstakalnis S and Blatner D.
3
虚拟现实系统的特点及组成
主要特点
沉浸感
➢ 如同置身于真实环境中：三维、立体、多通道
高交互性
➢ 可采取现实生活中习以为常的方式来操纵虚拟环 境中的物体
实时性
31
基于投影显示的虚拟现实系统
利用大规模投影显示设备让用户完全或部 分融入虚拟环境
沉浸式
典型代表：CAVE
半沉浸式
典型代表：Workbench
32
基于投影显示的虚拟现实系统
CAVE
美国Illonis大学EVL实验室首创 由3～6个投影屏幕组成正方体形状 计算机系统产生立体图像，经投影仪分别投
一般采用电磁技术、超声技术、光学技术， 也有基于惯性的和纯机械方式的
15
虚拟现实交互设备
三维定位跟踪设备
电磁式跟踪器示例
16
虚拟现实交互设备
三维定位跟踪设备
Logitech超声三维鼠标
17
虚拟现实交互设备
三维定位跟踪设备
光学跟踪器
LED
被跟踪物
跟踪器
用作标记的小球
红外摄像机
18
虚拟现实交互设备
➢ 依视点位置和视线方向实时地改变画面，并实时 产生听觉、触觉/力觉响应
4
虚拟现实系统的特点及组成
典型虚拟现实系统的组成
计算机系统 用户 虚拟环境人机界面
5
虚拟现实系统的特点及组成
基于HMD的虚 拟现实系统的 构成
6
立体视觉的生成与获取
产生沉浸感的至关重要的因素
立体图像与观察者视点和视线方向一致 实时生成
29
桌面型虚拟现实系统
采用计算机屏幕作为立体显示载体
辅以一定的声音输出设备、三维交互设备和立体眼 镜等
传统计算机图形学的自然扩展 具有好的性价比，但沉浸感略差
30
基于HMD的虚拟现实系统
利用HMD等设备把用户的视觉、听觉对外界封 闭起来
用户完全投入到虚拟环境中 能提供好的沉浸感 阻断了人与人间的交流
用户将通过一系列新的交互手段，与虚拟世 界中的物体进行直接的、三维的交互
三维鼠标 WAND 数据手套 麦克风 …
14
虚拟现实交互设备
三维定位跟踪设备
用于跟踪用户当前方位的传感器 大多数具有6自由度（6-DOF）
➢ 位置和方向各3自由度
佩戴于用户身体的某些部位可对相应部位进 行跟踪
分别按照观察者左、右眼的位置实时绘制
12
立体视觉的生成与获取
立体视觉的捕获
必须借助于一定的观察设备，使计算机生成的左、 右眼图像分别为观察者的左、右眼所接收
常用的立体视觉设备 ➢ HMD ➢ 立体眼镜
13
虚拟现实交互设备
WIMP交互范式已不再适用
Windows，Icons，Menus，Pointing devices
手持式交互设备
Wand/Wanda
➢ 美国Illonis大学EVL实验室开发 ➢ 主要用于CAVE、ImmersaDesk等虚拟环境中 ➢ 类似于三维鼠标，上有三个按键和一个操纵杆
（Joystick）
19
虚拟现实交互设备
手持式交互设备
Wii Remote
➢ 任天堂游戏主机Wii的主要控制器 ➢ 外形及按钮操作与电视遥控器类似 ➢ 可握持在手中，特别适合于指向、挥动等操作
26
虚拟现实交互设备
交互设备的软件支持
硬件接口
标准的串行设备接口（即RS-232） ➢ 并行口 ➢ 其它接口（如USB或无线通讯接口）
软件接口
➢ 几乎每一种设备均未采用标准的软件接口 ➢ 使用各自独有的接口控制协议或命令指令集
27
虚拟现实交互设备
交互设备的软件支持
软件供应商必须为每一硬件供应商的输入设 备单独设计应用接口驱动程序
20
虚拟现实交互设备
数据手套
附有传感器，分布在手掌和手指的关节处，以获取 用户手形的准确信息
传感有电磁式、机械式或光学式 传感器捕获的数据被转换成关节角度数据，用于控
制虚拟手的运动
21
虚拟现实交互设备
数据手套传感器的典型配置
22-dof
22
虚拟现实交互设备
数据手套示例
Immersion数据手套产品 http://www.immersion.com/
➢ 近裁剪平面距离与远裁剪平面距离
10
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 焦距
11
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 左右眼视差（Parallax）
右眼视图
左眼视图
视线方向
视差
为生成立体图像，计算机必须针对同一场 景生成两幅不同的图像
虚拟现实技术简介
授课教师：侯守明 单位：河南理工大学计算机学院
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
2
虚拟现实系统的特点及组成
虚拟现实技术综合图形、图像、声音、手 势、语音等要素，试图给计算机使用者创 造一种全新的感官体验，使其具有置身于 真实世界的感觉
虚拟现实软件间的区别（就交互设备而言）
所能支持的输入设备的多少 设备与各自系统的集成方式 是否有能力进行扩充以支持新的交互设备
28
虚拟现实系统的分类
VR系统的主要不同之处在于系统与用户之间界 面
基于系统与用户界面划分
桌面型VR系统 头盔型VR系统 基于投影显示的VR系统 遥在系统 …
人类立体视觉的产生
7பைடு நூலகம்
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型
➢ 位置 ➢ 方向
8
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 宽高比 ➢ 视角
9
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
(a)
(b)
(c)
(d)
(e)
23
虚拟现实交互设备
数据手套示例
PinchGlove数据手套 http://www.fakespacelabs.com
24
虚拟现实交互设备
数据手套示例
5DT数据手套 http://www.5dt.com/
25
虚拟现实交互设备
触觉交互设备
Phantom http://www.sensable.com/
射到对应的屏幕上 用户戴着立体眼镜站于CAVE的内部 立体眼镜上附有6-DOF跟踪设备对用户头部
--- Aukstakalnis S and Blatner D.
3
虚拟现实系统的特点及组成
主要特点
沉浸感
➢ 如同置身于真实环境中：三维、立体、多通道
高交互性
➢ 可采取现实生活中习以为常的方式来操纵虚拟环 境中的物体
实时性
31
基于投影显示的虚拟现实系统
利用大规模投影显示设备让用户完全或部 分融入虚拟环境
沉浸式
典型代表：CAVE
半沉浸式
典型代表：Workbench
32
基于投影显示的虚拟现实系统
CAVE
美国Illonis大学EVL实验室首创 由3～6个投影屏幕组成正方体形状 计算机系统产生立体图像，经投影仪分别投
一般采用电磁技术、超声技术、光学技术， 也有基于惯性的和纯机械方式的
15
虚拟现实交互设备
三维定位跟踪设备
电磁式跟踪器示例
16
虚拟现实交互设备
三维定位跟踪设备
Logitech超声三维鼠标
17
虚拟现实交互设备
三维定位跟踪设备
光学跟踪器
LED
被跟踪物
跟踪器
用作标记的小球
红外摄像机
18
虚拟现实交互设备
➢ 依视点位置和视线方向实时地改变画面，并实时 产生听觉、触觉/力觉响应
4
虚拟现实系统的特点及组成
典型虚拟现实系统的组成
计算机系统 用户 虚拟环境人机界面
5
虚拟现实系统的特点及组成
基于HMD的虚 拟现实系统的 构成
6
立体视觉的生成与获取
产生沉浸感的至关重要的因素
立体图像与观察者视点和视线方向一致 实时生成
29
桌面型虚拟现实系统
采用计算机屏幕作为立体显示载体
辅以一定的声音输出设备、三维交互设备和立体眼 镜等
传统计算机图形学的自然扩展 具有好的性价比，但沉浸感略差
30
基于HMD的虚拟现实系统
利用HMD等设备把用户的视觉、听觉对外界封 闭起来
用户完全投入到虚拟环境中 能提供好的沉浸感 阻断了人与人间的交流
用户将通过一系列新的交互手段，与虚拟世 界中的物体进行直接的、三维的交互
三维鼠标 WAND 数据手套 麦克风 …
14
虚拟现实交互设备
三维定位跟踪设备
用于跟踪用户当前方位的传感器 大多数具有6自由度（6-DOF）
➢ 位置和方向各3自由度
佩戴于用户身体的某些部位可对相应部位进 行跟踪
分别按照观察者左、右眼的位置实时绘制
12
立体视觉的生成与获取
立体视觉的捕获
必须借助于一定的观察设备，使计算机生成的左、 右眼图像分别为观察者的左、右眼所接收
常用的立体视觉设备 ➢ HMD ➢ 立体眼镜
13
虚拟现实交互设备
WIMP交互范式已不再适用
Windows，Icons，Menus，Pointing devices
手持式交互设备
Wand/Wanda
➢ 美国Illonis大学EVL实验室开发 ➢ 主要用于CAVE、ImmersaDesk等虚拟环境中 ➢ 类似于三维鼠标，上有三个按键和一个操纵杆
（Joystick）
19
虚拟现实交互设备
手持式交互设备
Wii Remote
➢ 任天堂游戏主机Wii的主要控制器 ➢ 外形及按钮操作与电视遥控器类似 ➢ 可握持在手中，特别适合于指向、挥动等操作
26
虚拟现实交互设备
交互设备的软件支持
硬件接口
标准的串行设备接口（即RS-232） ➢ 并行口 ➢ 其它接口（如USB或无线通讯接口）
软件接口
➢ 几乎每一种设备均未采用标准的软件接口 ➢ 使用各自独有的接口控制协议或命令指令集
27
虚拟现实交互设备
交互设备的软件支持
软件供应商必须为每一硬件供应商的输入设 备单独设计应用接口驱动程序
20
虚拟现实交互设备
数据手套
附有传感器，分布在手掌和手指的关节处，以获取 用户手形的准确信息
传感有电磁式、机械式或光学式 传感器捕获的数据被转换成关节角度数据，用于控
制虚拟手的运动
21
虚拟现实交互设备
数据手套传感器的典型配置
22-dof
22
虚拟现实交互设备
数据手套示例
Immersion数据手套产品 http://www.immersion.com/
➢ 近裁剪平面距离与远裁剪平面距离
10
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 焦距
11
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 左右眼视差（Parallax）
右眼视图
左眼视图
视线方向
视差
为生成立体图像，计算机必须针对同一场 景生成两幅不同的图像
虚拟现实技术简介
授课教师：侯守明 单位：河南理工大学计算机学院
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
2
虚拟现实系统的特点及组成
虚拟现实技术综合图形、图像、声音、手 势、语音等要素，试图给计算机使用者创 造一种全新的感官体验，使其具有置身于 真实世界的感觉
虚拟现实软件间的区别（就交互设备而言）
所能支持的输入设备的多少 设备与各自系统的集成方式 是否有能力进行扩充以支持新的交互设备
28
虚拟现实系统的分类
VR系统的主要不同之处在于系统与用户之间界 面
基于系统与用户界面划分
桌面型VR系统 头盔型VR系统 基于投影显示的VR系统 遥在系统 …
人类立体视觉的产生
7பைடு நூலகம்
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型
➢ 位置 ➢ 方向
8
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 宽高比 ➢ 视角
9
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
(a)
(b)
(c)
(d)
(e)
23
虚拟现实交互设备
数据手套示例
PinchGlove数据手套 http://www.fakespacelabs.com
24
虚拟现实交互设备
数据手套示例
5DT数据手套 http://www.5dt.com/
25
虚拟现实交互设备
触觉交互设备
Phantom http://www.sensable.com/
射到对应的屏幕上 用户戴着立体眼镜站于CAVE的内部 立体眼镜上附有6-DOF跟踪设备对用户头部