虚拟现实系统
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
射到对应的屏幕上 用户戴着立体眼镜站于CAVE的内部 立体眼镜上附有6-DOF跟踪设备对用户头部
运动进行实时跟踪 声音系统
37
基于投影显示的虚拟现实系统
CAVE示意图
38
基于投影显示的虚拟现实系统
CAVE示例
39
基于投影显示的虚拟现实系统
Virtual WorkbenchTM
卫星虚拟装配
虚拟现实交互设备
三维定位跟踪设备
电磁式跟踪器示例
19
虚拟现实交互设备
三维定位跟踪设备
Logitech超声三维鼠标
20
虚拟现实交互设备
三维定位跟踪设备
光学跟踪器
LED
被跟踪物
跟踪器
用作标记的小球
ቤተ መጻሕፍቲ ባይዱ
红外摄像机
21
虚拟现实交互设备
手持式交互设备
Wand/Wanda
➢ 美国Illonis大学EVL实验室开发 ➢ 主要用于CAVE、ImmersaDesk等虚拟环境中 ➢ 类似于三维鼠标，上有三个按键和一个操纵杆
“虚拟环境是使人们具有沉浸感的由计算 机生成的、交互的、三维的环境”
--- Aukstakalnis S and Blatner D.
4
虚拟现实系统的特点及组成
主要特点
沉浸感
➢ 如同置身于真实环境中：三维、立体、多通道
高交互性
➢ 可采取现实生活中习以为常的方式来操纵虚拟环 境中的物体
实时性
增强虚拟 (Augmented Virtuality, AV)
虚拟环境 (Virtual Environment)
45
增强现实系统
系统组成
46
增强现实技术
显示技术
基于光学视透式HMD的增强现实显示原理
头部位置
HMD
图形系统
监视器
虚拟物体
眼睛
光学合成
真实 世界
47
增强现实技术
显示技术
基于屏幕的增强现实显示原理
制虚拟手的运动
24
虚拟现实交互设备
数据手套传感器的典型配置
22-dof
25
虚拟现实交互设备
(a)
(b)
(c)
(d)
(e)
26
虚拟现实交互设备
27
虚拟现实交互设备
28
虚拟现实交互设备
29
虚拟现实交互设备
交互设备的软件支持
硬件接口
标准的串行设备接口（即RS-232） ➢ 并行口 ➢ 其它接口（如USB或无线通讯接口）
谢谢大家！
（Joystick）
22
虚拟现实交互设备
手持式交互设备
Wii Remote
➢ 任天堂游戏主机Wii的主要控制器 ➢ 外形及按钮操作与电视遥控器类似 ➢ 可握持在手中，特别适合于指向、挥动等操作
23
虚拟现实交互设备
数据手套
附有传感器，分布在手掌和手指的关节处，以获取 用户手形的准确信息
传感有电磁式、机械式或光学式 传感器捕获的数据被转换成关节角度数据，用于控
一马当先，全员举绩，梅开二度，业 绩保底 。20.10.1820.10.1814:4714:47:1714:47:17Oc t-20
牢记安全之责，善谋安全之策，力务 安全之 实。2020年10月18日 星期日2时47分 17秒Sunday, October 18, 2020
相信相信得力量。20.10.182020年10月 18日星 期日2时47分17秒20.10.18
AR系统涉及多个空间，每个空间都有各自不同的 坐标系
配准是实现虚拟景物图像和真实世界图像之 间正确融合的前提
配准错误将导致用户的注意力分散，甚至无 法工作
50
增强现实技术
配准困难的原因
需对人和摄像机的运动进行实时跟踪
➢ 运动跟踪可借助跟踪设备来完成，但如何校正这 些运动数据以消除噪声?
系统所采用的显示方式决定了虚拟景物图像 配准到真实场景图像的精度
8
立体视觉的生成与获取
产生沉浸感的至关重要的因素
立体图像与观察者视点和视线方向一致 实时生成
人类立体视觉的产生
9
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型
➢ 位置 ➢ 方向
10
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 需要对人眼的结构、摄像系统的参数或其它显示 设备有更多了解
51
增强现实的应用领域
军事领域
52
增强现实的应用领域
医学领域
53
增强现实的应用领域
工程领域
54
增强现实的应用领域
虚拟演播室
55
增强现实的应用领域
虚拟演播室（cont.）
56
树立质量法制观念、提高全员质量意 识。20.10.1820.10.18Sunday, October 18, 2020
对称透视投影成像相机模型 （cont.)
➢ 左右眼视差（Parallax）
右眼视图
左眼视图
视线方向
视差
为生成立体图像，计算机必须针对同一场景生 成两幅不同的图像
分别按照观察者左、右眼的位置实时绘制
14
立体视觉的生成与获取
立体视觉的捕获
必须借助于一定的观察设备，使计算机生成的左、 右眼图像分别为观察者的左、右眼所接收
软件接口
➢ 几乎每一种设备均未采用标准的软件接口 ➢ 使用各自独有的接口控制协议或命令指令集
30
虚拟现实交互设备
交互设备的软件支持
软件供应商必须为每一硬件供应商的输入设 备单独设计应用接口驱动程序
虚拟现实软件间的区别（就交互设备而言）
所能支持的输入设备的多少 设备与各自系统的集成方式 是否有能力进行扩充以支持新的交互设备
使用户产生全新的体验，提高对现实世界中 的事物和物理现象的洞察力
终极目标：用户感觉不到现实世界中的真 实物体与用于增强视觉信息的虚拟物体之 间的差别
44
增强现实技术
Milgrim的现实--虚拟连续流
混合现实 (Mixed Reality, MR)
现实环境 (Real
Environment)
增强现实 (Augmented Reailty, AR)
➢ 依视点位置和视线方向实时地改变画面，并实时 产生听觉、触觉/力觉响应
5
虚拟现实系统的特点及组成
典型虚拟现实系统的组成
计算机系统 用户 虚拟环境人机界面
6
虚拟现实系统的特点及组成
基于HMD的虚 拟现实系统的 构成
7
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
40
遥在系统
将现实世界中远程场景与操作人员的感官 直接连通，让用户感觉就像亲临现场一样
利用计算机图形、人机交互、传感器、网络等技术
远程传感器可安装在机器人身上
机器人身上有小型摄像系统
需感知用户位置、动作、语音等，将其传 送到远程操控远程对象
用户与远程对象进行信息双向交流
41
遥在系统
示例： Cisco远程电话会议系统
严格把控质量关，让生产更加有保障 。2020年10月 下午2时 47分20.10.1814:47Oc tober 18, 2020
作业标准记得牢，驾轻就熟除烦恼。2020年10月18日星期 日2时47分17秒 14:47:1718 October 2020
好的事情马上就会到来，一切都是最 好的安 排。下 午2时47分17秒 下午2时47分14:47:1720.10.18
虚拟现实
授课教师： 单位：
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
2
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
3
虚拟现实系统的特点及组成
虚拟现实技术综合图形、图像、声音、手 势、语音等要素，试图给计算机使用者创 造一种全新的感官体验，使其具有置身于 真实世界的感觉
人生得意须尽欢，莫使金樽空对月。14:47:1714:47:1714:4710/18/2020 2:47:17 PM
安全象只弓，不拉它就松，要想保安 全，常 把弓弦 绷。20.10.1814:47:1714:47Oc t-2018- Oct-20
加强交通建设管理，确保工程建设质 量。14:47:1714:47:1714:47Sunday, October 18, 2020
31
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
32
虚拟现实系统的分类
VR系统的主要不同之处在于系统与用户之间界 面
基于系统与用户界面划分
桌面型VR系统 头盔型VR系统 基于投影显示的VR系统 遥在系统 …
33
桌面型虚拟现实系统
真实 世界
相机位置
真实场景 视频
图形系统
虚拟物体
视频合成
显示 增强的视频
48
增强现实技术
显示技术
基于视频视透式HMD的增强现实显示原理
HMD
头部位置
图形系统
虚拟物体
真实场景视频 眼睛
视频合成
相机 监视器
真实 世界
49
增强现实技术
配准（registration）问题
将位于不同坐标系中的物体统一到一个共同 的坐标系中
➢ 宽高比 ➢ 视角
11
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 近裁剪平面距离与远裁剪平面距离
12
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 焦距
13
立体视觉的生成与获取
立体图像生成的照相机模型
三维鼠标 WAND 数据手套 麦克风 …
17
虚拟现实交互设备
三维定位跟踪设备
用于跟踪用户当前方位的传感器 大多数具有6自由度（6-DOF）
➢ 位置和方向各3自由度
佩戴于用户身体的某些部位可对相应部位进 行跟踪
一般采用电磁技术、超声技术、光学技术， 也有基于惯性的和纯机械方式的
18
基于投影显示的虚拟现实系统
利用大规模投影显示设备让用户完全或部 分融入虚拟环境
沉浸式
典型代表：CAVE
半沉浸式
典型代表：Workbench
36
基于投影显示的虚拟现实系统
CAVE
美国Illonis大学EVL实验室首创 由3～6个投影屏幕组成正方体形状 计算机系统产生立体图像，经投影仪分别投
采用计算机屏幕作为立体显示载体
辅以一定的声音输出设备、三维交互设备和立体眼 镜等
传统计算机图形学的自然扩展 具有好的性价比，但沉浸感略差
34
基于HMD的虚拟现实系统
利用HMD等设备把用户的视觉、听觉对外界封 闭起来
用户完全投入到虚拟环境中 能提供好的沉浸感 阻断了人与人间的交流
35
常用的立体视觉设备 ➢ HMD ➢ 立体眼镜
15
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
16
虚拟现实交互设备
WIMP交互范式已不再适用
Windows，Icons，Menus，Pointing devices
用户将通过一系列新的交互手段，与虚拟世 界中的物体进行直接的、三维的交互
http://newsroom.cisco.com/dlls/2006/prod_102306b.html
42
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
43
增强现实技术
将计算机生成的图形与用户在真实物理世 界获取的视觉信息组合在一起
安全在于心细，事故出在麻痹。20.10.1820.10.1814:47:1714:47:17October 18, 2020
踏实肯干，努力奋斗。2020年10月18日下午2时47分 20.10.1820.10.18
追求至善凭技术开拓市场，凭管理增 创效益 ，凭服 务树立 形象。2020年10月18日星期 日下午2时47分 17秒14:47:1720.10.18
运动进行实时跟踪 声音系统
37
基于投影显示的虚拟现实系统
CAVE示意图
38
基于投影显示的虚拟现实系统
CAVE示例
39
基于投影显示的虚拟现实系统
Virtual WorkbenchTM
卫星虚拟装配
虚拟现实交互设备
三维定位跟踪设备
电磁式跟踪器示例
19
虚拟现实交互设备
三维定位跟踪设备
Logitech超声三维鼠标
20
虚拟现实交互设备
三维定位跟踪设备
光学跟踪器
LED
被跟踪物
跟踪器
用作标记的小球
ቤተ መጻሕፍቲ ባይዱ
红外摄像机
21
虚拟现实交互设备
手持式交互设备
Wand/Wanda
➢ 美国Illonis大学EVL实验室开发 ➢ 主要用于CAVE、ImmersaDesk等虚拟环境中 ➢ 类似于三维鼠标，上有三个按键和一个操纵杆
“虚拟环境是使人们具有沉浸感的由计算 机生成的、交互的、三维的环境”
--- Aukstakalnis S and Blatner D.
4
虚拟现实系统的特点及组成
主要特点
沉浸感
➢ 如同置身于真实环境中：三维、立体、多通道
高交互性
➢ 可采取现实生活中习以为常的方式来操纵虚拟环 境中的物体
实时性
增强虚拟 (Augmented Virtuality, AV)
虚拟环境 (Virtual Environment)
45
增强现实系统
系统组成
46
增强现实技术
显示技术
基于光学视透式HMD的增强现实显示原理
头部位置
HMD
图形系统
监视器
虚拟物体
眼睛
光学合成
真实 世界
47
增强现实技术
显示技术
基于屏幕的增强现实显示原理
制虚拟手的运动
24
虚拟现实交互设备
数据手套传感器的典型配置
22-dof
25
虚拟现实交互设备
(a)
(b)
(c)
(d)
(e)
26
虚拟现实交互设备
27
虚拟现实交互设备
28
虚拟现实交互设备
29
虚拟现实交互设备
交互设备的软件支持
硬件接口
标准的串行设备接口（即RS-232） ➢ 并行口 ➢ 其它接口（如USB或无线通讯接口）
谢谢大家！
（Joystick）
22
虚拟现实交互设备
手持式交互设备
Wii Remote
➢ 任天堂游戏主机Wii的主要控制器 ➢ 外形及按钮操作与电视遥控器类似 ➢ 可握持在手中，特别适合于指向、挥动等操作
23
虚拟现实交互设备
数据手套
附有传感器，分布在手掌和手指的关节处，以获取 用户手形的准确信息
传感有电磁式、机械式或光学式 传感器捕获的数据被转换成关节角度数据，用于控
一马当先，全员举绩，梅开二度，业 绩保底 。20.10.1820.10.1814:4714:47:1714:47:17Oc t-20
牢记安全之责，善谋安全之策，力务 安全之 实。2020年10月18日 星期日2时47分 17秒Sunday, October 18, 2020
相信相信得力量。20.10.182020年10月 18日星 期日2时47分17秒20.10.18
AR系统涉及多个空间，每个空间都有各自不同的 坐标系
配准是实现虚拟景物图像和真实世界图像之 间正确融合的前提
配准错误将导致用户的注意力分散，甚至无 法工作
50
增强现实技术
配准困难的原因
需对人和摄像机的运动进行实时跟踪
➢ 运动跟踪可借助跟踪设备来完成，但如何校正这 些运动数据以消除噪声?
系统所采用的显示方式决定了虚拟景物图像 配准到真实场景图像的精度
8
立体视觉的生成与获取
产生沉浸感的至关重要的因素
立体图像与观察者视点和视线方向一致 实时生成
人类立体视觉的产生
9
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型
➢ 位置 ➢ 方向
10
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 需要对人眼的结构、摄像系统的参数或其它显示 设备有更多了解
51
增强现实的应用领域
军事领域
52
增强现实的应用领域
医学领域
53
增强现实的应用领域
工程领域
54
增强现实的应用领域
虚拟演播室
55
增强现实的应用领域
虚拟演播室（cont.）
56
树立质量法制观念、提高全员质量意 识。20.10.1820.10.18Sunday, October 18, 2020
对称透视投影成像相机模型 （cont.)
➢ 左右眼视差（Parallax）
右眼视图
左眼视图
视线方向
视差
为生成立体图像，计算机必须针对同一场景生 成两幅不同的图像
分别按照观察者左、右眼的位置实时绘制
14
立体视觉的生成与获取
立体视觉的捕获
必须借助于一定的观察设备，使计算机生成的左、 右眼图像分别为观察者的左、右眼所接收
软件接口
➢ 几乎每一种设备均未采用标准的软件接口 ➢ 使用各自独有的接口控制协议或命令指令集
30
虚拟现实交互设备
交互设备的软件支持
软件供应商必须为每一硬件供应商的输入设 备单独设计应用接口驱动程序
虚拟现实软件间的区别（就交互设备而言）
所能支持的输入设备的多少 设备与各自系统的集成方式 是否有能力进行扩充以支持新的交互设备
使用户产生全新的体验，提高对现实世界中 的事物和物理现象的洞察力
终极目标：用户感觉不到现实世界中的真 实物体与用于增强视觉信息的虚拟物体之 间的差别
44
增强现实技术
Milgrim的现实--虚拟连续流
混合现实 (Mixed Reality, MR)
现实环境 (Real
Environment)
增强现实 (Augmented Reailty, AR)
➢ 依视点位置和视线方向实时地改变画面，并实时 产生听觉、触觉/力觉响应
5
虚拟现实系统的特点及组成
典型虚拟现实系统的组成
计算机系统 用户 虚拟环境人机界面
6
虚拟现实系统的特点及组成
基于HMD的虚 拟现实系统的 构成
7
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
40
遥在系统
将现实世界中远程场景与操作人员的感官 直接连通，让用户感觉就像亲临现场一样
利用计算机图形、人机交互、传感器、网络等技术
远程传感器可安装在机器人身上
机器人身上有小型摄像系统
需感知用户位置、动作、语音等，将其传 送到远程操控远程对象
用户与远程对象进行信息双向交流
41
遥在系统
示例： Cisco远程电话会议系统
严格把控质量关，让生产更加有保障 。2020年10月 下午2时 47分20.10.1814:47Oc tober 18, 2020
作业标准记得牢，驾轻就熟除烦恼。2020年10月18日星期 日2时47分17秒 14:47:1718 October 2020
好的事情马上就会到来，一切都是最 好的安 排。下 午2时47分17秒 下午2时47分14:47:1720.10.18
虚拟现实
授课教师： 单位：
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
2
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
3
虚拟现实系统的特点及组成
虚拟现实技术综合图形、图像、声音、手 势、语音等要素，试图给计算机使用者创 造一种全新的感官体验，使其具有置身于 真实世界的感觉
人生得意须尽欢，莫使金樽空对月。14:47:1714:47:1714:4710/18/2020 2:47:17 PM
安全象只弓，不拉它就松，要想保安 全，常 把弓弦 绷。20.10.1814:47:1714:47Oc t-2018- Oct-20
加强交通建设管理，确保工程建设质 量。14:47:1714:47:1714:47Sunday, October 18, 2020
31
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
32
虚拟现实系统的分类
VR系统的主要不同之处在于系统与用户之间界 面
基于系统与用户界面划分
桌面型VR系统 头盔型VR系统 基于投影显示的VR系统 遥在系统 …
33
桌面型虚拟现实系统
真实 世界
相机位置
真实场景 视频
图形系统
虚拟物体
视频合成
显示 增强的视频
48
增强现实技术
显示技术
基于视频视透式HMD的增强现实显示原理
HMD
头部位置
图形系统
虚拟物体
真实场景视频 眼睛
视频合成
相机 监视器
真实 世界
49
增强现实技术
配准（registration）问题
将位于不同坐标系中的物体统一到一个共同 的坐标系中
➢ 宽高比 ➢ 视角
11
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 近裁剪平面距离与远裁剪平面距离
12
立体视觉的生成与获取
立体图像生成的照相机模型
对称透视投影成像相机模型 （cont.)
➢ 焦距
13
立体视觉的生成与获取
立体图像生成的照相机模型
三维鼠标 WAND 数据手套 麦克风 …
17
虚拟现实交互设备
三维定位跟踪设备
用于跟踪用户当前方位的传感器 大多数具有6自由度（6-DOF）
➢ 位置和方向各3自由度
佩戴于用户身体的某些部位可对相应部位进 行跟踪
一般采用电磁技术、超声技术、光学技术， 也有基于惯性的和纯机械方式的
18
基于投影显示的虚拟现实系统
利用大规模投影显示设备让用户完全或部 分融入虚拟环境
沉浸式
典型代表：CAVE
半沉浸式
典型代表：Workbench
36
基于投影显示的虚拟现实系统
CAVE
美国Illonis大学EVL实验室首创 由3～6个投影屏幕组成正方体形状 计算机系统产生立体图像，经投影仪分别投
采用计算机屏幕作为立体显示载体
辅以一定的声音输出设备、三维交互设备和立体眼 镜等
传统计算机图形学的自然扩展 具有好的性价比，但沉浸感略差
34
基于HMD的虚拟现实系统
利用HMD等设备把用户的视觉、听觉对外界封 闭起来
用户完全投入到虚拟环境中 能提供好的沉浸感 阻断了人与人间的交流
35
常用的立体视觉设备 ➢ HMD ➢ 立体眼镜
15
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
16
虚拟现实交互设备
WIMP交互范式已不再适用
Windows，Icons，Menus，Pointing devices
用户将通过一系列新的交互手段，与虚拟世 界中的物体进行直接的、三维的交互
http://newsroom.cisco.com/dlls/2006/prod_102306b.html
42
主要内容
虚拟现实系统的特点及组成 立体视觉的生成与获取 虚拟现实交互设备 虚拟现实系统的分类 增强现实技术
43
增强现实技术
将计算机生成的图形与用户在真实物理世 界获取的视觉信息组合在一起
安全在于心细，事故出在麻痹。20.10.1820.10.1814:47:1714:47:17October 18, 2020
踏实肯干，努力奋斗。2020年10月18日下午2时47分 20.10.1820.10.18
追求至善凭技术开拓市场，凭管理增 创效益 ，凭服 务树立 形象。2020年10月18日星期 日下午2时47分 17秒14:47:1720.10.18