VR立体显示与交互设备-1

虚拟现实系统的硬件组成
❖ 听觉子系统：听觉子系统是根据声音到达两耳强 度的相位差来区别声音的方向，同时还依赖于每 个人的头部相关传输函数（HRTF），既人的因 素。虚拟环境中的虚拟声音是通过立体声设备输 出的。它的典型传感器是立体声耳机，以及空间 扬声器阵列系统。
虚拟现实系统的硬件组成
❖ 触觉子系统：像真实世界中一样，虚拟世界的物 体对象有纹理/有形状，虚拟手能感知这一切， 并有力量反馈。目前对触觉子系统的研制还处于 起步阶段，已经应用的只有数据手套上的压力传 感器。其原理是，数据手套上有一块特殊材料制 成的薄片，当参与者在虚拟世界中用虚拟手碰到 物体时，将有电流通过薄片并使其弯曲，从而给 人压力感。当然，这只是对触觉的简单模拟，高 级触觉传感器还有待近一步研究。
虚拟现实技术
Contents
1 虚拟现实系统的硬件组成 2 立体显示原理 3 立体显示设备 4 三维位置跟踪设备 5 人机交互设备
虚拟现实系统的硬件组成
❖ 虚拟现实技术带来全新的人机交互模式； ❖ 人机交互的两个方面
▪ 人作用于虚拟环境（行为模型）； ▪ 人感知虚拟环境（感知模型）；
❖ 吉布森（J.J.Gibson）的人类感知系统模型
Contents
1 虚拟现实系统的硬件组成 2 立体显示原理 3 立体显示设备 4 三维位置跟踪设备 5 人机交互设备
我们希望在计算机上看到：立体图
立体图形使我们更方便地：认识事物
立体图形使我们更逼真地 ——模拟
立体图形使我们更形象地 ——构造
在虚拟环境中，仿真系统应提
立体图 供具如有何高在质计量算、机实上时看、到交：互作用的
立体显示原理
负视差，物体 在屏幕前面
❖ 立体图像对：在投影 面上投影两个位置略 有不同的图像，使之 形成双目视差（立体 图像对之间的水平距 离）
正视差，物体 在屏幕后面
负视差及正视差图
立体显示原理
立体透视投影方法
对同一场景用左右两 个视点分别计算，产生具 有视差的两幅图像。借助 外设使双眼只能看到与之 对应的图像，对于场景中 的某一点，左右眼看到的 都是屏幕上的两个点，期 延长线交于三维空间中的 一点上，从而产生空间距 离感。
三维立体图形,以增强真实感。
立体显示原理
❖ 人眼的结构 ❖ 立体感觉 ❖ 计算机立体图的产生 ❖ 立体显示方法 ❖ 虚拟系统的观察方法
一个事实： • 自然界是立体的 • 人眼观察时成像在平面眼球上 • 人感觉到立体图像 • ？？？观察方法
立体显示原理
两套神经系统
• 人的左右眼各有一套神经系统，
可以看作两个相对独立的传感器。 两套神经系统在大脑前有一个交叉 点，并且在交叉点后分开。
虚拟现实系统的硬件组成
❖ 感知与行为系统概念模型 ❖ 人类是通过视觉/听觉/触觉/嗅觉等感官来感知外
界环境及变化的，他们用眼看/用耳听/用手模/用 嘴尝等方式与环境交互。因此，在感知系统的概 念模型中，Gibson把感知系统划分成方向/听觉/ 触觉/嗅觉及视觉等6个子系统，并分别列出了这 些子系统的行为方式/接受单元/器官模拟/器官行 为/刺激元及外部信息。
• 两眼的图像交叉传递，通过交
叉神经处分别进入大脑，然后在大 脑内合成。
立体显示原理
要设计图形显示设备，必须先了解人类的视觉系 统。一个有效的图形显示设备需要使它的图像特 性与人类观察到的合成场景相匹配。
人类视觉系统的特性如下：
立体显示原理
人类立体视觉的生理模型
立体显示原理
人类立体视觉的生理模型
立体显示原理
全息技术第一步是利用干涉原理记录物体光波信息， 记录着干涉条纹的底片经过显影、定影等处理程序 后，便成为一张全息图，或称全息照片；其第二步 是利用衍射原理再现物体光波信息。再现的图像立 体感强，具有真实的视觉效应。
2.5D“全息”投影效果
全息眼镜
Contents
1 虚拟现实系统的硬件组成 2 立体显示原理 3 立体显示设备 4 三维位置跟踪设备 5 人机交互设备
虚拟现实系统的硬件组成
触觉/力感反馈系统
❖ Pairick在进行人类因素实验来检测它的反馈系统时 发现，在简单的双指活动场景中，将触觉反馈和视 频显示综合起来，其感知性能比仅使用视频显示要 提高10%；当视频失效时（模拟低能见度），附加 触觉反馈则会使感知性能提高30%。
虚拟现实系统的硬件组成
人类作用行为
左视图-红视点
右视图-蓝视点
立体显示原理
双眼立体视图成像流程图
开始绘制图形
设置图形旋转角度
计算并绘制右视图及同步图形
左右视图转换频率控制 计算并绘制右视图及同步图形
立体显示原理
分光技术的基本原理是当观众戴上特制的偏光眼 镜时，由于左、右两片偏光镜的偏振轴互相垂直，并 与放映镜头前的偏振轴相一致；致使观众的左眼只能 看到左像、右眼只能看到右像，通过双眼汇聚功能将 左、右像叠合在视网膜上，由大脑神经产生三维立体 的视觉效果。
立体显示原理
深度的信息
观察近物时，因为两只眼睛要看同一处，眼 就要向内（向脸的中心线）转动。物体离脸越近， 眼睛的转动就越多。因此，眼球转动的多少就提供 了深度的信息。
眼睛为看清一个物体，要调节晶状体使得物 体的图像能清晰地聚焦在眼底上，这种调节过程也 能提供一些深度的线索。
大脑对距离和深度信息的解 释使人对物体有立体的感觉
立体显示原理
分时技术是将两套画面在不同的时间播放，显示器在 第一次刷新时播放左眼画面，同时用专用的眼镜遮住 观看者的右眼，下一次刷新时播放右眼画面，并遮住 观看者的左眼。按照上述方法将两套画面以极快的速 度切换，在人眼视觉暂留特性的作用下就合成了连续 的画面。
立体显示原理
在显示器前端加上光栅，光栅的功能是要挡光， 让左眼透过光栅时只能看到部分的画面；右眼也 只能看到另外一半的画面，于是就能让左右眼看 到不同影像并形成立体，此时无需佩戴眼镜。
基 统于 硬头 件盔 配显 置示
器 的
系
VR
虚拟系统 生成设备
交互
感知设备
虚拟现实系统的硬件组成
虚拟系统生成设备的类型
虚拟系统生成设备是一台或多台高性能 计算机，可分为三类： 高性能个人计算机 高性能图形工作站 分布式异构计算机的VR系统
虚拟现实系统的硬件组成
生成设备的主要功能:
视觉通道信号的生成与显示（建模与绘制） 听觉通道信号的生成与显示（声音生成与播 放） 触觉与力觉通道信号的生成与显示（力的建 模与反馈） 支持实时人机交互的功能（三维空间定位、 碰撞检测、语音识别、人机实时对话）。
人类感官感知
系统 行为方式 接收单元 器官解剖
定向
姿态和方 机械和重力感 耳的前厅器向Biblioteka 受器官听觉
听 机械式感受器 耳蜗
器官行为 人体平衡 声音定向
刺激源
外部信息
引力和加速 度
引力或加速度方向
空气中的振 振动事件的性质和
动
位置
触觉
触摸
机械、热和动 皮肤、关节、 觉感受器 肌肉和筋腱
多种探测， 包括肢体、 皮肤和舌头
线性透视） 纹理：近处的物体的纹理比较清晰。
立体显示原理 运动深度线索
当观察者用一只眼睛看几个物体时，如 果它们之间没有相互遮挡的话，很难判断物体 的远近。但当左右移动头部时，物体的远近就 很容易判断了：近处的物体在观察者看来移动 得快，而远处的物体则移动得慢一些。
立体显示原理
生理上的深度线索
小、形状、距
全身运动 聚焦、扫瞄
离、位置、颜色
虚拟现实系统的硬件组成
人类感官感知的激励
❖人类感官感知的计算机及虚拟现实设备输出信息
▪ 实时的三维计算机图形图像； ▪ 实时的三维虚拟声； ▪ 触觉、力觉反馈； ▪ 参与者感受的动感； ▪ 其它感知（如嗅觉等）。
虚拟现实系统的硬件组成
❖ 视觉子系统：视觉子系统利用双眼视觉的微小视 差，获得深度感知，它的典型传感器是立体显示 器，如现在市面上流行的头盔显示器（HMD） 和支架式显示器（BOOM）。立体显示器是虚拟 现实系统的重要组成部分，是使参与者沉浸于虚 拟世界的主要的交互手段。
立体显示原理
静态图像中的深度线索 五个方面：明暗、重叠、尺寸、角度、纹理。
（测试视网膜的图像差、纹理梯度、图像大小）
图像中物体的明暗变化以及阴影等 重叠：当观察者看到甲物体的一部分被乙物体遮住，
即知乙物体较近。 尺寸的大小：同样的物体，离观察者越近尺寸越大。 投影：利用物体上直线的投影角度来判断距离（称为
立体显示原理
立体显示使人在虚拟世界里具有更强的沉浸感。
目前比较有代表性的技术有： 分色技术 分光技术 分时技术 光栅技术 全息显示技术
立体显示原理
分色技术的基本原理是让某些颜色的光只进入左 眼，另一部分只进入右眼。人眼睛中的感光细胞 共有4种，其中数量最多的是感觉亮度的细胞，另 外3种用于感知颜色，分别可以感知红、绿、蓝三 种波长的光，感知其他颜色是根据这3种颜色推理 出来的，因此红、绿、蓝被称为光的三原色。
演示
虚拟现实系统的硬件组成
感知设备
功能: 将VR系统各类感知模型转变为人能接受的 多通道刺激信号的设备。 感知包括：视、听、触、嗅、味觉等多种通道。 视觉感知设备：立体宽视场图形显示器（沉浸式和非沉浸式 ）；
沉浸式 非沉浸式
头盔显示器（HMD） 吊杆式（Boom） 洞穴式(CAVE) 桌面立体显示器 墙式立体显示器
立体显示设备
虚拟系统的观察方法
感觉良好的虚拟环境中，用户的视场在水 平方向至少要有110°，垂直方向60°，还应该 有不小于30°的双目立体重叠。要产生真正的 立体视觉效果，需要采用合适的观察设备，使 两眼分别看到不同的图形。常用的方法有红、 蓝眼镜方法、液晶眼镜方法和头盔等。
立体显示原理
计算机立体图的产生
❖ 立体图产生的基本原理：是通过深度信息的恢复来实现。 ❖ 立体图产生的方法：对同一场景分别绘制出对应于左右双 眼的不同图像。他们具有一定的视差，让观察者的左右眼接受 各自的图像，从而保存了深度信息。
。 如右图，人两眼有 4 - 6cm的距离，所以 实际上看物体时两只眼睛中的图像是有差 别的。两幅不同图像输送到大脑后，看到 的是有景深的图像。这就是计算机和投影 系统的立体成像原理。
响应式工作台
封闭式、透视式
四面、五面、六面 平面宽屏幕 180度环状 单屏幕 双屏幕
虚拟现实系统的硬件组成
感知设备
听觉感知设备：三维声音播放设备，有：
耳机式、双扬声器组和多扬声器组三种。通常由专用声卡 将单通道声源信号 触觉（力觉）感知设备：触觉（力觉）反馈装置。 触觉包含的感知内容：接触感、质感、纹理感、温度； 力感知设备要求：反馈力的大小和方向（较成熟）。
立体显示原理
立体感觉
因为两幅图像存在体视，视网膜对这两 幅不同的视图进行解释，大脑通过眼球运 动、调整，感知到生理深度暗示，综合两 幅图像的信息，并将其组合成一个立体景 象，从而产生立体感。这就是双目立体视 觉的基本原理。
立体显示原理
深度（距离）线索的获得
大脑从四个方面获得深度（距离）线索： •双目立体视觉深度线索； •静态图像中的深度线索； •运动造成的深度线索； •生理上的深度线索
组织变形， 关节形态和 肌肉纤维的
拉伸
所接触物体表 面和形状、物态 固体性、粘性、
热、冷
味／嗅 觉
味 嗅
化学和机械感 受器，化学感
受器
口腔（嘴） 鼻腔（鼻子）
滋味 气味
食物的化学
性质 营养和生化价值，
蒸汽的化学
气味性质
性质
视觉机制， 调节瞳孔、
景观、物体的大
视觉
看
光学感受器 包括眼睛和 调节注视、
光
立体显示原理
立体图像的产生
使用红蓝滤色眼镜即可实现。
其原理是：由于红蓝滤光片吸收了其它光线， 只能让相同颜色的光线透过，因此左、右两眼各透 过不同颜色的光。
用户戴上立体眼镜（红蓝滤色眼镜），保证每只 眼睛各看一张图，利用双目视差，即可获得有深度 感的三维立体虚像。
立体显示原理 利用红蓝交替视点产生立体视图效果演示
❖ 从生理角度，当观察者看近处物体时，因为 两只眼睛要看同一处，眼球就要向内（向脸 的中心线）转动。物体离脸越近，眼镜的转 动就越多。因此，眼球转动的多少就提供了 深度的信息。
❖ 从眼睛聚焦的过程来看，为看清一个物体， 眼镜要调节晶状体使得物体的像能清晰地聚 焦在眼底上，这种调节过程也能提供一些深 度的线索。
❖ 人对虚拟环境的作用
• 主动视听 • 抓、握、推、举、踢…… • 语音交流 • 做表情 • ……
虚拟现实系统的硬件组成
人类作用行为
❖ 人对计算机的多维输入信息
▪ 手及身体的位置、姿态信息； ▪ 眼位及头的位置和姿态信息； ▪ 语言及语音输入信息； ▪ 其它信息（如人的手势、面部表情等）。
系 统 组 成