2.虚拟现实技术的体系结构和关键技术

Virtual Reality Language
放标准
Modeling
VRML 是在因特网上建立虚拟现实的开
A VRML
cylinder
#VRML V2.0 utf8 # A Cylinder Shape { appearance Appearance { material Material { } } geometry Cylinder { height 2.0 radius 1.5 } }
\
U
Volume-based methods
表示单元为体素(voxel) 每个体素表示了所在位置的颜色、密度
等相关信息。
其他建模与表示技术(VR相关)
细节层次(Levels
of Detail: LOD)技术 纹理映射(texture map)技术
纹理映射技术(texture mapping)
图 形 硬 件
HMD 实物与原理图
HMD 的实现方法
眼睛 合成器
校正透镜
外部世界
阴极射线管 连接的光导纤维束
窥视孔
校正透镜
合成器
显示器 镜
头盔实现方法1
带有光导纤维的HMD的原理
Video Eyewear 眼镜式显示器

美国icuiti公司
分辨率：VGA（640 X 480） 价格69800日圆（约合人民币5235元） 距离眼睛1 cm，画面相当于2 米外42 英寸 屏幕
1.2 视景的几何建模与表示方法

要实现虚拟现实，首先要尽可能详细地表示虚 拟现实的场景几何信息。
例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花 草树木、五官躯体、车船路桥等。

实现虚拟现实视景的表示方法有：
多边形(三角形)网格表示方法 结构立体几何表示方法 体数据表示方法(volume-based method)
http://www.vr-systems.ndtilda.co.uk/sphere1.htm
ImmersaDesk
http://www.evl.uic.edu/pape/CAVE/idesk/paper/
http://avl.iu.edu/technology/idesk/
Infinity Wall
多边形(三角形)表示方法

这种方法又称为表面或边界表示方法，即物体 的立体几何信息是通过它们的边界面或包围面 来表示的。而物体的边界面或包围面（即物体 的表面）可以用多边形表示。
结构立体几何表示方法

这种方法又称为体积表示方法。这种表示方法 中，物体被表示为一个三维体积基元的集合及 它们之们的布尔运算：并、交及差。
味觉 嗅觉 视觉
J.J.Gibson总结的感知系统
人类的行为系统
系统 目的 调整姿势 适应重力及加速度 定向 通过部分身体运动获得 外部剌激 走动 通过身体运动进入其它 环境 饮食 通过部分身体运动获取 或给予 行动 有利于个人的行为 表达 用于表达、表明或识别 语义 用信号通知或表达 应用 维持身体平衡 考察或感觉各种信息 相关系统 前庭器官 所有相关感觉
CyberSphere

Fully Immersive Spherical Projection System
the Fully Immersive Spherical Projection System
Illustration of the Spherical Projection System
RMⅡ像一付手套似的戴在 用户的手上。主要结构 包括一个小平台，上面 架着四个特制的汽缸。 每个汽缸轴的顶端都和 相应的指尖相连接，轴 和指尖的连接通过“Y” 形的连接物。一个简单 的细皮手套被作为传感 器/反馈系统的支持结构。
来自百度文库
CyberGrasp
By Immersion Corporation
http://www.immersion.com/3d/products/cyber_grasp.php
1、视觉生成技术
1.1 视觉生成基本原理：光线跟踪的方法

假设从视点V通过屏幕象素 e向场景投射光线交场景中 的景物于P1, P2, … ,Pm , 那么离视点 最近的P1 就是画 面在象素点 e 处的可见点，象素 e 的光亮度应由 P1 点向 P1V方向辐射的光亮度决定。如此求出视域内每 一个象素的光亮度，则可生成一幅完整的真实感图象。
墙式显示屏自动声象虚拟环境（CAVE）
头
盔 式 显 示 器 （ Head Mounted Display ，HMD)
头盔显示器
Head
Mounted Display, HMD
头 盔 双 路VR系 统 RGB -N TSC RB G-N TSC 扫 描 转 换 器 计 算 机 系 统 左 眼 计 算 图 形 硬 件 右 眼 计 算
虚拟现实技术及应用
Virtual Reality
郝泳涛 博士 haoyt@vip.sina.com 同济大学CAD研究中心 副教授 2007年 上海
第二章
虚拟现实技术的技术体系结构
2.1 虚拟现实技术的体系结构
体系结构
用户
输入处理器 模拟处理器
渲染处理器
虚拟世界 数据库
模拟处理器
VR的核心程序

在视景表示时，对于有些细节，不需要建立相 应的多边形表示，为了达到很好的视觉效果， 只需要建立简单的几何模型，然后在几何模型 的面上贴上对应的逼真图片就可以了。这种方 法称为纹理映射方法。 这不仅增加了场景的逼真度，而且减少了表示 场景的多边形数目。

纹理映射技术(示例)
映射纹理前的场景
映射纹理后的场景
e
每一点的光亮度求法
I = Ic + ts Is + tt It
其中： I ： 可见点 P 处的光亮度。 Ic： 局部光照亮度 ts Is：环境镜面反射光亮度 tt It： 规则透射光亮度
光线跟踪技术(ray tracing)
视觉生成的基本内容
在图形设备上生成逼真视景必须完成四个基本任务： 1. 用数学方法建立所需要三维场景的几何描述 2. 将三维几何描述转换为二维视图
（低频）
问题：声音从头里发出，随强度差 而偏左或偏右 原因：与耳朵形状有关 解决：Convolvotron($15,000)
耳内录音 + 计算
3 触觉与力觉生成技术
3.1 触觉与力觉反馈设备
There
are two main types of haptic devices:
devices that allow users to "feel" textures of 2-dementional objects with a pen or mouse-type interface glove or pen-type devices that allow the user to "touch" and manipulate 3dementional virtual objects


厚度2 cm，重量70 g
支持连接DVD播放器、桌面电脑等

电源使用 3 节 AA 电池，可以连续播放 5 小时
左右。
BOOM
Binocular
Omni-Orientation Monitor
BOOM
http://www.fakespacelabs.com/tools.htm
FS2
Binocular
触觉（Haptic)
Haptic: 机械感受器（压力与纹理） 与本体感受器 (proprioceptor) （重 量、形状、大小）
机械臂，空气囊，记忆金属，小马
达，小探针
ARRC力学反馈手套
第二代TeletactII装有更高分辨 率的指尖空气室，其余部分的 空气室更大，并提供手掌反馈 系统。很大的手掌空气室允许 用户使劲握物体，然后接收刺 激。TeletactII与TeletactI使用 相似，只是空气室由20增加到 30个。 在中指尖、食指尖和拇指区域 空气室密度较大，空气室也被 放在手的背部，以产生手接触 物体的感觉。
侧空气室
远 程 触 觉 空 气 室
手掌空气室
笔式力量感知器
PHANTOM® Omni™ Haptic Device
By SensAble Technologies
http://www.sensable.com/products/phantom_ghost/phantom-omni.asp
力反馈手套RMⅡ
多感知系统技术框图
BOOM 主计算机
双筒全方 位监视器
数据手套
（传感器） （信号源）
1992年 Bryson
一个示例：virtual cockpit
http://www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm
这可通过对场景的透视变换来完成。
3.
确定场景中的所有可见面
这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡 的不可见面消去。
4.
计算场景中可见面的光强与颜色
严格地说，就是根据基于光学物理的光照模型计算可见面投 射到观察者眼中的光亮度大小和色彩，并将它转换成合适图 形设备的颜色值，从而确定投影画面上每一个象素的颜色， 最终生成视景。
处理:
控制交互、对象动作和决定虚拟世界的
状态。
渲染处理
感觉传输到用户
视觉
听觉
触觉（触摸/力）
实时图像生成
SGI 图形工作站
虚拟世界数据库
设计的主体部分
隶属虚拟世界的对象信息
描述动作的脚本 用户信息 灯光效果 程序控制
硬件设备支持
OOD技术
虚拟现实建模语言(VRML)
Cylinder.wrl
2.2 虚拟现实的多感知系统体系 和技术
人类的感知系统
系统 方向 感 听觉 触觉 活动形式 感受单元 器官模拟 器官行为 剌激物 外部信息 姿势及方 机械及重力 前庭器官 身体平衡 重力及加速度 重力或加速 向调整 感受器 度方向 听 机械感受器 耳蜗器官 声音定位 空气振动 振动方向及 性质 触摸 机械、热量 皮肤、关 各种探查 组织变形、关 物体表面粘 及动觉感受 节、肌肉 活动 节配合及肌肉 性及冷热等 器 及腱 纤维紧张 各种状态 尝 化学及机械 嘴 品尝 物体化学性质 营养及生化 感受器 价值 嗅 化学感受器 鼻 以鼻吸气 气体化学性质 气味性质 看 光学感受器 眼睛 凝视、扫 光 大小、形 描等活动 状、纹理及 运动等
目前的立体显示技术基本上是基于双目视差原理实现的。
单目 视域
双目重 叠视域
单目 视域
影响（沉浸感）立体 视觉因素
• 宽视野（１８０Ｘ１５０） • 立体显示
• 彩色
• 高分辨率 • 头部跟踪
主要视觉设备：

红蓝滤色眼镜 液晶开关的立体视眼镜 三维头盔显示器（HMD）


双筒全方位监视器（BOOM）
http://www.evl.uic.edu/pape/CAVE/idesk/paper/
http://www.it.bton.ac.uk/staff/lp22/CS133/vrslides/sld009.htm
2、声音生成技术
听觉 3D &Stereo
声 源 定 位 ： 强 度 （ 高 频 ） 和 时 差
从一个位置走到另一个 定向及调整姿势 位置 吸收或排除 品尝、吸收及其它身体功能 操作、自我保护等 走动及相关行为 姿势、面部或语言表达 语言表达、聆听及面部表情 语言表达 基于信号的相关系统
行为系统
人与环境的关系
感知系统
参与者 行为系统
感知 行为
外界环境
虚拟现实系统
http://www.reflex.lth.se/reflex/whatisVR/
Omni Orientation Monitor
(BOOM)
CAVE
Cave
Automatic Virtual Environment
http://www.evl.uic.edu/pape/CAVE/
http://www.ipo.tue.nl/homepages/mrauterb/presen tations/HCI-history/sld076.htm
1.3 立体显示技术
基本原理：人的视觉系统可以通过四种线索得到深度知觉:
侧视网膜图象差(lateral retinal image disparity); 运动视差(motion parallax); 图象大小差异(differential image size); 纹理梯度(texture gradient)。
数据手套
DHM手势传感装置原理图