2虚拟现实技术的体系结构和关键技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2020/8/13
多边形(三角形)表示方法
• 这种方法又称为表面或边界表示方法，即物体 的立体几何信息是通过它们的边界面或包围面 来表示的。而物体的边界面或包围面（即物体 的表面）可以用多边形表示。
2020/8/13
结构立体几何表示方法
• 这种方法又称为体积表示方法。这种表示方法 中，物体被表示为一个三维体积基元的集合及 它们之们的布尔运算：并、交及差。
2020/8/13
纹理映射技术(texture mapping)
• 在视景表示时，对于有些细节，不需要建立相 应的多边形表示，为了达到很好的视觉效果， 只需要建立简单的几何模型，然后在几何模型 的面上贴上对应的逼真图片就可以了。这种方 法称为纹理映射方法。
• 渲染处理
– 感觉传输到用户 – 视觉 – 听觉 – 触觉（触摸/力） – 实时图像生成 – SGI 图形工作站
2020/8/13
• 虚拟世界数据库
– 设计的主体部分 – 隶属虚拟世界的对象信息 – 描述动作的脚本 – 用户信息 – 灯光效果 – 程序控制 – 硬件设备支持 – OOD技术
2020/8/13
器官模拟 器官行为 剌激物
外部信息
前庭器官 身体平衡 重力及加速度 重力或加速
度方向
耳蜗器官 声音定位 空气振动
振动方向及
性质
皮肤、关 各种探查 组织变形、关 物体表面粘
节、肌肉 活动
节配合及肌肉 性及冷热等
及腱
纤维紧张
各种状态
嘴
品尝
物体化学性质 营养及生化
价值
鼻
以鼻吸气 气体化学性质 气味性质
眼睛
环境
位置
饮食
通过部分身体运动获取 吸收或排除
品尝、吸收及其它身体功能
或给予
行动
有利于个人的行为
操作、自我保护等 走动及相关行为
表达
用于表达、表明或识别 姿势、面部或语言表达 语言表达、聆听及面部表情
语义
用信号通知或表达
语言表达
基于信号的相关系统
2020/8/13
行为系统
人与环境的关系
Βιβλιοθήκη Baidu参 与 者
感 知 系 统
2020/8/13
ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm
2020/8/13
1.1 视觉生成基本原理：光线跟踪的方法
• 假设从视点V通过屏幕象素 e向场景投射光线交场景中 的面向个景在象P1物象素V方于素的向P点光1辐,亮eP射度处2, 的，…的光则可,P亮可见m度生点, 那决成，么定一象离。幅素视如完e点此整的求最的光出近真亮视的实度域P感应1内图由就每象是P一。1画点
2020/8/13
第二章
虚拟现实技术的技术体系结构
2020/8/13
2.1 虚拟现实技术的体系结构
2020/8/13
• 体系结构
用户
输入处理器
模拟处理器
渲染处理器
2020/8/13
虚拟世界 数据库
• 模拟处理器
– VR的核心程序 – 处理:
控制交互、对象动作和决定虚拟世界的 状态。
2020/8/13
\ U
2020/8/13
Volume-based methods
• 表示单元为体素(voxel) • 每个体素表示了所在位置的颜色、密度
等相关信息。
2020/8/13
其他建模与表示技术(VR相关)
• 细节层次(Levels of Detail: LOD)技术 • 纹理映射(texture map)技术
2020/8/13
1.2 视景的几何建模与表示方 法
• 要实现虚拟现实，首先要尽可能详细地表示虚 拟现实的场景几何信息。
– 例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花 草树木、五官躯体、车船路桥等。
• 实现虚拟现实视景的表示方法有：
– 多边形(三角形)网格表示方法 – 结构立体几何表示方法 – 体数据表示方法(volume-based method)
– 这可通过对场景的透视变换来完成。
3. 确定场景中的所有可见面
– 这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡 的不可见面消去。
4. 计算场景中可见面的光强与颜色
– 严格地说，就是根据基于光学物理的光照模型计算可见面投 射到观察者眼中的光亮度大小和色彩，并将它转换成合适图 形设备的颜色值，从而确定投影画面上每一个象素的颜色， 最终生成视景。
Cylinder.wrl
2020/8/13
2.2 虚拟现实的多感知系统体系 和技术
2020/8/13
人类的感知系统
系统 方向 感 听觉
触觉
味觉
嗅觉 视觉
活动形式 感受单元
姿势及方 机械及重力
向调整 感受器
听
机械感受器
触摸
尝 嗅 看
机械、热量 及动觉感受 器 化学及机械 感受器 化学感受器 光学感受器
行 为 系 统
感 知 行 为
外 界 环 境
2020/8/13
虚拟现实系统
2020/8/13
www.reflex.lth.se/reflex/whatisVR//
多感知系统技术框图
主计算机
数据手套
（传感器） （信号源）
2020/8/13
BOOM
双筒全方 位监视器
1992年 Bryson
一个示例：virtual cockpit
e
2020/8/13
每一点的光亮度求法
I = Ic + ts Is + tt It
其中： I ： 可见点 P 处的光亮度。 Ic： 局部光照亮度 ts Is：环境镜面反射光亮度 tt It： 规则透射光亮度
光线跟踪技术(ray tracing)
2020/8/13
视觉生成的基本内容
在图形设备上生成逼真视景必须完成四个基本任务： 1. 用数学方法建立所需要三维场景的几何描述 2. 将三维几何描述转换为二维视图
• 虚拟现实建模语言(VRML) Virtual Reality Modeling Language
– VRML 是在因特网上建立虚拟现实的开 放标准
2020/8/13
• A VRML cylinder
#VRML V2.0 utf8 # A Cylinder Shape { appearance Appearance { material Material { } } geometry Cylinder { height 2.0 radius 1.5 } }
凝视、扫 光
大小、形
描等活动
状、纹理及
运动等
2020/8/13
J.J.Gibson总结的感知系统
人类的行为系统
系统
目的
应用
相关系统
调整姿势 适应重力及加速度
维持身体平衡
前庭器官
定向
通过部分身体运动获得 考察或感觉各种信息 所有相关感觉
外部剌激
走动
通过身体运动进入其它 从一个位置走到另一个 定向及调整姿势
多边形(三角形)表示方法
• 这种方法又称为表面或边界表示方法，即物体 的立体几何信息是通过它们的边界面或包围面 来表示的。而物体的边界面或包围面（即物体 的表面）可以用多边形表示。
2020/8/13
结构立体几何表示方法
• 这种方法又称为体积表示方法。这种表示方法 中，物体被表示为一个三维体积基元的集合及 它们之们的布尔运算：并、交及差。
2020/8/13
纹理映射技术(texture mapping)
• 在视景表示时，对于有些细节，不需要建立相 应的多边形表示，为了达到很好的视觉效果， 只需要建立简单的几何模型，然后在几何模型 的面上贴上对应的逼真图片就可以了。这种方 法称为纹理映射方法。
• 渲染处理
– 感觉传输到用户 – 视觉 – 听觉 – 触觉（触摸/力） – 实时图像生成 – SGI 图形工作站
2020/8/13
• 虚拟世界数据库
– 设计的主体部分 – 隶属虚拟世界的对象信息 – 描述动作的脚本 – 用户信息 – 灯光效果 – 程序控制 – 硬件设备支持 – OOD技术
2020/8/13
器官模拟 器官行为 剌激物
外部信息
前庭器官 身体平衡 重力及加速度 重力或加速
度方向
耳蜗器官 声音定位 空气振动
振动方向及
性质
皮肤、关 各种探查 组织变形、关 物体表面粘
节、肌肉 活动
节配合及肌肉 性及冷热等
及腱
纤维紧张
各种状态
嘴
品尝
物体化学性质 营养及生化
价值
鼻
以鼻吸气 气体化学性质 气味性质
眼睛
环境
位置
饮食
通过部分身体运动获取 吸收或排除
品尝、吸收及其它身体功能
或给予
行动
有利于个人的行为
操作、自我保护等 走动及相关行为
表达
用于表达、表明或识别 姿势、面部或语言表达 语言表达、聆听及面部表情
语义
用信号通知或表达
语言表达
基于信号的相关系统
2020/8/13
行为系统
人与环境的关系
Βιβλιοθήκη Baidu参 与 者
感 知 系 统
2020/8/13
ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm
2020/8/13
1.1 视觉生成基本原理：光线跟踪的方法
• 假设从视点V通过屏幕象素 e向场景投射光线交场景中 的面向个景在象P1物象素V方于素的向P点光1辐,亮eP射度处2, 的，…的光则可,P亮可见m度生点, 那决成，么定一象离。幅素视如完e点此整的求最的光出近真亮视的实度域P感应1内图由就每象是P一。1画点
2020/8/13
第二章
虚拟现实技术的技术体系结构
2020/8/13
2.1 虚拟现实技术的体系结构
2020/8/13
• 体系结构
用户
输入处理器
模拟处理器
渲染处理器
2020/8/13
虚拟世界 数据库
• 模拟处理器
– VR的核心程序 – 处理:
控制交互、对象动作和决定虚拟世界的 状态。
2020/8/13
\ U
2020/8/13
Volume-based methods
• 表示单元为体素(voxel) • 每个体素表示了所在位置的颜色、密度
等相关信息。
2020/8/13
其他建模与表示技术(VR相关)
• 细节层次(Levels of Detail: LOD)技术 • 纹理映射(texture map)技术
2020/8/13
1.2 视景的几何建模与表示方 法
• 要实现虚拟现实，首先要尽可能详细地表示虚 拟现实的场景几何信息。
– 例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花 草树木、五官躯体、车船路桥等。
• 实现虚拟现实视景的表示方法有：
– 多边形(三角形)网格表示方法 – 结构立体几何表示方法 – 体数据表示方法(volume-based method)
– 这可通过对场景的透视变换来完成。
3. 确定场景中的所有可见面
– 这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡 的不可见面消去。
4. 计算场景中可见面的光强与颜色
– 严格地说，就是根据基于光学物理的光照模型计算可见面投 射到观察者眼中的光亮度大小和色彩，并将它转换成合适图 形设备的颜色值，从而确定投影画面上每一个象素的颜色， 最终生成视景。
Cylinder.wrl
2020/8/13
2.2 虚拟现实的多感知系统体系 和技术
2020/8/13
人类的感知系统
系统 方向 感 听觉
触觉
味觉
嗅觉 视觉
活动形式 感受单元
姿势及方 机械及重力
向调整 感受器
听
机械感受器
触摸
尝 嗅 看
机械、热量 及动觉感受 器 化学及机械 感受器 化学感受器 光学感受器
行 为 系 统
感 知 行 为
外 界 环 境
2020/8/13
虚拟现实系统
2020/8/13
www.reflex.lth.se/reflex/whatisVR//
多感知系统技术框图
主计算机
数据手套
（传感器） （信号源）
2020/8/13
BOOM
双筒全方 位监视器
1992年 Bryson
一个示例：virtual cockpit
e
2020/8/13
每一点的光亮度求法
I = Ic + ts Is + tt It
其中： I ： 可见点 P 处的光亮度。 Ic： 局部光照亮度 ts Is：环境镜面反射光亮度 tt It： 规则透射光亮度
光线跟踪技术(ray tracing)
2020/8/13
视觉生成的基本内容
在图形设备上生成逼真视景必须完成四个基本任务： 1. 用数学方法建立所需要三维场景的几何描述 2. 将三维几何描述转换为二维视图
• 虚拟现实建模语言(VRML) Virtual Reality Modeling Language
– VRML 是在因特网上建立虚拟现实的开 放标准
2020/8/13
• A VRML cylinder
#VRML V2.0 utf8 # A Cylinder Shape { appearance Appearance { material Material { } } geometry Cylinder { height 2.0 radius 1.5 } }
凝视、扫 光
大小、形
描等活动
状、纹理及
运动等
2020/8/13
J.J.Gibson总结的感知系统
人类的行为系统
系统
目的
应用
相关系统
调整姿势 适应重力及加速度
维持身体平衡
前庭器官
定向
通过部分身体运动获得 考察或感觉各种信息 所有相关感觉
外部剌激
走动
通过身体运动进入其它 从一个位置走到另一个 定向及调整姿势