第三章虚拟现实系统的相关技术24
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
出对应于其他点的图像，生成新的视图。
3.三维虚拟声音的显示技术
把在虚拟场景中的能使用户准确地判断出声源的精确位置、 符合人们在真实境界中听觉方式的声音系统称为三维虚拟声 音系统 。
（1）三维虚拟声音的特征
①全向三维定位特性 全向三维定位特性（3D Steering）指在三种虚拟空间中,使
①人的听觉模型
人类听觉系统用于确定声源位置和方向信息，它不仅与混响 时间差和混响强度有关，更取决于对进入耳朵的声音产生频 谱的耳廓。
②头相关转移函数
通过测量外界声音及鼓膜上的声音的频谱差异，得出相关的 转移函数，并确定出双耳的信号传播延迟的特点，以此对声 源进行定位。
（3）语音识别与合成技术 语音识别技术（Automatic Speech Recognition,ASR ），是
(1)几何建模技术 几何建模技术主要研究对象是对物体几何信息的表示与处理，
它是涉及表示几何信息数据结构，以及相关的构造与操纵数据 结构的算法建模方法。 几何建模通常采用以下4种方法： ①利用VR工具软件来进行建模。 ②直接从某些商品图形库中选购所需的几何图形。 ③利用常用建模软件来进行建模。 ④直接利用VR编辑器。
第三章 虚拟现实系统的相关技术与软件
1.环境建模技术
虚拟环境建模的目的是获取实际环境的三维数据，并根据应 用的需要，利用获取的三维数据建立相应的虚拟环境模型。
VR系统中环境的建模技术与其图形建模技术相比，主要特 点表现在以下3个方面：
①虚拟环境中可以有很多物体，往往需要建造大量完全不同 类型的物体模型。
基于图像的绘制技术主要有以下两种： ①全景技术
全景技术是指在一个场景中的一个观察点用相机每旋转一 下角度拍摄得到一组照片，再在计算机采用各种工具软件
拼接成一个全景图像。
②图像的插值及视图变换技术
根据在不同观察点所拍摄的图像，交互地给出或自动得到 相邻两个图像之间对应，采用插值或视图变换的方法，求
②虚拟环境中有些物体有自己的行为，而其他图形建模系统 中一般只有构造静态的物体，或是物体简单的运动。
③虚拟环境中的物体必须有良好的操纵性能，当用户与物体 进行交互时，物体必须以某种适当的方式来作出反应。
VR系统包括三维视觉和三维听觉建模等。在当前应用中，环 境建模一般主要是三维视觉建模。三维视觉建模又是可分为几 何建模、物理建模、行为建模等。
用户产生身临其境的感觉，这可以更进一步使人沉浸在虚 拟环境之中，有助于增强临场效果。而三维声音的交互特 性则是指随着用户的临场反应和实时响应的能力。
虚拟声音技术存在的问题: ①听觉定位的混淆问题。 ②虚拟声音环境的可视化问题。 ③听觉心理学和听觉生理学的限制。
（2）人类的听觉模型与头相关转移函数
与基于几何的传统绘制技术相比，基于图像的实时绘ห้องสมุดไป่ตู้技术的 优势在于：
①图形绘制技术与场景复杂性无关，仅与所要生成画面的分辨 率有关。
②预先存储的图像（或环境映照）既可以是计算机生成的，也 可以是用相机实际拍摄的画面，也可以两者混合生成。
③对计算机的资源要求不高，可以在普通工作站和个人计算机 上实现复杂场景的实时显示。
（2）物理建模技术
典型的物理建模技术有分形技术和粒子系统。 ①分形技术 分形技术是指可以描述具有自相似特征的数据集。 分形技术的优点是用简单的操作就可以完成复杂的不规则
物体建模，缺点是计算量太大，不利于实时性。因此，在 VR系统中一般仅用于静态远景的建模。 ②粒子系统 粒子系统是一种典型的物理建模系统，粒子系统是用简单 的体素完成复杂的运动建模。
①预测计算。 ②脱机计算。 ③场景分块。 ④可见消隐。 ⑤细节层次模型 。
（2）基于图像的绘制技术
基于图像的绘制技术（Image Based Rending,IBR ）是采用 一些预先生成的场景画面,对接近于视点或视线议程的画面进 行交换、插值与变形，从而快速得到当前视点处的场景画面。
指将人说话的语音信号转换为可被计算机程序所识别的文字 信息，从而识别出说话人的语音指令以及文字内容的技术。
语音合成技术（Text To Speech,TTS ），是指将文本信息转
变为语音数据，以语音的方式播放出来的技术。
4.触摸和力量反馈技术
触觉感知包括触摸反馈和力量反馈所产生的感知信息。触摸感 知是指人与物体对象接触所得到的全部感觉，是触摸觉、压觉、 振动觉、刺痛觉等皮肤感觉的统称。触摸反馈代表了作用在人 皮肤上的力，它反映了人类触摸的感觉，或者是皮肤上受到压 力的感觉；而力量反馈是作用在人肌肉、关节和筋腱上的力。
用户能准确地判断出声源的精确位置,符合人们在真实境界
中的听觉方式,如同在现实世界中 。
②三维实时跟踪特性 三维实时跟踪特性（3D Real Time Localization）是指在三
维虚拟空间中，实时跟踪虚拟声源位置变化或景象变化的能
力。
③沉浸感与交互性 三维虚拟声音的沉浸感就是指加入三维虚拟声音后，能使
2.实时三维图形绘制技术
实时三维图形绘制技术指利用计算机为用户提供一个能从任 意视点及方向实时观察三维场的手段，它要求当用户的视点 改变时，图形显示速度也必须跟上视点的改变速度，否则就 会产生迟滞现象。
(1)基于几何图形的实时绘制技术
目前，用于降低场景的复杂度，以提高三维场景的动态显示 速度的常用方法有以下几种:
（3）行为建模技术 行为建模负责物体的运动和行为的描述。如果说几何建模
是VR建模的基础，行为建模则真正体现出VR的特征。 在虚拟环境行为建模中，建模方法主要有以下两种： ①运动学方法
运动学方法是通过几何变换，如物体的平移或旋转等来描 述运动。
②动力学仿真
运动力学仿真运用物理定律而非几何变换来描述物体的行 为。
限制触摸/力量反馈技术发展的几个技术问题： ①技术分析比较复杂难度。
②难以正确描述触觉。
③性能要求较高。
5.自然交互技术
在计算机系统提供的虚拟空间中，人可以使用眼睛、耳朵、 皮肤、手势和语音等各种感觉方式直接与之发生交互，这就 是虚拟环境下的自然交互技术。
3.三维虚拟声音的显示技术
把在虚拟场景中的能使用户准确地判断出声源的精确位置、 符合人们在真实境界中听觉方式的声音系统称为三维虚拟声 音系统 。
（1）三维虚拟声音的特征
①全向三维定位特性 全向三维定位特性（3D Steering）指在三种虚拟空间中,使
①人的听觉模型
人类听觉系统用于确定声源位置和方向信息，它不仅与混响 时间差和混响强度有关，更取决于对进入耳朵的声音产生频 谱的耳廓。
②头相关转移函数
通过测量外界声音及鼓膜上的声音的频谱差异，得出相关的 转移函数，并确定出双耳的信号传播延迟的特点，以此对声 源进行定位。
（3）语音识别与合成技术 语音识别技术（Automatic Speech Recognition,ASR ），是
(1)几何建模技术 几何建模技术主要研究对象是对物体几何信息的表示与处理，
它是涉及表示几何信息数据结构，以及相关的构造与操纵数据 结构的算法建模方法。 几何建模通常采用以下4种方法： ①利用VR工具软件来进行建模。 ②直接从某些商品图形库中选购所需的几何图形。 ③利用常用建模软件来进行建模。 ④直接利用VR编辑器。
第三章 虚拟现实系统的相关技术与软件
1.环境建模技术
虚拟环境建模的目的是获取实际环境的三维数据，并根据应 用的需要，利用获取的三维数据建立相应的虚拟环境模型。
VR系统中环境的建模技术与其图形建模技术相比，主要特 点表现在以下3个方面：
①虚拟环境中可以有很多物体，往往需要建造大量完全不同 类型的物体模型。
基于图像的绘制技术主要有以下两种： ①全景技术
全景技术是指在一个场景中的一个观察点用相机每旋转一 下角度拍摄得到一组照片，再在计算机采用各种工具软件
拼接成一个全景图像。
②图像的插值及视图变换技术
根据在不同观察点所拍摄的图像，交互地给出或自动得到 相邻两个图像之间对应，采用插值或视图变换的方法，求
②虚拟环境中有些物体有自己的行为，而其他图形建模系统 中一般只有构造静态的物体，或是物体简单的运动。
③虚拟环境中的物体必须有良好的操纵性能，当用户与物体 进行交互时，物体必须以某种适当的方式来作出反应。
VR系统包括三维视觉和三维听觉建模等。在当前应用中，环 境建模一般主要是三维视觉建模。三维视觉建模又是可分为几 何建模、物理建模、行为建模等。
用户产生身临其境的感觉，这可以更进一步使人沉浸在虚 拟环境之中，有助于增强临场效果。而三维声音的交互特 性则是指随着用户的临场反应和实时响应的能力。
虚拟声音技术存在的问题: ①听觉定位的混淆问题。 ②虚拟声音环境的可视化问题。 ③听觉心理学和听觉生理学的限制。
（2）人类的听觉模型与头相关转移函数
与基于几何的传统绘制技术相比，基于图像的实时绘ห้องสมุดไป่ตู้技术的 优势在于：
①图形绘制技术与场景复杂性无关，仅与所要生成画面的分辨 率有关。
②预先存储的图像（或环境映照）既可以是计算机生成的，也 可以是用相机实际拍摄的画面，也可以两者混合生成。
③对计算机的资源要求不高，可以在普通工作站和个人计算机 上实现复杂场景的实时显示。
（2）物理建模技术
典型的物理建模技术有分形技术和粒子系统。 ①分形技术 分形技术是指可以描述具有自相似特征的数据集。 分形技术的优点是用简单的操作就可以完成复杂的不规则
物体建模，缺点是计算量太大，不利于实时性。因此，在 VR系统中一般仅用于静态远景的建模。 ②粒子系统 粒子系统是一种典型的物理建模系统，粒子系统是用简单 的体素完成复杂的运动建模。
①预测计算。 ②脱机计算。 ③场景分块。 ④可见消隐。 ⑤细节层次模型 。
（2）基于图像的绘制技术
基于图像的绘制技术（Image Based Rending,IBR ）是采用 一些预先生成的场景画面,对接近于视点或视线议程的画面进 行交换、插值与变形，从而快速得到当前视点处的场景画面。
指将人说话的语音信号转换为可被计算机程序所识别的文字 信息，从而识别出说话人的语音指令以及文字内容的技术。
语音合成技术（Text To Speech,TTS ），是指将文本信息转
变为语音数据，以语音的方式播放出来的技术。
4.触摸和力量反馈技术
触觉感知包括触摸反馈和力量反馈所产生的感知信息。触摸感 知是指人与物体对象接触所得到的全部感觉，是触摸觉、压觉、 振动觉、刺痛觉等皮肤感觉的统称。触摸反馈代表了作用在人 皮肤上的力，它反映了人类触摸的感觉，或者是皮肤上受到压 力的感觉；而力量反馈是作用在人肌肉、关节和筋腱上的力。
用户能准确地判断出声源的精确位置,符合人们在真实境界
中的听觉方式,如同在现实世界中 。
②三维实时跟踪特性 三维实时跟踪特性（3D Real Time Localization）是指在三
维虚拟空间中，实时跟踪虚拟声源位置变化或景象变化的能
力。
③沉浸感与交互性 三维虚拟声音的沉浸感就是指加入三维虚拟声音后，能使
2.实时三维图形绘制技术
实时三维图形绘制技术指利用计算机为用户提供一个能从任 意视点及方向实时观察三维场的手段，它要求当用户的视点 改变时，图形显示速度也必须跟上视点的改变速度，否则就 会产生迟滞现象。
(1)基于几何图形的实时绘制技术
目前，用于降低场景的复杂度，以提高三维场景的动态显示 速度的常用方法有以下几种:
（3）行为建模技术 行为建模负责物体的运动和行为的描述。如果说几何建模
是VR建模的基础，行为建模则真正体现出VR的特征。 在虚拟环境行为建模中，建模方法主要有以下两种： ①运动学方法
运动学方法是通过几何变换，如物体的平移或旋转等来描 述运动。
②动力学仿真
运动力学仿真运用物理定律而非几何变换来描述物体的行 为。
限制触摸/力量反馈技术发展的几个技术问题： ①技术分析比较复杂难度。
②难以正确描述触觉。
③性能要求较高。
5.自然交互技术
在计算机系统提供的虚拟空间中，人可以使用眼睛、耳朵、 皮肤、手势和语音等各种感觉方式直接与之发生交互，这就 是虚拟环境下的自然交互技术。