虚拟现实技术总结

虚拟现实技术总结

第一章

1.虚拟现实概念、内涵及理解

概念：虚拟现实是人工构造的，由计算机生成的，存在于计算机内部的环境，用户可以通过自然的方式进入此环境，并与环境进行交互，从而产生置身于相应真实环境的虚幻感、身临其境的感觉。

2.虚拟现实三特征：沉浸感、交互式、构想性

3.为何使用VR技术，有何优势，举例说明其应用

1)立体成像显示器增强视觉立体感

2)沉浸式体验减少外界干扰而增强代入感

3)头部追踪技术让使用者有更强的参与感

4)更丰富的体感操作将增强代入感

5)虚拟现实技术可以让内容从体验上突破矩形屏幕的边界限制

4.VR技术目前存在问题

1)3D眩晕、近视、视觉疲劳等操作不适感较重

2)2不良内容对使用者的伤害被放大

3)沉浸式体验放大“网络游戏成瘾”等问题

4)全封闭式体验难以实现用户间现实的交流分享体验。

第二章

1.用户界面设计准则

1)性能(Performance)：效率，准确性和生产力

2)易用性(Usability)：易于使用和学习

3)有效性(Usefulness)：专注于任务

2.用户界面核心功能

1)导航(Navigation)：旅行，寻路...

2)选择(Selection)：选择一个或多个对象

3)操控(Manipulation)：改变系统状态

3.多点触控技术

1)定义：把任务分解为两方面的工作，一是同时采集多点信号，二是对每路信号的意义进行手势识别，实现

屏幕识别人的手指同时做的点击、拖拉等触控动作。

2)多点触控实现技术？

a)LLP技术(Laser Light Plane)：主要运用红外激光设备把红外线投影到屏幕上。当屏幕被阻挡时，红

外线便会反射，而屏幕下的摄影机则会捕捉反射去向。再经系统分析，便可作出反应。

b)FTIR技术：在屏幕的夹层中加入LED光线，当用户按下屏幕时，便会使夹层的光线造成不同的反射效

果，感应器接收光线变化而捕捉用户的施力点，从而作出反应。

c)ToughtLight技术：运用投影的方法，把红外线投影到屏幕上。当屏幕被阻挡时，红外线便会反射，

而屏幕下的摄影机则会捕捉反射去向。再经系统分析，便可作出反应。

d)Optical Touch技术：在屏幕顶部的两端，分别设有一个镜头，来接收用户的手势改变和触点的位置。

经计算后转为座标，再作出反应。

4.实现多点触控的主要技术

-LLP (Laser Light Plane)

-FTIR (Frustrated Total Internal Reflection)

-ToughtLight技术

-Optical Touch技术

三维模型获取与处理

1.主动式“三角化”感知场景深度原理

2.基于视觉测距的三维扫描重建基本流程

第三章（1）感官、视觉系统、建模

1.人类主要感官：视觉/听觉/触觉/嗅觉/味觉/平衡

2.视觉感知

-成像系统：角膜、瞳孔、晶状体；视杆/视锥细胞；暗/亮适应

-颜色感知：加色（RGB）、减色（C：Cyan、M：Magenta、Y：Yellow）

-运动感知（视觉暂留）：人眼在观察景物时，光信号传入大脑神经，需经过一段短暂的时间（感光细胞感光），光的作用结束后，视觉形象并不立即消失，这一现象被称为“视觉暂留”。视神经的反应速度是二十四分之一秒。动画、电影等视觉媒体形成和传播的根据。

-深度感知：双眼视差

3.OpenGL库函数，复杂场景绘制（矩阵堆栈）

第三章（2）光照

1.光与物质的交互：

吸收：强度下降/颜色变化，方向不变

散射：光线方向变化，强度不变

发射：创建新光源; 不会经常出现在阴影中

2.OpenGL光照模型

-漫反射

-环境光

-镜面高光

-发射光（光源）

3.网格表面绘制及顶点法线计算

4.OpenGL中光源位置及属性设置

第三章（3）纹理映射

1.什么是纹理映射、作用

定义：将n维图像粘贴到几何对象上。

目的：更改对象模型的表面属性，例如颜色、漫反射和像素法向量等。

作用：首先，增强了场景的细节等级和真实度。其次，基于透视变换提供了较好的三维空间线索。最后，纹理的使用极大地减少了场景中多边形的数量，可以提高帧刷新率。（用更便宜的方式更现实主义。）

2.纹理图像的放大与缩小

3.最近邻法

4.双线性插值法

5.Mipmaps（Image pyramid）（贴图（图像金字塔））

6.OpenGL中实现纹理映射基本过程

（1）指定纹理

➢读取或生成图像

➢分配到纹理

➢启用纹理和绑定

（2）指定纹理参数

➢包装，过滤

（3）将纹理坐标分配给顶点

7.Bump mapping（凹凸贴图）原理与特点

让纹理修改每个像素处的法线，然后使用此法线计算光照

第四章阴影与光线追踪

1.阴影形成过程，及硬阴影与软阴影区别

四过程：

（1）仅使用环境照明渲染场景

（2）渲染前面临阴影卷多边形到模板缓冲区，递增计数。

（3）将阴影体多边形渲染为模板，递减。

（4）在模板缓冲区为0时渲染漫反射和镜面反射。

区别：硬阴影破坏了场景的真实性，因此，我们必须仿造软阴影来提升场景的可视效果

2.平面阴影投射矩阵计算

3 光线追踪：通过追踪图像平面中像素的光线路径来生成图像，并模拟与虚拟物体相遇的效果。

第六章听觉与立体声

1.人耳的解剖结构及功能

-外耳：它是可见的并且由皮肤和软骨的褶皱构成。收集声波，沿着耳道传播并振动耳膜。

-中耳：包含耳膜。放大声音

-内耳：分析声波并且包含维持身体平衡的装置。16000个毛细胞感应运动；31000听觉神经元产生电脉冲；

不同的地点和不同的方式感应各种频率；连接到听觉神经

2.描述声音的三个技术指标

➢音高/频率：人类听力范围从20到20,000赫兹

其中T是张力，μ是线密度，L是弦的振动部分的长度。

➢响度：与声音幅度成正比的属性。声音的功率，以分贝（+10 dB = 10倍声功率）

L是分贝数值；

I为量度的“密度”，I0为“特定参考密度”；

P为量度的压力，P0为“特定参考压力”。

➢音色：音符或声音或音调的质量，区分不同类型的声音制作，如声音和乐器

3.HRTF如何产生立体音效？

HRTF利用IID(Inter Aural Intensity Difference)两耳音量大小差和ITD(Inter Aural Time Delay)两耳时间延迟量差等技术产生立体音效，使声音传递至人耳内时，聆听者会有环绕音效之感觉，通过DSP，可实时处理虚拟世界音源。

第七章计算机动画与电影

1.动画与电影实现的视觉基础

2.定义：

通过在屏幕上显示或者在记录设备上记录动态场景的一系列单独状态来创建运动错觉的技术。

3.计算机动画技术

-运动捕获：描述记录运动并将运动转换为数字模型的过程。

-夸张：艺术家的技巧、挤压和伸展、运动模糊

-基于物理的动画

第八章增强现实

1.AR概念、特征及与VR的区别