虚拟现实的计算体系结构
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
使用多边形网格法建模的三维图像
1 绘制流水线
应用程序阶段
用户
CUP1
输入
.
.
.
CPUn
几何处理阶段
光栅化阶段
GE1
RU1
FIFO FIFO
图形缓绘制流.. 水线3个缓阶段
. .
冲
.
冲
.
区
区
GEn
RUn
输wenku.baidu.com出
视频 控制器
缓
冲
区
应用程序阶段
1 绘制流水线
几何处理阶段
光栅化阶段
完成建模完成建 模、加速计算、 动画、人机交互 响应用户输入。 和触觉绘制流水 线一些任务。
虚拟现实的计算体系结构
导学
一、学习目标 1.掌握图形绘制流水线和触
觉绘制流水线的原理。 2.熟悉基于PC和基于工作站
的VR的系统结构。 3.理解多流线的同步机制， 掌握分布式VR的网络组成和
应用。
二、重点、难点
1、图形绘制流水线3个阶段
应用程序、几何处理、光栅化。
2、触觉绘制流水线3个阶段
碰撞检测、受力计算、触觉计算。
2.帧缓冲器同步多法流水线同步解决的方法
方法：流水线绘制3D图像前会等待系统垂 直同步信号，然后开始绘制一帧图像。 缺点：同时绘制，但绘制速度较快的流水 线会先绘制完帧，还存在图像偏差的可能。
3 分布式虚拟现实的体系结构
3.主从显示器同步法
方法：将其中一个显示器成为主显示 器，而其他显示器为从显示器。主从 显示器图形卡之间通过内部视频逻辑 电路连接，可确保从显示器的垂直和 水平扫描线都与主显示器相同，确保 了输出图像的一致性。
3 分布式虚拟现实的体系结构
视觉和触觉两种感觉模态也需要同步绘制才能提高真实 性，视觉和触觉的同步是在应用程序阶段实现的，需要 通过专门的接口控制器完成。
帧缓冲器 显示设备
视觉与触觉流水线同步 图形绘制流水线 遍历数据库
几何处理阶段
光栅化阶段
触觉绘制流水线
同步命令
碰触检测
受力计算
触觉纹理绘制
触觉反馈设备
VR系统结构的设计中最重要的是绘制技术。
1 绘制流水线
图形绘制流水线：指的是把图形绘制过程划分成几 个阶段，并把它们指派给不同的硬件资源并行处理， 用来提高图形绘制速度。
1.1 图形绘制流水线
多边形（三角形）网格表示法）：物 体的立体几何信息是通过它们的边界 面或包围面来表示，而物体的边界面 可以用许多单独的多边形表示。是最 常见的虚拟现实三维模型表示法之一。
3 分布式虚拟现实的体系结构
分布式VR引擎：使用两个或多个绘制流水线的 VR引擎。这些流水线可以同时位于一台计算机 中，也可以分别位于多台协作的计算机中，或 者位于集成在一个仿真系统中的多台远程计算 机中。
3 分布式虚拟现实的体系结构
多条流水线输出的图像 都需要同步。
如果不进行同步，帧刷新 率不一致，就会导致系统整
计 力力 算缓 平 映 力冲 滑 射 区
触觉纹理
触觉接口
碰撞检测阶段
1 绘制流水线
受力计算阶段
触觉计算阶段
确定两个（或多 个）虚拟对象之 间是否有接触。 从数据库中加载 虚拟对象的物理 特性
基于各种物理 仿真模型计算 触点压力。还 包括力平滑和 力映射。
主要绘制仿真 过程的接触反 馈分量（触觉 纹理），增强 了对象表面物 理模型真实感。
由几何处理主板上最空闲 的几何处理引擎执行相关操作，处理相应 的三维数据，并返回结果到接口芯片。接 口芯片将经过几何处理的数据发送给纹理 芯片，纹理芯片负责纹理映射。
光栅化单元从纹理芯片中读 取数据，把它们转换成像素信息，然后发 送到帧缓冲区。
图形绘制流水线的实例- HP Visualize fx卡
视频芯片把像素颜色映射成真彩色，进行 数/模转换和视频同步处理，输出显示结果
1 绘制流水线
为了提高对象模型的真实感除了视觉效果外，还需要 触觉来感知物体。可以通过多阶段的触觉绘制流水线 描述触觉模型的过程。
碰撞检测阶段 1.2 触受力觉计算绘阶段制流水线触觉计算阶段
用户
CUP1
输入
.
.
.
CPUn
FIFO
体的延迟，图像扭曲。3.1 多流水线同步
特别是用多台CRT显示 器联合仿真显示，不同步会 会导致图像闪烁，使用户产 生视觉不适。
3 分布式虚拟现实的体系结构
1.软件同步法
方法：要求并行流水线的应用程序阶段在 同一时刻开始处理新的一帧。 缺点：某一条流水线处理速度快于其他流 水线，先填充帧缓冲器，图像先显示出来。
模型变换（坐 标变换、平移、 旋转和缩放 等）、光照计 算、场景投影、 剪裁和映射
将几何图形信 息转换成视频 显示器需要的 像素信息，即 几何场景转化 为图像。
通过CPU软件编程实 现
由几何处理引擎硬件实 现
由光栅化单元硬件实 现
1 绘制流水线
接口芯片接收系统总线传送的3D数据， 发送到几何处理主板。
3 分布式虚拟现实的体系结构
联合定位绘制流水线的系统由一台带有多流水
线的图绘形制加流速水卡线3的的.2计多联算台合机计；算定或机位者；绘每或制台者流带它水一们线个的不任同意
组合构成。
3 分布式虚拟现实的体系结构
Wildcat II 5110能同时在两个显示器上独立地显示，具 有两套几何处理引擎和两套光栅化引擎。
2.2 基于工作站的体系结构
2 图形体系结构
工作站使用了超级 （多处理器）体系结构，具 有更强大的计算能力、更大 的磁盘空间和更快的通信形 式。
Infinite Reality是SGI 公司开发的第一个为通用工 作站专门设计，具有4个几 何处理引擎和主板，用于提 供复杂场景下具有稳定的 60HZ刷新率高质量绘制的 图形系统。
注意：只有发生了碰撞的对象才会在触觉绘制流水线中处理。
2.1 基于PC的图形体系结构
2 图形体系结构
只有将PC和虚拟现实交互 式设备集成在一起才能构成 VR引擎。
将头部跟踪器连接到PC的 串行端口，操纵杆连接USB 端口，用来接收用户的输入， 操纵杆接收触觉反馈。头戴 式可视设备连接到图形卡输 出端口，接收系统的视频反 馈。而三维声卡插在PCI总 线上，用户通过用带有三维 声卡的耳机接收音频反馈。
3、多用户多用户分布式虚拟现实 网络拓扑结构
单服务器、多服务器环状网、点 到点LAN、通过路由的混合点到 点WAN
4、基于工作站的VR体系结构
1 绘制流水线
VR引擎是从输入设备中读取数据，访问与任务相关的数据库，执行 任务要求的实时计算，从而实时更新虚拟世界的状态，并把结果反馈
给输出显示设备。
大量的数据计算、低延迟和图形、触觉实时显示都要VR引擎具有强健 的计算体系结构。
1 绘制流水线
应用程序阶段
用户
CUP1
输入
.
.
.
CPUn
几何处理阶段
光栅化阶段
GE1
RU1
FIFO FIFO
图形缓绘制流.. 水线3个缓阶段
. .
冲
.
冲
.
区
区
GEn
RUn
输wenku.baidu.com出
视频 控制器
缓
冲
区
应用程序阶段
1 绘制流水线
几何处理阶段
光栅化阶段
完成建模完成建 模、加速计算、 动画、人机交互 响应用户输入。 和触觉绘制流水 线一些任务。
虚拟现实的计算体系结构
导学
一、学习目标 1.掌握图形绘制流水线和触
觉绘制流水线的原理。 2.熟悉基于PC和基于工作站
的VR的系统结构。 3.理解多流线的同步机制， 掌握分布式VR的网络组成和
应用。
二、重点、难点
1、图形绘制流水线3个阶段
应用程序、几何处理、光栅化。
2、触觉绘制流水线3个阶段
碰撞检测、受力计算、触觉计算。
2.帧缓冲器同步多法流水线同步解决的方法
方法：流水线绘制3D图像前会等待系统垂 直同步信号，然后开始绘制一帧图像。 缺点：同时绘制，但绘制速度较快的流水 线会先绘制完帧，还存在图像偏差的可能。
3 分布式虚拟现实的体系结构
3.主从显示器同步法
方法：将其中一个显示器成为主显示 器，而其他显示器为从显示器。主从 显示器图形卡之间通过内部视频逻辑 电路连接，可确保从显示器的垂直和 水平扫描线都与主显示器相同，确保 了输出图像的一致性。
3 分布式虚拟现实的体系结构
视觉和触觉两种感觉模态也需要同步绘制才能提高真实 性，视觉和触觉的同步是在应用程序阶段实现的，需要 通过专门的接口控制器完成。
帧缓冲器 显示设备
视觉与触觉流水线同步 图形绘制流水线 遍历数据库
几何处理阶段
光栅化阶段
触觉绘制流水线
同步命令
碰触检测
受力计算
触觉纹理绘制
触觉反馈设备
VR系统结构的设计中最重要的是绘制技术。
1 绘制流水线
图形绘制流水线：指的是把图形绘制过程划分成几 个阶段，并把它们指派给不同的硬件资源并行处理， 用来提高图形绘制速度。
1.1 图形绘制流水线
多边形（三角形）网格表示法）：物 体的立体几何信息是通过它们的边界 面或包围面来表示，而物体的边界面 可以用许多单独的多边形表示。是最 常见的虚拟现实三维模型表示法之一。
3 分布式虚拟现实的体系结构
分布式VR引擎：使用两个或多个绘制流水线的 VR引擎。这些流水线可以同时位于一台计算机 中，也可以分别位于多台协作的计算机中，或 者位于集成在一个仿真系统中的多台远程计算 机中。
3 分布式虚拟现实的体系结构
多条流水线输出的图像 都需要同步。
如果不进行同步，帧刷新 率不一致，就会导致系统整
计 力力 算缓 平 映 力冲 滑 射 区
触觉纹理
触觉接口
碰撞检测阶段
1 绘制流水线
受力计算阶段
触觉计算阶段
确定两个（或多 个）虚拟对象之 间是否有接触。 从数据库中加载 虚拟对象的物理 特性
基于各种物理 仿真模型计算 触点压力。还 包括力平滑和 力映射。
主要绘制仿真 过程的接触反 馈分量（触觉 纹理），增强 了对象表面物 理模型真实感。
由几何处理主板上最空闲 的几何处理引擎执行相关操作，处理相应 的三维数据，并返回结果到接口芯片。接 口芯片将经过几何处理的数据发送给纹理 芯片，纹理芯片负责纹理映射。
光栅化单元从纹理芯片中读 取数据，把它们转换成像素信息，然后发 送到帧缓冲区。
图形绘制流水线的实例- HP Visualize fx卡
视频芯片把像素颜色映射成真彩色，进行 数/模转换和视频同步处理，输出显示结果
1 绘制流水线
为了提高对象模型的真实感除了视觉效果外，还需要 触觉来感知物体。可以通过多阶段的触觉绘制流水线 描述触觉模型的过程。
碰撞检测阶段 1.2 触受力觉计算绘阶段制流水线触觉计算阶段
用户
CUP1
输入
.
.
.
CPUn
FIFO
体的延迟，图像扭曲。3.1 多流水线同步
特别是用多台CRT显示 器联合仿真显示，不同步会 会导致图像闪烁，使用户产 生视觉不适。
3 分布式虚拟现实的体系结构
1.软件同步法
方法：要求并行流水线的应用程序阶段在 同一时刻开始处理新的一帧。 缺点：某一条流水线处理速度快于其他流 水线，先填充帧缓冲器，图像先显示出来。
模型变换（坐 标变换、平移、 旋转和缩放 等）、光照计 算、场景投影、 剪裁和映射
将几何图形信 息转换成视频 显示器需要的 像素信息，即 几何场景转化 为图像。
通过CPU软件编程实 现
由几何处理引擎硬件实 现
由光栅化单元硬件实 现
1 绘制流水线
接口芯片接收系统总线传送的3D数据， 发送到几何处理主板。
3 分布式虚拟现实的体系结构
联合定位绘制流水线的系统由一台带有多流水
线的图绘形制加流速水卡线3的的.2计多联算台合机计；算定或机位者；绘每或制台者流带它水一们线个的不任同意
组合构成。
3 分布式虚拟现实的体系结构
Wildcat II 5110能同时在两个显示器上独立地显示，具 有两套几何处理引擎和两套光栅化引擎。
2.2 基于工作站的体系结构
2 图形体系结构
工作站使用了超级 （多处理器）体系结构，具 有更强大的计算能力、更大 的磁盘空间和更快的通信形 式。
Infinite Reality是SGI 公司开发的第一个为通用工 作站专门设计，具有4个几 何处理引擎和主板，用于提 供复杂场景下具有稳定的 60HZ刷新率高质量绘制的 图形系统。
注意：只有发生了碰撞的对象才会在触觉绘制流水线中处理。
2.1 基于PC的图形体系结构
2 图形体系结构
只有将PC和虚拟现实交互 式设备集成在一起才能构成 VR引擎。
将头部跟踪器连接到PC的 串行端口，操纵杆连接USB 端口，用来接收用户的输入， 操纵杆接收触觉反馈。头戴 式可视设备连接到图形卡输 出端口，接收系统的视频反 馈。而三维声卡插在PCI总 线上，用户通过用带有三维 声卡的耳机接收音频反馈。
3、多用户多用户分布式虚拟现实 网络拓扑结构
单服务器、多服务器环状网、点 到点LAN、通过路由的混合点到 点WAN
4、基于工作站的VR体系结构
1 绘制流水线
VR引擎是从输入设备中读取数据，访问与任务相关的数据库，执行 任务要求的实时计算，从而实时更新虚拟世界的状态，并把结果反馈
给输出显示设备。
大量的数据计算、低延迟和图形、触觉实时显示都要VR引擎具有强健 的计算体系结构。