增强现实技术之基于视觉的增强现实系统培训讲义(PPT 28张)

分别提取各个标识四边形的边缘像素坐标，找出四边形 标识四个顶点坐标，计算出标识边缘的直线方程(屏幕坐 标)。 由于系统中使用的标识记是事先设计的有规则的标识， 所以能够快速获得检测结果。
2.5 标识识别模块
对于人工设定好的标识
标识所代表的具体信息用标识内部的图形或文字表示， 如表示何种目标或在此应显示何种虚拟物体。
多媒体控制模块模拟系统环境中产生的各种各样的声音 元素，同时把视频文件集模块主要功能是从图像输入设备中采集视频流 ，从视频流中获取视频图像。 增强现实系统图像的采集应该满足实时性、精确性的要 求。目前性能较高的CCD摄像头都可以满足系统对图像 精度和获取速度的要求。 微软DirectX开发包中的Direetshow模块，是微软公司 发布的在Windows环境下运行的一种流媒体处理体系， 是DirectX的组成部分之一。 Directshow支持很多种多媒体格式，包括常用的ASF， MPEG，AVI，MP3，WAV等。当系统安装有硬件加速 设备的时候，Directshow可以自动检测并使用硬件加速 设备。同样，它也支持没有硬件加速设备的系统。
章基于视觉的增强现实系统框架
2.1系统框架
2.2系统的模块介绍 2.3图像采集与处理模块 2.4三维模型绘制模块
2.1 系统框架
2.2 系统的模块介绍
系统由9个主要的子模块组成： 图像采集子模块 数字图像处理子模块 注册定位子模块 标识识别子模块， 深度检测子模块 图形渲染子模块
2.2 系统的模块介绍
图形绘制子模块实现对虚拟三维模型实时动态的渲染。 虚实融合模块主要完成前景和虚景融合、遮挡处理、边 缘融合等工作。额外的视觉效果，如光照、前景色彩增 加等也在模块中实现。为了达到逼真的虚实融合的效果 ，正确显示虚拟物体和真实物体的遮挡关系，需要将深 度检测模块的输出结果作为输入传入虚实结合子模快， 虚实结合子模块根据真实场景中的物体与虚拟物体的遮 挡关系进行虚拟场景与真实场景的无缝融合。 用户交互子模块为用户提供两种与虚拟三维模型进行直 接交互的方式。
2.3 图像采集与处理模块
2.3 图像采集与处理模块
在基于计算机视觉的系统工程中，数字图像处理子模块 为三维注册子模块和虚实结合子模块提供非常重要的基 础数据。 它的具体功能是通过图像分割、边缘检测等图像处理方 法对采集的图像进行处理，从工作环境背景中识别出预 先在环境中设置的用于定位的标志。 数字图像处理子模块的性能优劣直接影响系统在三维注 册阶段的实时性和虚拟结合模块中无缝融合的精确性。 数字图像处理子模块的三个主要过程是图像预处理与图 像分割，边缘检测和提取系统感兴趣的特征点。
用户交互子模块
虚实融合子模块 多媒体控制子模块
2.2 系统的模块介绍
图像采集子模块从图像输入设备中采集视频流，从视频 流中获取视频图像。 数字图像处理子模块为三维注册子模块和虚实结合子模 块提供非常重要的基础数据。它的具体功能是通过图像 分割，边缘检测等图像处理方法对采集的图像进行处理 ，从工作环境背景中识别出预先在环境中设置的用于定 位的标志。
具体绘制方法在第四章中详细介绍
2.5 标识识别模块
在增强现实系统中，经过图像分割、边缘检测和轮廓提 取之后，我们就可以把以上步骤的结果用于标识识别子 模块 根据模式匹配算法，使系统从摄像机的视频图像中正确 的识别出预先设计好的标识，同时给出标识的ID号码， 作为系统中图形显示子模块输入参数的一部分，以使得 图形显示子模块将预先设计好的三维模型正确的显示在 特定的标记上，实现对真实环境的增强。 标识分为两类，一类是人工设定好的标识，一类是场景 中自然具备的。
标识识别子模块根据模式匹配算法，使系统从摄像机的 视频图像中正确的识别出预先设计好的标记物，同时给 出标记物的ID号码，作为系统中图形显示子模块输入参 数的一部分，以使得图形显示子模块将预先设计好的三 维模型正确的显示在特定的位置上。
2.2 系统的模块介绍
注册定标子模块以图像检测模块的输出结果为数据的输 入，通过相机标定内部参数的算法和相机标定的外部参 数的算法，将程序中所用到标记的三维位置和姿态计算 出来，最后相机的外部参数作为输出结果输入到虚实结 合子模块，用openGL等软件中的虚拟相机模拟真实世 界中的相机，产生良好的虚实环境无缝融合的场景。 深度检测子模块检测特定空间点的深度信息。为了判断 系统中渲染的虚拟物体与真实环境中物体的遮挡关系， 系统中需要计算虚拟物体与真实场景中物体的深度信息 ，通过比较它们的深度信息，确定虚拟物体与真实场景 中物体的遮挡关系，实现系统中真实场景与虚拟物体遮 挡一致性，同时通过检测真实场景中用户的手势等交互 动作，完成用户与场景中虚拟物体的自然交互。
具体的标识内部图像可以根据需要手动选择任意的图像 作为标识物，可以通过几种图元的组合自动生成工程中 所需要标识。 进行模板匹配，来实现标识识别。 在做标识匹配前，需要进行图像正规化。
2.3 图像采集与处理模块
具体实现在第三章详细介绍
2.4 三维模型绘制模块
可以用DirectX、游戏引擎中的绘制三维模型语句和渲染 语句来绘制三维模型，但所绘制的模型相对简单。 用3Ds MAX、Maya来绘制三维模型，然后导出到增强 现实程序开发环境。
三维模型的运动控制由增强现实程序开发环境中的程序 实现，但人物运动序列等看可以在3Ds MAX、Maya 中 建好后导出。 模型的复制可以用程序实现。
人工设定好的标识一般由具有一定宽度的黑色封闭的矩 形框和内部的各种图形或文字两部分构成。
2.5 标识识别模块
对于人工设定好的标识
通过对视频中的每一帧图像运用图像分割、边缘提取、 连通区域检测、轮廓提取等过程判断视频图像中是否含 有封闭的黑色矩形框。 匹配连通区域中的四边形结构，记录视频图像中所有标 识所在区域和坐标。