增强现实系统软件平台的设计与实现

0Байду номын сангаас言
增强现实 (augmented reality，AR)，也被称为混合现实技 术，是随着虚拟现实技术 VR(virtual reality，VR)迅速发展和实 际应用需要而出现的一种将真实世界信息和虚拟世界信息集 成 的 新 技 术 [1]。通 过 将 计 算 机 产 生 的 图 形 、文 字 注 释 等 虚 拟 信 息 有 机 的 融 合 到 使 用 者 所 看 到 的 真 实 世 界 景 象 中 ，对 人 的 视 觉 系 统 进 行 景 象 增 强 或 扩 张 ，主 要 包 括 虚 实 结 合 ，实 时 交 互 ， 三维注册这 3 方面的内容[2]。国外在诸如医疗、军事、航空、航 海 等 领 域 都 有 着 广 泛 的 应 用 。而 目 前 国 内 对 于 增 强 现 实 技 术 的 研 究 还 处 于 一 个 起 步 阶 段 ，对 于 在 整 个 增 强 现 实 系 统 中 占 据核心地位的软件平台的构建研究的还比较少 。 [3] 正是出于 这种需要，本文在软件上利用 OpenCV，Coin3D 和 ARToolKit 这 3 个开发包，在硬件上使用一个普通的 USB 电脑摄像头，构 建 了 一 个 包 括 虚 拟 模 型 创 建 ，实 时 跟 踪 和 合 成 显 示 的 完 整 的 增强现实系统。
1 系统基本介绍
1.1 OpenCV，ARToolKit 和 Coin3D 简 介 OpenCV 是由 Intel 公司资助的开源计算机视觉库。它由
一系列 C 函数和少量 C++类构成，实现了图像处理和计算机 视觉方面的很多通用算法。ARToolKit 是由日本广岛城市大
学和美国华盛顿大学联合开发的一套基于 C 语言的增强现实 系 统 二 次 开 发 包 ，其 实 时 、精 确 的 三 维 注 册 功 能 使 得 工 程 人 员 能够非常方便、快捷的开发增强现实应用系统[2]。Coin3D 是由 SIM 公司开发的开放源码的 OpenInventor 开发包。OpenInventor 是一个 3D 程序的开发平台，它提供一系列在 OpenGL 函数库 上层开发的 3D 开发库及可扩充的对象库，简化了图形编程， 同时又保留了 OpenGL 固有的强大 3D 处理能力[4]。 1.2 系 统 整 体 结 构 以及 各 开 发 包 在 系 统中 所 实 现 的 功 能
收稿日期：2008-05-21；修订日期：2009-02-06。 作者简介：倪晓赟 (1984－)，男，上海人，硕士研究生，研究方向为机器视觉和增强现实技术； 郑建荣 (1955－)，男，上海人，教授，博士生 导师，研究方向为 CAD/CAE/CAM、复杂机电系统虚拟样机技术； 周炜 (1975－)，女，湖南人，讲师，研究方向为虚拟装配、增强现实装配。 E-mail：hughnxy@
和 cw 的夹角的余弦 =
作为衡量尺度。x 越接近
cw，其标准相似度越接近于 1。因此可以根据实际情况在 0 和 1 之间取值，当标准相似度大于等于所取值时则表明图像匹配 成功，标志物得到正确识别 。 [5]
Y轴
原点0
X轴
图 2 系统所使用的标志物及其坐标系
2.2 摄 像 机 的 标 定
在计算机图形学中，三维物体需要经过视点变换、模型变
2298 2009,30 (9)
计算机工程与设计 Computer Engineering and Design
在指定空间位置完成虚拟物体的建模后输出整个虚拟环境的 场 景 图 ，随 后 视 频 融 合 模 块 将 其 与 真 实 环 境 背 景 图 叠 加 后 输 出。系统的整体功能模块图如图 1 所示。
变 换 某 个 坐 标 系 上 ，每 当 该 坐 标 系 的 位 置 相 对 于 摄 像 机 坐 标
系发生变化，则[R | t]的值也将随之改变。在实际操作中首先
使用 OpenCV 自带的棋盘标定程序对摄像机进行标定，求得
摄像机的内参数矩阵 A。(X,Y,Z)可以看作标志物上的某一点
Design and implementation of augmented reality software system
NI Xiao-yun, ZHENG Jian-rong, ZHOU Wei (School of Mechanical and Power Engineering, East China University of Science and Technology, Shanghai 200237, China)
坐标和世界坐标求解摄像机参数 。 [4]
在本系统中三维图形的透视变换是基于针孔摄像机模
型，也就是说，一幅视图是通过将三维空间中的点透视变换到
图 像 平 面 上 得 到 ，其 定 义 是
=
(1)
或者
0
11
12
13
1
=0
21
22
23
2
(2)
1
001
31
32
33
3
1
式中：(X,Y,Z) ——一个点的世界坐标；(u,v) ——点投影在图像
倪晓赟，郑建荣，周炜：增强计现算实系机统工软程件与平设台计的设C计om与pu实te现r Engineering and Design
2009,30 (9) 2297
开发与应用
增强现实系统软件平台的设计与实现
倪晓赟， 郑建荣， 周 炜 (华东理工大学 机械与动力工程学院，上海 200237)
摘 要：在对于一个 增强现实系统的 整体结构与各组 成模块进行完 整分析的基础之 上，使用 OpenCV、Coin3D 和 ARToolKit 这 3 个 软件开发包在 Visual Studio 环境下开 发了一个增强 现实系统的软件 平台。主要阐 述了虚实环境的 构建、三 维注 册、标 志物检测、图像 处理，视频融合等 主要功能模块 的实现原理与方 法，最后给出了 系统实际运行的 效果。 关键 词：增强现实; 机器视觉; 图像 处理; 时事跟踪 ; 合成显示 中图 法分类号：TP391.1 文 献标识码：A 文章编号：1000-7024 (2009) 09-2297-04
平面的坐标，以像素为单位；A——摄像机矩阵或内参数矩阵；
, ——基准点 (通常在图像的中心)； ， ——以像素为单
位的焦距。
内参数矩阵不依赖场景的视图；一旦被计算出来，就可以
重复使用(只要焦距固定)。旋转-平移矩阵[R | t]称作外参数矩
阵，用来描述摄像机相对于一个固定场景的运动，或者是物体
围绕摄像机的刚性运动[5]。也就是说，[R | t]将点(X,Y,Z)的坐标
为 了 确 定 标 志 物 坐 标 系 到 摄 像 机 坐 标 系 的 转 换 矩 阵 ，从 而 可 以 将 虚 拟 物 体 准 确 的 绘 制 在 标 志 物 坐 标 系 下 ，系 统 需 要 能 够 在 输 入 的 视 频 流 中 对 标 志 物 进 行 正 确 的 识 别 。本 系 统 所 采用的标志物如图 2 所示，黑色方框内部为图案识别区域，其 中 的 图 案 必 须 为 旋 转 不 对 称 图 形 ，以 便 确 定 标 志 物 坐 标 系 的 方向。标志物坐标系的原点位于标志物的中心，X 轴和 Y 轴 的正方向如图 2 所示，Z 轴正方向垂直于标志物平面向上。在 具体操作上首先把摄像头所采集的图像转换为二值(黑白)图 像 ，然 后 对 该 二 值 图 像 进 行 连 通 域 分 析 ，找 出 其 中 的 所 有 四 边 形 区 域 作 为 候 选 匹 配 区 域 ，将 每 一 候 选 区 域 与 事 先 存 储 的 标 志物模板运用模式识别的方法进行基于像素灰度值的图像匹 配。假设输入的图像模式为 x，模版的模式为 cw，可以采用 x
换、投影变换、视口变换等一系列的变换才能投影到二维的显
示 平 面 上 ，这 个 过 程 和 实 际 的 摄 像 机 的 工 作 过 程 是 一 样 的 。在
虚拟环境中同样也是通过一个虚拟的摄像机模型对三维物体
进 行 观 察 ，为 了 实 现 在 融 合 后 的 视 频 中 虚 拟 物 体 和 真 实 场 景
在本系统中，OpenCV 主要负责真实环境图像的采集与显 示 、图 像 格 式 的 转 换 、视 频 的 融 合 以 及 其 它 一 些 图 像 处 理 功 能 和矩阵运算的实现。ARToolKit 主要负责三维注册，确定标志 物 在 真 实 环 境 中 的 位 置 与 姿 态 。虚 拟 环 境 与 虚 拟 物 体 模 型 的 建立以及虚拟场景图导出主要通过 Coin3D 来完成。本增强 现实系统主要由人机交互、视频采集、标志物检测、三维注册、 视 频 融 合 、虚 拟 环 境 建 立 与 虚 拟 物 体 的 创 建 、视 频 输 出 等 功 能 模 块 组 成 。 人 机 交 互 模 块 主 要 通 过 标 志 物 实 现 ，根 据 标 志 物 来 确 定 虚 拟 物 体 在 空 间 中 所 处 的 位 置 。视 频 采 集 模 块 在 一 定 的时间间隔内循环采集真实环境图像并将其输入标志物检模 块 ，后 者 对 所 采 集 到 的 图 像 经 过 分 析 处 理 后 从 中 检 测 出 标 志 物 ，从 而 实 现 对 不 断 移 动 的 标 志 物 的 实 时 跟 踪 。 三 维 注 册 模 块通过对检测到的标志物进行计算后得到该标志物的空间位 置 信 息 并 将 其 传 入 虚 拟 环 境 ，在 虚 拟 环 境 中 由 虚 拟 建 模 模 块
视频采集 视频融合
操作者
人机交互
标志物 检测
三维注册
增强现实 视频输出
输入摄像机 参数与标志
物信息
导出虚拟环境 场景图
初始化 虚拟环境
创建 虚拟物体
图 1 系统整体功能模块
2 虚拟物体与真实环境融合的原理
把虚拟物体有机的融入到真实环境中是增强现实技术中 的 重 要 组 成 部 分 。 在 最 终 输 出 的 视 频 中 ，虚 拟 物 体 在 空 间 关 系 、逻 辑 关 系 、结 构 关 系 上 都 要 与 真 实 环 境 保 持 一 致 ，并 且 当 用于操作虚拟物体的标志物在空间中进行平移与旋转运动时， 虚 拟 物 体 能 够 与 之 保 持 同 步 运 动 ，达 到 实 时 互 动 的 效 果 。 从 实 现 的 角 度 来 看 ，主 要 包 括 标 志 物 的 识 别 和 摄 像 机 的 标 定 这 两部分。 2.1 标 志 物 的 识 别