增强现实系统软件平台的设计与实现
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在本系统中，OpenCV 主要负责真实环境图像的采集与显 示 、图 像 格 式 的 转 换 、视 频 的 融 合 以 及 其 它 一 些 图 像 处 理 功 能 和矩阵运算的实现。ARToolKit 主要负责三维注册，确定标志 物 在 真 实 环 境 中 的 位 置 与 姿 态 。虚 拟 环 境 与 虚 拟 物 体 模 型 的 建立以及虚拟场景图导出主要通过 Coin3D 来完成。本增强 现实系统主要由人机交互、视频采集、标志物检测、三维注册、 视 频 融 合 、虚 拟 环 境 建 立 与 虚 拟 物 体 的 创 建 、视 频 输 出 等 功 能 模 块 组 成 。 人 机 交 互 模 块 主 要 通 过 标 志 物 实 现 ，根 据 标 志 物 来 确 定 虚 拟 物 体 在 空 间 中 所 处 的 位 置 。视 频 采 集 模 块 在 一 定 的时间间隔内循环采集真实环境图像并将其输入标志物检模 块 ，后 者 对 所 采 集 到 的 图 像 经 过 分 析 处 理 后 从 中 检 测 出 标 志 物 ，从 而 实 现 对 不 断 移 动 的 标 志 物 的 实 时 跟 踪 。 三 维 注 册 模 块通过对检测到的标志物进行计算后得到该标志物的空间位 置 信 息 并 将 其 传 入 虚 拟 环 境 ，在 虚 拟 环 境 中 由 虚 拟 建 模 模 块
的 配 准 ，需 要 把 虚 拟 摄 像 机 与 真 实 摄 像 机 的 参 数 校 为 一 致 。因
此 首 先 要 对 摄 像 机 进 行 标 定 ，从 而 得 到 真 实 摄 像 机 的 参 数 。
摄像机标定是指建立摄像机图像像素位置与场景点位置
之间的关系，其途径是根据摄像机模型，由已知特征点的图像
Abstract：Based on the analysis of the whole structure of an augmented reality system and its component modules, three software development toolkits is used to develop an augmented reality software system. The principle and the design of the construction are explained including the virtual and real environment, the detection of the marker, the image processing, and the combination of video and other function modules. At last the operating performance of this system is given. Key words：augmented reality; mechanical vision; image process; real-time trace; compound display
换、投影变换、视口变换等一系列的变换才能投影到二维的显
示 平 面 上 ，这 个 过 程 和 实 际 的 摄 像 机 的 工 作 过 程 是 一 样 的 。在
虚拟环境中同样也是通过一个虚拟的摄像机模型对三维物体
进 行 观 察 ，为 了 实 现 在 融 合 后 的 视 频 中 虚 拟 物 体 和 真 实 场 景
和 cw 的夹角的余弦 =
作为衡量尺度。x 越接近
cw，其标准相似度越接近于 1。因此可以根据实际情况在 0 和 1 之间取值，当标准相似度大于等于所取值时则表明图像匹配 成功，标志物得到正确识别 。 [5]
Y轴
原点0
X轴
图 2 系统所使用的标志物及其坐标系
2.2 摄 像 机 的 标 定
在计算机图形学中，三维物体需要经过视点变换、模型变
坐标和世界坐标求解摄像机参数 。 [4]
在本系统中三维图形的透视变换是基于针孔摄像机模
型，也就是说，一幅视图是通过将三维空间中的点透视变换到
图 像 平 面 上 得 到 ，其 定 义 是
=
(1)
或者
0
11
12
13
1
=0
21
22
23
2
(2)
1
001
31
32
33
3
1
式中：(X,Y,Z) ——一个点的世界坐标；(u,v) ——点投影在图像
倪晓赟，郑建荣，周炜：增强计现算实系机统工软程件与平设台计的设C计om与pu实te现r Engineering and Design
2009,30 (9) 2297
开发与应用
增强现实系统软件平台的设计与实现
倪晓赟， 郑建荣， 周 炜 (华东理工大学 机械与动力工程学院，上海 200237)
摘 要：在对于一个 增强现实系统的 整体结构与各组 成模块进行完 整分析的基础之 上，使用 OpenCV、Coin3D 和 ARToolKit 这 3 个 软件开发包在 Visual Studio 2003.net 环境下开 发了一个增强 现实系统的软件 平台。主要阐 述了虚实环境的 构建、三 维注 册、标 志物检测、图像 处理，视频融合等 主要功能模块 的实现原理与方 法，最后给出了 系统实际运行的 效果。 关键 词：增强现实; 机器视觉; 图像 处理; 时事跟踪 ; 合成显示 中图 法分类号：TP391.1 文 献标识码：A 文章编号：1000-7024 (2009) 09-2297-04
收稿日期：2008-05-21；修订日期：2009-02-06。 作者简介：倪晓赟 (1984－)，男，上海人，硕士研究生，研究方向为机器视觉和增强现实技术； 郑建荣 (1955－)，男，上海人，教授，博士生 导师，研究方向为 CAD/CAE/CAM、复杂机电系统虚拟样机技术； 周炜 (1975－)，女，湖南人，讲师，研究方向为虚拟装配、增强现实装配。 E-mail：hughnxy@gmail.com
2298 2009,30 (9)
计算机工程与设计 Computer Engineering and Design
在指定空间位置完成虚拟物体的建模后输出整个虚拟环境的 场 景 图 ，随 后 视 频 融 合 模 块 将 其 与 真 实 环 境 背 景 图 叠 加 后 输 出。系统的整体功能模块图如图 1 所示。
平面的坐标，以像素为单位；A——摄像机矩阵或内参数矩阵；
, ——基准点 (通常在图像的中心)； ， ——以像素为单
位的焦距。
内参数矩阵不依赖场景的视图；一旦被计算出来，就可以
重复使用(只要焦距固定)。旋转-平移矩阵[R | t]称作外参数矩
阵，用来描述摄像机相对于一个固定场景的运动，或者是物体
围绕摄像机的刚性运动[5]。也就是说，[R | t]将点(X,Y,Z)的坐标
Design and implementation of augmented reality software system
NI Xiao-yun, ZHENG Jian-rong, ZHOU Wei (School of Mechanical and Power Engineering, East China University of Science and Technology, Shanghai 200237, China)
为 了 确 定 标 志 物 坐 标 系 到 摄 像 机 坐 标 系 的 转 换 矩 阵 ，从 而 可 以 将 虚 拟 物 体 准 确 的 绘 制 在 标 志 物 坐 标 系 下 ，系 统 需 要 能 够 在 输 入 的 视 频 流 中 对 标 志 物 进 行 正 确 的 识 别 。本 系 统 所 采用的标志物如图 2 所示，黑色方框内部为图案识别区域，其 中 的 图 案 必 须 为 旋 转 不 对 称 图 形 ，以 便 确 定 标 志 物 坐 标 系 的 方向。标志物坐标系的原点位于标志物的中心，X 轴和 Y 轴 的正方向如图 2 所示，Z 轴正方向垂直于标志物平面向上。在 具体操作上首先把摄像头所采集的图像转换为二值(黑白)图 像 ，然 后 对 该 二 值 图 像 进 行 连 通 域 分 析 ，找 出 其 中 的 所 有 四 边 形 区 域 作 为 候 选 匹 配 区 域 ，将 每 一 候 选 区 域 与 事 先 存 储 的 标 志物模板运用模式识别的方法进行基于像素灰度值的图像匹 配。假设输入的图像模式为 x，模版的模式为 cw，可以采用 x
视频采集 视频融合
操作者
人机交互
标志物 检测
三维注册
增强现实 视频输出
输入摄像机 参数与标志
物信息
导出虚拟环境 场景图
初始化 虚拟环境
创建 虚拟物体
图 1 系统整体功能模块
2 虚拟物体与真实环境融合的原理
把虚拟物体有机的融入到真实环境中是增强现实技术中 的 重 要 组 成 部 分 。 在 最 终 输 出 的 视 频 中 ，虚 拟 物 体 在 空 间 关 系 、逻 辑 关 系 、结 构 关 系 上 都 要 与 真 实 环 境 保 持 一 致 ，并 且 当 用于操作虚拟物体的标志物在空间中进行平移与旋转运动时， 虚 拟 物 体 能 够 与 之 保 持 同 步 运 动 ，达 到 实 时 互 动 的 效 果 。 从 实 现 的 角 度 来 看 ，主 要 包 括 标 志 物 的 识 别 和 摄 像 机 的 标 定 这 两部分。 2.1 标 志 物 的 识 别
0引言
增强现实 (augmented reality，AR)，也被称为混合现实技 术，是随着虚拟现实技术 VR(virtual reality，VR)迅速发展和实 际应用需要而出现的一种将真实世界信息和虚拟世界信息集 成 的 新 技 术 [1]。通 过 将 计 算 机 产 生 的 图 形 、文 字 注 释 等 虚 拟 信 息 有 机 的 融 合 到 使 用 者 所 看 到 的 真 实 世 界 景 象 中 ，对 人 的 视 觉 系 统 进 行 景 象 增 强 或 扩 张 ，主 要 包 括 虚 实 结 合 ，实 时 交 互 ， 三维注册这 3 方面的内容[2]。国外在诸如医疗、军事、航空、航 海 等 领 域 都 有 着 广 泛 的 应 用 。而 目 前 国 内 对 于 增 强 现 实 技 术 的 研 究 还 处 于 一 个 起 步 阶 段 ，对 于 在 整 个 增 强 现 实 系 统 中 占 据核心地位的软件平台的构建研究的还比较少 。 [3] 正是出于 这种需要，本文在软件上利用 OpenCV，Coin3D 和 ARToolKit 这 3 个开发包，在硬件上使用一个普通的 USB 电脑摄像头，构 建 了 一 个 包 括 虚 拟 模 型 创 建 ，实 时 跟 踪 和 合 成 显 示 的 完 整 的 增强现实系统。
ቤተ መጻሕፍቲ ባይዱ
变 换 某 个 坐 标 系 上 ，每 当 该 坐 标 系 的 位 置 相 对 于 摄 像 机 坐 标
系发生变化，则[R | t]的值也将随之改变。在实际操作中首先
使用 OpenCV 自带的棋盘标定程序对摄像机进行标定，求得
摄像机的内参数矩阵 A。(X,Y,Z)可以看作标志物上的某一点
1 系统基本介绍
1.1 OpenCV，ARToolKit 和 Coin3D 简 介 OpenCV 是由 Intel 公司资助的开源计算机视觉库。它由
一系列 C 函数和少量 C++类构成，实现了图像处理和计算机 视觉方面的很多通用算法。ARToolKit 是由日本广岛城市大
学和美国华盛顿大学联合开发的一套基于 C 语言的增强现实 系 统 二 次 开 发 包 ，其 实 时 、精 确 的 三 维 注 册 功 能 使 得 工 程 人 员 能够非常方便、快捷的开发增强现实应用系统[2]。Coin3D 是由 SIM 公司开发的开放源码的 OpenInventor 开发包。OpenInventor 是一个 3D 程序的开发平台，它提供一系列在 OpenGL 函数库 上层开发的 3D 开发库及可扩充的对象库，简化了图形编程， 同时又保留了 OpenGL 固有的强大 3D 处理能力[4]。 1.2 系 统 整 体 结 构 以及 各 开 发 包 在 系 统中 所 实 现 的 功 能
的 配 准 ，需 要 把 虚 拟 摄 像 机 与 真 实 摄 像 机 的 参 数 校 为 一 致 。因
此 首 先 要 对 摄 像 机 进 行 标 定 ，从 而 得 到 真 实 摄 像 机 的 参 数 。
摄像机标定是指建立摄像机图像像素位置与场景点位置
之间的关系，其途径是根据摄像机模型，由已知特征点的图像
Abstract：Based on the analysis of the whole structure of an augmented reality system and its component modules, three software development toolkits is used to develop an augmented reality software system. The principle and the design of the construction are explained including the virtual and real environment, the detection of the marker, the image processing, and the combination of video and other function modules. At last the operating performance of this system is given. Key words：augmented reality; mechanical vision; image process; real-time trace; compound display
换、投影变换、视口变换等一系列的变换才能投影到二维的显
示 平 面 上 ，这 个 过 程 和 实 际 的 摄 像 机 的 工 作 过 程 是 一 样 的 。在
虚拟环境中同样也是通过一个虚拟的摄像机模型对三维物体
进 行 观 察 ，为 了 实 现 在 融 合 后 的 视 频 中 虚 拟 物 体 和 真 实 场 景
和 cw 的夹角的余弦 =
作为衡量尺度。x 越接近
cw，其标准相似度越接近于 1。因此可以根据实际情况在 0 和 1 之间取值，当标准相似度大于等于所取值时则表明图像匹配 成功，标志物得到正确识别 。 [5]
Y轴
原点0
X轴
图 2 系统所使用的标志物及其坐标系
2.2 摄 像 机 的 标 定
在计算机图形学中，三维物体需要经过视点变换、模型变
坐标和世界坐标求解摄像机参数 。 [4]
在本系统中三维图形的透视变换是基于针孔摄像机模
型，也就是说，一幅视图是通过将三维空间中的点透视变换到
图 像 平 面 上 得 到 ，其 定 义 是
=
(1)
或者
0
11
12
13
1
=0
21
22
23
2
(2)
1
001
31
32
33
3
1
式中：(X,Y,Z) ——一个点的世界坐标；(u,v) ——点投影在图像
倪晓赟，郑建荣，周炜：增强计现算实系机统工软程件与平设台计的设C计om与pu实te现r Engineering and Design
2009,30 (9) 2297
开发与应用
增强现实系统软件平台的设计与实现
倪晓赟， 郑建荣， 周 炜 (华东理工大学 机械与动力工程学院，上海 200237)
摘 要：在对于一个 增强现实系统的 整体结构与各组 成模块进行完 整分析的基础之 上，使用 OpenCV、Coin3D 和 ARToolKit 这 3 个 软件开发包在 Visual Studio 2003.net 环境下开 发了一个增强 现实系统的软件 平台。主要阐 述了虚实环境的 构建、三 维注 册、标 志物检测、图像 处理，视频融合等 主要功能模块 的实现原理与方 法，最后给出了 系统实际运行的 效果。 关键 词：增强现实; 机器视觉; 图像 处理; 时事跟踪 ; 合成显示 中图 法分类号：TP391.1 文 献标识码：A 文章编号：1000-7024 (2009) 09-2297-04
收稿日期：2008-05-21；修订日期：2009-02-06。 作者简介：倪晓赟 (1984－)，男，上海人，硕士研究生，研究方向为机器视觉和增强现实技术； 郑建荣 (1955－)，男，上海人，教授，博士生 导师，研究方向为 CAD/CAE/CAM、复杂机电系统虚拟样机技术； 周炜 (1975－)，女，湖南人，讲师，研究方向为虚拟装配、增强现实装配。 E-mail：hughnxy@gmail.com
2298 2009,30 (9)
计算机工程与设计 Computer Engineering and Design
在指定空间位置完成虚拟物体的建模后输出整个虚拟环境的 场 景 图 ，随 后 视 频 融 合 模 块 将 其 与 真 实 环 境 背 景 图 叠 加 后 输 出。系统的整体功能模块图如图 1 所示。
平面的坐标，以像素为单位；A——摄像机矩阵或内参数矩阵；
, ——基准点 (通常在图像的中心)； ， ——以像素为单
位的焦距。
内参数矩阵不依赖场景的视图；一旦被计算出来，就可以
重复使用(只要焦距固定)。旋转-平移矩阵[R | t]称作外参数矩
阵，用来描述摄像机相对于一个固定场景的运动，或者是物体
围绕摄像机的刚性运动[5]。也就是说，[R | t]将点(X,Y,Z)的坐标
Design and implementation of augmented reality software system
NI Xiao-yun, ZHENG Jian-rong, ZHOU Wei (School of Mechanical and Power Engineering, East China University of Science and Technology, Shanghai 200237, China)
为 了 确 定 标 志 物 坐 标 系 到 摄 像 机 坐 标 系 的 转 换 矩 阵 ，从 而 可 以 将 虚 拟 物 体 准 确 的 绘 制 在 标 志 物 坐 标 系 下 ，系 统 需 要 能 够 在 输 入 的 视 频 流 中 对 标 志 物 进 行 正 确 的 识 别 。本 系 统 所 采用的标志物如图 2 所示，黑色方框内部为图案识别区域，其 中 的 图 案 必 须 为 旋 转 不 对 称 图 形 ，以 便 确 定 标 志 物 坐 标 系 的 方向。标志物坐标系的原点位于标志物的中心，X 轴和 Y 轴 的正方向如图 2 所示，Z 轴正方向垂直于标志物平面向上。在 具体操作上首先把摄像头所采集的图像转换为二值(黑白)图 像 ，然 后 对 该 二 值 图 像 进 行 连 通 域 分 析 ，找 出 其 中 的 所 有 四 边 形 区 域 作 为 候 选 匹 配 区 域 ，将 每 一 候 选 区 域 与 事 先 存 储 的 标 志物模板运用模式识别的方法进行基于像素灰度值的图像匹 配。假设输入的图像模式为 x，模版的模式为 cw，可以采用 x
视频采集 视频融合
操作者
人机交互
标志物 检测
三维注册
增强现实 视频输出
输入摄像机 参数与标志
物信息
导出虚拟环境 场景图
初始化 虚拟环境
创建 虚拟物体
图 1 系统整体功能模块
2 虚拟物体与真实环境融合的原理
把虚拟物体有机的融入到真实环境中是增强现实技术中 的 重 要 组 成 部 分 。 在 最 终 输 出 的 视 频 中 ，虚 拟 物 体 在 空 间 关 系 、逻 辑 关 系 、结 构 关 系 上 都 要 与 真 实 环 境 保 持 一 致 ，并 且 当 用于操作虚拟物体的标志物在空间中进行平移与旋转运动时， 虚 拟 物 体 能 够 与 之 保 持 同 步 运 动 ，达 到 实 时 互 动 的 效 果 。 从 实 现 的 角 度 来 看 ，主 要 包 括 标 志 物 的 识 别 和 摄 像 机 的 标 定 这 两部分。 2.1 标 志 物 的 识 别
0引言
增强现实 (augmented reality，AR)，也被称为混合现实技 术，是随着虚拟现实技术 VR(virtual reality，VR)迅速发展和实 际应用需要而出现的一种将真实世界信息和虚拟世界信息集 成 的 新 技 术 [1]。通 过 将 计 算 机 产 生 的 图 形 、文 字 注 释 等 虚 拟 信 息 有 机 的 融 合 到 使 用 者 所 看 到 的 真 实 世 界 景 象 中 ，对 人 的 视 觉 系 统 进 行 景 象 增 强 或 扩 张 ，主 要 包 括 虚 实 结 合 ，实 时 交 互 ， 三维注册这 3 方面的内容[2]。国外在诸如医疗、军事、航空、航 海 等 领 域 都 有 着 广 泛 的 应 用 。而 目 前 国 内 对 于 增 强 现 实 技 术 的 研 究 还 处 于 一 个 起 步 阶 段 ，对 于 在 整 个 增 强 现 实 系 统 中 占 据核心地位的软件平台的构建研究的还比较少 。 [3] 正是出于 这种需要，本文在软件上利用 OpenCV，Coin3D 和 ARToolKit 这 3 个开发包，在硬件上使用一个普通的 USB 电脑摄像头，构 建 了 一 个 包 括 虚 拟 模 型 创 建 ，实 时 跟 踪 和 合 成 显 示 的 完 整 的 增强现实系统。
ቤተ መጻሕፍቲ ባይዱ
变 换 某 个 坐 标 系 上 ，每 当 该 坐 标 系 的 位 置 相 对 于 摄 像 机 坐 标
系发生变化，则[R | t]的值也将随之改变。在实际操作中首先
使用 OpenCV 自带的棋盘标定程序对摄像机进行标定，求得
摄像机的内参数矩阵 A。(X,Y,Z)可以看作标志物上的某一点
1 系统基本介绍
1.1 OpenCV，ARToolKit 和 Coin3D 简 介 OpenCV 是由 Intel 公司资助的开源计算机视觉库。它由
一系列 C 函数和少量 C++类构成，实现了图像处理和计算机 视觉方面的很多通用算法。ARToolKit 是由日本广岛城市大
学和美国华盛顿大学联合开发的一套基于 C 语言的增强现实 系 统 二 次 开 发 包 ，其 实 时 、精 确 的 三 维 注 册 功 能 使 得 工 程 人 员 能够非常方便、快捷的开发增强现实应用系统[2]。Coin3D 是由 SIM 公司开发的开放源码的 OpenInventor 开发包。OpenInventor 是一个 3D 程序的开发平台，它提供一系列在 OpenGL 函数库 上层开发的 3D 开发库及可扩充的对象库，简化了图形编程， 同时又保留了 OpenGL 固有的强大 3D 处理能力[4]。 1.2 系 统 整 体 结 构 以及 各 开 发 包 在 系 统中 所 实 现 的 功 能