增强现实中的跟踪技术
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
关键词 : 增强现实 ; 跟踪 ; 计算机视觉 ; 传感器
Tracking Technology f or Augmented Reality
Kang Bo ( School of Automation Engineering , University of Elect ronic Science and Technology , Chengdu 610054 , China)
本文从增强现实对跟踪技术的要求出发 , 通过对当前几种 主要跟踪技术进行分析 、比较 , 并结合我们在 AR 研究方面的 体会 , 认为 AR 跟踪技术将以基于计算机视觉的跟踪为主 , 再 辅以其他的跟踪方法 , 即采用混合跟踪技术 , 其中最具发展潜 力的是基于视觉 - 惯性的跟踪系统 , 论文对此进行了讨论 , 提 出了有待解决的问题 , 以便为 AR 研究 , 特别是为跟踪技术的 研究提供必要的参考 。
对于以上要求 , 迄今为止 , 还没有一种较为完善的解决方 案 。任何一种现有的单一跟踪技术都难以满足上述所有要求 。
2 增强现实中的主要跟踪技术
在虚拟现实及运动跟踪中 , 常用的跟踪技术包括机械式 、 磁传感 、电磁波 、声学 、惯性 、光学等多种检测方法[10] , 这些 方法原则上都可以用于增强现实的跟踪系统 , 但并不理想 , 特 别是机械联接传感技术对用户的 “动作范围”有很严格的限制 , 一般不适合 AR 应用 。以下主要就目前在 AR 跟踪系统中用得 较多的磁场 、声学 、惯性 、光学跟踪技术作一些简单讨论 。 21 1 磁传感跟踪技术
(3) 跟踪范围 : 虚拟现实中用户完全置身于虚拟环境中 , 一般不要求有较大的跟踪范围 。而增强现实中 , 是以实际的物 理环境为主 , 同时将虚拟物体与物理环境 “联”在一起 , 用户 如果要与增强环境中目标进行交互 , 一般需要较大范围的动作 或移动 。所以 , 在增强现实的应用中 , 对跟踪范围有更高的要 求 , 以能支持移动中的用户 。
Abstract : Augmented realit y ( AR) is an emerging new technology t hat can superimpo se virt ual scene or information over t he real world. It has t he potential to enhance a user’s perception and his interaction wit h t he real world. Tracking for user’s field of view and view2 point in augmented realit y is a crucial technology for regist ration. This paper present s t he t racking requirement s for AR , int roduces so me main t racking app roaches such as magnetic , acoustic , inertial , optical t racker and so on , analyses t heir performance and disadvantages. We t hink t hat hybrid vision - based t racking will beco me t he main t racking technique for AR. The vision - based t racking , vision - inertial based t racking app roaches and so me p roblems are discussed in detail . Tracking for out door AR is discussed specially.
综述与评论
计算机测量与控制. 2006. 14 (11) Computer Measurement & Control
文章编号 :1671 4598 (2006) 11 1431 04 中图分类号 : TP391 文献标识码 : A
·1431 ·
增强现实中的跟踪技术
康 波
(电子科技大学 自动化工程学院 , 四川 成都 510054)
摘要 : 增强现实是一种正在发展的新技术 , 它将由计算机产生的虚拟场景或信息准确叠加到真实环境中 , 可以增强用户对真实世界 的感知与交互能力 ; 对用户视场及视点的跟踪是增强现实中实现虚 、实场景配准的关键技术之一 ; 通过对增强现实中跟踪技术性能要求 的讨论 , 介绍了基于磁场 、声学 、惯性 、光学传感等多种跟踪技术 , 分析了各种方法的跟踪性能与局限性 , 认为以基于视觉跟踪为主的 混合跟踪技术将是增强现实系统的主流跟踪技术 , 重点论述了基于视觉的跟踪与基于视觉 - 惯性的混合跟踪技术及其有待解决的问题 , 并针对户外增强现实中的跟踪技术做了专门讨论 。
·1432 ·
计算机测量与控制
第 14 卷
对于增强现实而言 , 虚拟场景是对真实环境的一个补充 , 虚 、 实场景必须在用户的视场中协调一致 , 即便是很小的配准误差 也很容易被用户的视觉系统所察觉 。因此 , 增强现实对跟踪系 统的准确性要求比虚拟现实高得多 。由于 AR 的应用必须置身 于真实的环境中 , 其跟踪范围及环境的不确定性也都比虚拟现 实大得多 。考虑到增强现实的具体应用特性 , 综合文献 [ 5 , 7 , 10 ] 中的一些观点 , 我们认为 , 增强现实中跟踪系统一般 应满足以下要求 :
收稿日期 :2006 02 10 ; 修回日期 :2006 03 12 。 作者简介 : 康波 (1968 ) ,男 ,重庆市人 ,副教授 ,博士 ,主要从事增 强现实与移动计算 、测试技术与优化计算等方向的研究 。
中的位置与朝向等相关信息 , 从而为虚拟场景的配准提供依 据 。这种位置与朝向信息的获取就是跟踪系统要完成的任务 。 跟踪技术作为 AR 的关键技术之一 , 一直就受到学术界的广泛 重视与研究 , 如美国北卡大学的图形图像 实 验 室[5 - 6] 与 In2 terSense 公司[7 - 9] 等的相关研究 。尽管目前有多种跟踪方法被 用于 AR 研究中 , 但由于 AR 对跟踪技术要求的复杂性 , 迄今 为止还没有任何一种单一的方法能较好地解决跟踪中的所有问 题。
1 增强现实对跟踪技术的要求
增强现实与虚拟现实都需要跟踪技术 。所谓跟踪 , 一般来 讲 , 主要就是对用户视场与视点的跟踪 , 即确定当前视场中的 目标物及用户视点的位置和朝向 , 有时也包含交互操作所涉及 的动作跟踪 。尽管增强现实中的显示方式可以多种形式 , 但最 普遍的还是透视型 (包括光学透视型与视频透视型) 头戴显示 器 。因此 , 我们主要针对基于头戴显示器的增强现实系统讨论 其跟踪技术 。
对于虚拟现实系统 , 用户所看见的环境是一个完全虚拟的 环境 , 一般只需要知道用户头部的近似位置与朝向即可 Βιβλιοθήκη Baidu 由于 人的视觉优先特性 , 小的偏差在虚拟现实中是不易被察觉的 。
中华测控网 chinamca. co m
© 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
(1) 准确性 : 对位置的检测应精确到毫米级 , 一般为 1～ 2 mm ; 而对朝向 (特别是用户头部朝向) 的检测应精确到分 数度 , 一般为 01 1°。超出上述范围的检测误差均会让用户明显 地觉察到 。
(2) 快速性 : 检测系统及图像处理与生成系统的综合响应 延迟时间尽可能短 , 跟踪系统应具备足够高的刷新率 。延迟时 间的存在是引起系统动态配准误差的一个主要原因 。对响应延 迟时间的要求与系统中用户及场景的移动速度有关 , 特别是与 用户头部的俯仰 、偏转速度直接相关 , 对理想的 AR 系统 , 其 延迟时间最好低于 1 ms , 这在目前还很难实现 。如果用户头 部不是经常快速偏转 , 一般在 10 ms 以内还是可以接受的 。刷 新率是指跟踪系统每秒的有效测量次数 , 以衡量跟踪数据的实 时性 , 一般不应低于 30 Hz 。
Key words : augmented realit y ; t racking ; co mp uter vision ; sensor
0 引言
增强现实 ( Augmented Reality , 简称 A R) 是近 10 余年 来在虚拟现实 (Virt ual Reality , 即 V R) 的基础上发展起来的 一种新的计算机应用与人机交互技术 。与 VR 用户完全 “沉 浸”在由计算机产生的虚拟环境中的情况不同 , 在 AR 中 , 既 有虚拟场景 , 也有真实的环境 , 是将虚拟场景或信息准确叠加 在真实环境中 , 构成一个虚 、实统一的联合体 。因此 , 增强现 实比虚拟现实更具挑战性 , 并具有更广泛的应用前景 , 同时也 吸引着相关领域的众多学者的研究兴趣 , 其中 , 以美国一些著 名高校 (如哥伦比亚大学 、MIT 等) 及企业或军方的研究机 构 (如波音 、海军研究室等) 为主 , 包括德国 、奥地利 、加拿 大 、日本等国的部分研究机构 , 均在 AR 的相关研究方面做了 卓有成效的工作 , 并实现了各自的 AR 实验原型系统[1 - 2] 。在 我国 , AR 技术的研究相对较少 , 其中 , 北京理工大学在 A R 的三维虚实配准技术方面做了部分较为深入的研究[3 - 4 ] 。
磁传感跟踪通过对磁场相关参数进行测量来确定被测目标 的位置或朝向 。用于位置跟踪磁传感系统一般由控制部件 、磁 场发射器和接收器组成 。发射器与接收器均由 3 个相互垂直 (正交) 的电磁感应线圈组成[11] 。发射器通过电磁感应线圈产 生磁场 , 接收器接收到磁场 , 并在感应线圈上产生相应的电 流 。根据接收到的电流信号 , 控制部件通过相关计算 , 可得到 跟踪目标相对于接收器的位置和朝向 , 在 AR 应用中通常为用 户头部的 6 DO F 参数 。
尽管 10 余年来 AR 研究取得了不小进展 , 但整体来说 , 目前的研究都还处在实验室阶段 , 还没有真正实用化的 AR 应 用系统 , 因为 AR 研究中尚存在不少有待解决的关键技术 , 比 如显示 、跟踪与配准 、人机交互技术等 , 这也是目前 AR 研究 的一 些 重 点 方 向 。在 这 些 关 键 技 术 中 , 虚 、实 场 景 的 配 准 ( Regist ratio n) 一直是一个至关重要的技术难点 。要进行虚 、 实配准 , 就必须获取真实环境中的某些参照物在用户当前视场
(4) 鲁棒性 : 鲁棒性是指一个跟踪系统在外部环境变化的 情况下维持其原有性能的能力 。增强现实中跟踪系统处在一个 实际的物理世界中 , 其环境变化包括光线 、声音 、温度 、磁场 、 电磁波的变化等等 , 因此 , 跟踪系统须具备较好的鲁棒性 。
此外 , 从实用性考虑 , 还要求跟踪系统稳定可靠 、集成度 高 、小巧轻便 、定标方便 , 最好一个跟踪器能完成所有 6 个自 由度 (6DO F) 的跟踪 , 具备可穿戴或可移动性 。
磁传感跟踪技术的优点在于它不受视线和障碍物 (除导电 或导磁体外) 的限制 , 鲁棒性好 , 轻便 , 价格便宜 , 在虚拟现 实中使用较多 。但是 , 磁跟踪器在遇到金属导体或其它磁场干 扰时 , 容易产生失真 , 从而影响其精度 , 其跟踪范围也十分有 限 , 在 AR 系统中 , 通常要与其它跟踪技术 (如光学跟踪) 结 合使用[12 ] 。 21 2 声学跟踪技术
Tracking Technology f or Augmented Reality
Kang Bo ( School of Automation Engineering , University of Elect ronic Science and Technology , Chengdu 610054 , China)
本文从增强现实对跟踪技术的要求出发 , 通过对当前几种 主要跟踪技术进行分析 、比较 , 并结合我们在 AR 研究方面的 体会 , 认为 AR 跟踪技术将以基于计算机视觉的跟踪为主 , 再 辅以其他的跟踪方法 , 即采用混合跟踪技术 , 其中最具发展潜 力的是基于视觉 - 惯性的跟踪系统 , 论文对此进行了讨论 , 提 出了有待解决的问题 , 以便为 AR 研究 , 特别是为跟踪技术的 研究提供必要的参考 。
对于以上要求 , 迄今为止 , 还没有一种较为完善的解决方 案 。任何一种现有的单一跟踪技术都难以满足上述所有要求 。
2 增强现实中的主要跟踪技术
在虚拟现实及运动跟踪中 , 常用的跟踪技术包括机械式 、 磁传感 、电磁波 、声学 、惯性 、光学等多种检测方法[10] , 这些 方法原则上都可以用于增强现实的跟踪系统 , 但并不理想 , 特 别是机械联接传感技术对用户的 “动作范围”有很严格的限制 , 一般不适合 AR 应用 。以下主要就目前在 AR 跟踪系统中用得 较多的磁场 、声学 、惯性 、光学跟踪技术作一些简单讨论 。 21 1 磁传感跟踪技术
(3) 跟踪范围 : 虚拟现实中用户完全置身于虚拟环境中 , 一般不要求有较大的跟踪范围 。而增强现实中 , 是以实际的物 理环境为主 , 同时将虚拟物体与物理环境 “联”在一起 , 用户 如果要与增强环境中目标进行交互 , 一般需要较大范围的动作 或移动 。所以 , 在增强现实的应用中 , 对跟踪范围有更高的要 求 , 以能支持移动中的用户 。
Abstract : Augmented realit y ( AR) is an emerging new technology t hat can superimpo se virt ual scene or information over t he real world. It has t he potential to enhance a user’s perception and his interaction wit h t he real world. Tracking for user’s field of view and view2 point in augmented realit y is a crucial technology for regist ration. This paper present s t he t racking requirement s for AR , int roduces so me main t racking app roaches such as magnetic , acoustic , inertial , optical t racker and so on , analyses t heir performance and disadvantages. We t hink t hat hybrid vision - based t racking will beco me t he main t racking technique for AR. The vision - based t racking , vision - inertial based t racking app roaches and so me p roblems are discussed in detail . Tracking for out door AR is discussed specially.
综述与评论
计算机测量与控制. 2006. 14 (11) Computer Measurement & Control
文章编号 :1671 4598 (2006) 11 1431 04 中图分类号 : TP391 文献标识码 : A
·1431 ·
增强现实中的跟踪技术
康 波
(电子科技大学 自动化工程学院 , 四川 成都 510054)
摘要 : 增强现实是一种正在发展的新技术 , 它将由计算机产生的虚拟场景或信息准确叠加到真实环境中 , 可以增强用户对真实世界 的感知与交互能力 ; 对用户视场及视点的跟踪是增强现实中实现虚 、实场景配准的关键技术之一 ; 通过对增强现实中跟踪技术性能要求 的讨论 , 介绍了基于磁场 、声学 、惯性 、光学传感等多种跟踪技术 , 分析了各种方法的跟踪性能与局限性 , 认为以基于视觉跟踪为主的 混合跟踪技术将是增强现实系统的主流跟踪技术 , 重点论述了基于视觉的跟踪与基于视觉 - 惯性的混合跟踪技术及其有待解决的问题 , 并针对户外增强现实中的跟踪技术做了专门讨论 。
·1432 ·
计算机测量与控制
第 14 卷
对于增强现实而言 , 虚拟场景是对真实环境的一个补充 , 虚 、 实场景必须在用户的视场中协调一致 , 即便是很小的配准误差 也很容易被用户的视觉系统所察觉 。因此 , 增强现实对跟踪系 统的准确性要求比虚拟现实高得多 。由于 AR 的应用必须置身 于真实的环境中 , 其跟踪范围及环境的不确定性也都比虚拟现 实大得多 。考虑到增强现实的具体应用特性 , 综合文献 [ 5 , 7 , 10 ] 中的一些观点 , 我们认为 , 增强现实中跟踪系统一般 应满足以下要求 :
收稿日期 :2006 02 10 ; 修回日期 :2006 03 12 。 作者简介 : 康波 (1968 ) ,男 ,重庆市人 ,副教授 ,博士 ,主要从事增 强现实与移动计算 、测试技术与优化计算等方向的研究 。
中的位置与朝向等相关信息 , 从而为虚拟场景的配准提供依 据 。这种位置与朝向信息的获取就是跟踪系统要完成的任务 。 跟踪技术作为 AR 的关键技术之一 , 一直就受到学术界的广泛 重视与研究 , 如美国北卡大学的图形图像 实 验 室[5 - 6] 与 In2 terSense 公司[7 - 9] 等的相关研究 。尽管目前有多种跟踪方法被 用于 AR 研究中 , 但由于 AR 对跟踪技术要求的复杂性 , 迄今 为止还没有任何一种单一的方法能较好地解决跟踪中的所有问 题。
1 增强现实对跟踪技术的要求
增强现实与虚拟现实都需要跟踪技术 。所谓跟踪 , 一般来 讲 , 主要就是对用户视场与视点的跟踪 , 即确定当前视场中的 目标物及用户视点的位置和朝向 , 有时也包含交互操作所涉及 的动作跟踪 。尽管增强现实中的显示方式可以多种形式 , 但最 普遍的还是透视型 (包括光学透视型与视频透视型) 头戴显示 器 。因此 , 我们主要针对基于头戴显示器的增强现实系统讨论 其跟踪技术 。
对于虚拟现实系统 , 用户所看见的环境是一个完全虚拟的 环境 , 一般只需要知道用户头部的近似位置与朝向即可 Βιβλιοθήκη Baidu 由于 人的视觉优先特性 , 小的偏差在虚拟现实中是不易被察觉的 。
中华测控网 chinamca. co m
© 1994-2007 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
(1) 准确性 : 对位置的检测应精确到毫米级 , 一般为 1～ 2 mm ; 而对朝向 (特别是用户头部朝向) 的检测应精确到分 数度 , 一般为 01 1°。超出上述范围的检测误差均会让用户明显 地觉察到 。
(2) 快速性 : 检测系统及图像处理与生成系统的综合响应 延迟时间尽可能短 , 跟踪系统应具备足够高的刷新率 。延迟时 间的存在是引起系统动态配准误差的一个主要原因 。对响应延 迟时间的要求与系统中用户及场景的移动速度有关 , 特别是与 用户头部的俯仰 、偏转速度直接相关 , 对理想的 AR 系统 , 其 延迟时间最好低于 1 ms , 这在目前还很难实现 。如果用户头 部不是经常快速偏转 , 一般在 10 ms 以内还是可以接受的 。刷 新率是指跟踪系统每秒的有效测量次数 , 以衡量跟踪数据的实 时性 , 一般不应低于 30 Hz 。
Key words : augmented realit y ; t racking ; co mp uter vision ; sensor
0 引言
增强现实 ( Augmented Reality , 简称 A R) 是近 10 余年 来在虚拟现实 (Virt ual Reality , 即 V R) 的基础上发展起来的 一种新的计算机应用与人机交互技术 。与 VR 用户完全 “沉 浸”在由计算机产生的虚拟环境中的情况不同 , 在 AR 中 , 既 有虚拟场景 , 也有真实的环境 , 是将虚拟场景或信息准确叠加 在真实环境中 , 构成一个虚 、实统一的联合体 。因此 , 增强现 实比虚拟现实更具挑战性 , 并具有更广泛的应用前景 , 同时也 吸引着相关领域的众多学者的研究兴趣 , 其中 , 以美国一些著 名高校 (如哥伦比亚大学 、MIT 等) 及企业或军方的研究机 构 (如波音 、海军研究室等) 为主 , 包括德国 、奥地利 、加拿 大 、日本等国的部分研究机构 , 均在 AR 的相关研究方面做了 卓有成效的工作 , 并实现了各自的 AR 实验原型系统[1 - 2] 。在 我国 , AR 技术的研究相对较少 , 其中 , 北京理工大学在 A R 的三维虚实配准技术方面做了部分较为深入的研究[3 - 4 ] 。
磁传感跟踪通过对磁场相关参数进行测量来确定被测目标 的位置或朝向 。用于位置跟踪磁传感系统一般由控制部件 、磁 场发射器和接收器组成 。发射器与接收器均由 3 个相互垂直 (正交) 的电磁感应线圈组成[11] 。发射器通过电磁感应线圈产 生磁场 , 接收器接收到磁场 , 并在感应线圈上产生相应的电 流 。根据接收到的电流信号 , 控制部件通过相关计算 , 可得到 跟踪目标相对于接收器的位置和朝向 , 在 AR 应用中通常为用 户头部的 6 DO F 参数 。
尽管 10 余年来 AR 研究取得了不小进展 , 但整体来说 , 目前的研究都还处在实验室阶段 , 还没有真正实用化的 AR 应 用系统 , 因为 AR 研究中尚存在不少有待解决的关键技术 , 比 如显示 、跟踪与配准 、人机交互技术等 , 这也是目前 AR 研究 的一 些 重 点 方 向 。在 这 些 关 键 技 术 中 , 虚 、实 场 景 的 配 准 ( Regist ratio n) 一直是一个至关重要的技术难点 。要进行虚 、 实配准 , 就必须获取真实环境中的某些参照物在用户当前视场
(4) 鲁棒性 : 鲁棒性是指一个跟踪系统在外部环境变化的 情况下维持其原有性能的能力 。增强现实中跟踪系统处在一个 实际的物理世界中 , 其环境变化包括光线 、声音 、温度 、磁场 、 电磁波的变化等等 , 因此 , 跟踪系统须具备较好的鲁棒性 。
此外 , 从实用性考虑 , 还要求跟踪系统稳定可靠 、集成度 高 、小巧轻便 、定标方便 , 最好一个跟踪器能完成所有 6 个自 由度 (6DO F) 的跟踪 , 具备可穿戴或可移动性 。
磁传感跟踪技术的优点在于它不受视线和障碍物 (除导电 或导磁体外) 的限制 , 鲁棒性好 , 轻便 , 价格便宜 , 在虚拟现 实中使用较多 。但是 , 磁跟踪器在遇到金属导体或其它磁场干 扰时 , 容易产生失真 , 从而影响其精度 , 其跟踪范围也十分有 限 , 在 AR 系统中 , 通常要与其它跟踪技术 (如光学跟踪) 结 合使用[12 ] 。 21 2 声学跟踪技术