增强现实技术(第一章)

1.1 增强现实简介
增强现实与虚拟现实的区别与联系
➢ 虚拟现实 (VirtualReality，简称VR)，也称虚拟实境或灵 境，是一种可以创建和体验虚拟世界的计算机系统，它 利用计算机技术生成一个逼真的、具有视、听、触等多 种感知的虚拟环境，用户通过使用各种交互设备，同虚 拟环境中的实体相互作用，使之产生身临其境感觉的交 互式视景仿真和信息交流。
➢ 2008年，浙江大学陈成钱等人以投影仪为显示设备，以 红外摄像机为光学传感器，设计出基于投影仪、红外摄 像机的多点触控系统，采用手、手指、其他物体投影在 桌面的信息进行交互。
内容安排
第六章 动作交互与多媒体控制
6.1 键盘鼠标输入 6.2 动作传感器输入 6.3 图像分析与动作识别 6.4 三维动画生成 6.5 碰撞检测与同步 6.6 视频文件的渲染与控制 6.7 虚实动作的分层融合 6.8 音频文件的渲染与控制
内容安排
第七章 原型系统
7.1 空客A380增强现实发布会 7.2 新娱乐活动增强现实体验
考核方式
课时分配 总课时32：上课26学时，上机4学时
平时成绩：40% 期末考试：60%
主要参考教材
《X3D增强现实技术：第二代三维立体网络动画游戏设计》，张金 钊著，北京邮电大学出版社，2012-05
《增强现实环境下基于手势的自然交互》，孙超,浙江大学博士学 位论文，2010年7月
《增强现实系统虚实无缝融合相关问题研究》，丰艳，上海大学博 士学位论文，2007.3
➢ 动态注册误差是造成增强现实系统注册误差的主要来源 ，也是限制增强现实系统实现广泛应用的主要因素。
1.1 增强现实简介
虚实融合技术
➢ 虚实融合技术包括跟踪定位过程中对虚实环境进行准确 的配准，实现虚拟物体与真实物体之间的遮挡、阴影和 光照一致性，同时支持自然的交互。它们需要依靠软件 系统实现。
➢ 在AR的应用中，为了真实模拟出客观世界中三维物体对 虚拟物体的遮挡关系，必须比较虚拟物体与真实物体的 深度信息。
1.1 增强现实简介
➢ 用于跟踪定位技术的硬件系统和设备主要包括:全球卫星 定位系统(GPs)和 DeadReckoning技术、超声波定位 仪、惯性导航装置、螺旋测度仪、测距仪、光学系统、 磁跟踪器、机械装置。
➢ 基于视觉的跟踪注册技术即是从真实环境中获取一幅或 者多幅图像，然后标定摄像机与目标间的相对位置和方 向。
内容安排
第三章 图像的采集与预处理
3.1 摄像机图像实时采集 3.2 图像的预处理 3.3 图像的实时显示
内容安排
第四章 图像的实时显示
4.1 简单三维模型绘制 4.2 复杂三维模型绘制与加载 4.3 三维模型的渲染
内容安排
第五章 三维注册与虚实融合 5.1 通用相机模型 5.2 透视投影原理 5.3 图像的标识识别 5.4 像平面间的变换 5.5 三维空间坐标变换 5.6 虚拟场景与真实场景的配准 5.7 虚实融合
➢ 一般增强现实的显示技术分为以下五类:头盔显示器、投 影式 (Projeet Display)显示技术，手持式(Hand Held Display)显示器，普通液晶显示器、3D电视机。
➢ 跟踪定位系统必须能够实时地检测观察者在场景中的位 置、视域的方向，甚至是运动的情况，以便用来帮助系 统决定显示何种虚拟物体，并按照观察者的视场重建坐 标系。在AR应用中，通常使用两类跟踪和定位技术，一 种是基于硬件设备的跟踪定位技术，一种是基于机器视 觉的跟踪定位技术。
➢ 2009年，Abbate等人提出一种耐用的实时人体动作捕 捉系统的架构。将智能惯性测量传感器单元分布于人体 关键部位上，设定一个单片机收集来自传感器的数据， 采用卡尔曼滤波方法实现定位。
➢ 2009年，Lu等人采用基于图形处理器(GPU)实时计算方 法，利用从捕获的立体影像中获取信息来确定物体在真 实场景中的深度，来设定虚拟物体与真实物体之间的相 互位置。
➢ 从运动摄像机拍摄到的序列图像或者是从拍摄到的运动 目标序列图像进行跟踪。通过运动目标的序列图像来研 究运动目标的运动特征。首先要利用序列图像来估计目 标的运动参数和确定目标的结构，即通过对序列图像的 处理，然后在具有系统噪声和测量噪声的情况下，从统 计的意义上对运动目标参数做出精确的估计。
1.1 增强现实简介
➢ 虚实结合的特点是指虚拟物体与真实世界的结合，即使 用户所感知的混合世界里，虚拟物体出现的时间或位置 与其真实世界对应事物相一致和协调。同时，系统能根 据用户当前的位置或状态即时调用与之相关的虚拟世界 ，并即时将该虚拟世界与真实世界结合，真实与虚拟之 间的相互作用或影响是实时完成的，比如视线上的相互 阻挡，形状上的相互挤压等等。
➢ AR应用系统常使用以下3种方式实现用户与系统之间的 交互: 姿态命令、传感器、特制工具。
➢ 姿态命令: AR中的命令是通过运用人工智能中的机器学 习和模式识别技术来完成的。如使用手势识别等。
➢ 传感器：X-box、扇形传感器
➢ 特制工具: 提供特制工具与虚拟物体交互。
1.1 增强现实简介
➢ 增强现实系统的特点：虚实结合、实时交互、三维注册
➢ 将真实世界和计算机生成的虚拟世界无缝融合在一起。
➢ 理想的增强现实系统不仅提供实时的、逼真的、高解像 度的3D场景，而且需要有一套复杂跟踪定位设备和交互 感应设备，以此来实现人与虚拟环境的无缝融合，并使 人通过最自然的操作与虚拟世界中的三维物体进行实时 交互。
➢ 增强现实技术可以将不可抵达现场的真实世界或者存在 于人们想象中的虚拟世界用三维动画模拟的方式生动形 象地展现在现场的人们面前。
➢ 法国增强现实技术供应商Total Immersion已经研发出一 款增强现实软件DFusion，用于高端影视后期、独立的图 像处理的特效合成。
1.2 增强现实发展动态
➢ 2006年，北京理工大学王涌天教授等人采用带位置追踪 器的可穿戴式增强现实系统实现了圆明园增强现实展示 ；随后，陈靖、王涌天等人提出了一种基于自然特征点 的实时跟踪注册算法，在已知场景中的3D模型以及少量 已标定关键帧图像的基础上，选择与当前图像最为匹配 的关键帧，利用基于关键帧的图像匹配方法实时获取摄 像机的运动参数估计。
1.1 增强现实简介
➢ 由于要实现虚拟和现实物体的完美结合，必须将虚拟物 体合并到现实世界中的准确位置，这个过程称为注册 (registration) 。
➢ 衡量AR系统性能以及影响其实用性的关键指标是三维跟 踪注册精度。
➢ 目前的注册误差可以分成两大类:静态注册误差、动态注 册误差。静态注册误差是当用户的视点和真实环境中的 物体均保持静止时才会产生。动态注册误差则只有当用 户的视点或者物体运动时才会产生的。
➢ 三维注册要求对合成到真实场景中的虚拟信息和物体准 确定位并进行真实感实时绘制，使虚拟物体在合成场景 具有真实的存在感和位置感。
1.2 增强现实发展动态
➢ AR技术始于二十世纪六十年代，美国哈佛大学 Ivan Sutherland教授发明了光学透明头盔显示器(see一 throughHead一 Mounted Display，简称STHMD)显示 计算机生成的3D图形。
1.1 增强现实简介
基于视觉跟踪的方法大体上可以分为以下四类:
➢ 己知单幅图像中的六个或者六个以上的匹配点进行跟踪 ，目前大多数研究者采用这种算法。这类视觉跟踪的方 法使用相机标定的技术，利用单幅图像中己知点的三维 空间位置与它们在图像平面坐标系中的成像坐标实现跟 踪注册。这些已知点是物体的特征点:如拐点、孔洞、放 置的标志点。
➢ 国内研究AR系统的单位有北京理工大学、浙江大学、北 京航空航天大学、中国科学院计算机研究所、国防科技 大学、电子科技大学、华中科技大学、上海大学等。
1.2 增强现实发展动态
➢ 2006年，Andel Miroslavl等人基于带摄像头的手机，开 发了一个基于移动电话的交互式面对面的增强现实软件 。用户可以手持手机，走在未装修的房间里，可以体验 手机屏幕上展现的虚拟装修效果。该软件系统通过手机 摄像头对房间关键点图像识别，渲染虚拟装修效果，让 用户体验所见即所得。
➢ 图像的模板匹配。使用模板匹配的方法从不同视点提取 真实环境的图像用作模板寻找真实环境的数字化图像， 一旦找到虚拟物体就被叠加到真实环境。
➢ 三视图和多视图的跟踪技术。由多部摄像机从真实环境 的各个角度提取标识物的图像，通过应用Harris角点检测 或SIFT特征点匹配等算法提取图像特征点，计算场景中真 实物体的深度信息，确定虚拟物体与真实环境的遮挡关 系后显示虚实结合的场景图像，使真实场景与虚拟物体 实现更加自然的时空范围中的融合，使用户可以与虚拟 物体自由交互。
增强现实技术
王辉柏 (010) 88801680 wanghb@
内容安排
第一章 增强现实技术简介
1.1 增强现实发展背景 1.2 增强现实技术简介 1.3 增强现实发展动态
内容安排
第二章 基于视觉的增强现实系统框架 2.1 系统框架 2.2 系统的模块介绍 2.3 图像采集与处理模块 2.4 三维模型绘制模块 2.5 标识识别模块 2.6 三维注册模块 2.7 深度检测模块 2.8 虚实融合模块 2.9 动作交互模块
➢ 2007年，Reifinger等人提出了一种基于红外跟踪系统的 自动区分静态和动态手势识别方法。红外目标安装在用 户的拇指和食指上，系统捕获到信息后，通过距离分类 器提取静态手势，通过统计模型提取动态手势。采用此 种手势识别方法完成任务要快于键盘、鼠标，但是手部 舒适性稍差。
1.2 增强现实发展动态
1.2 增强现实发展动态
➢ 20世纪90年代末，AR领域的研究者们开始集会在一系列 每年召开的和增强现实相关的国际研讨会和工作会议上 ，其中包括国际增强现实工作会议(IWAR)、国际增强现 实研讨会(ISAR)和国际混合与增强现实会议(IsMAR)等， 这些会议很大程度上促进了AR研究的发展。