基于混合现实的3D实时交互系统

基于混合现实的3D实时交互系统

摘要

本文中描述了一种基于增强现实的实时3D视频会议系统，通过这项技术，使用者以

自己的视角观察被编辑过的真实世界，它将身在偏远的地方的合作者呈现到现场中。我

们通过估计相机和基准标记间的3D转换来将合作者的形象注册到世界中。我们描述了一

种新的从轮廓中获取形状的算法。这种算法能以每秒30帧的速度生成合作者的影响和相

关的深度图。当这种虚拟的视觉被添加在真实的景观上时，它将给人一种强烈的印象：

合作者就是重建场景的一部分。我们也证明了真实的合作者与虚拟场景的交互。最后，

我们考虑了应用有型的AR接口实现真实世界中的使用者和虚拟空间中的合作者的交互。

关键字：视频会议、增强现实、基于图像的渲染、轮廓中提取形状、互动

一、导言

科幻小说已经预示了许多巨大在计算和通信领域的巨大进步。在2001年，一个太空

奥德赛，弗洛伊德博士使用可视电话与家人通话。这是一个早期的屏幕可视的2D视频会议。这项技术是现在已是司空见惯。最近，在电影星球大战中描述了3-D全息沟通。在

本文中，我们也许是第一个应用计算机图形学创造了全息电话。

现有的会议技术有着很大的局限性。只有音频的会议在在对话中失去了重要的视觉

线索，这导致了干扰和重叠的增加 [8]，对话者间消除歧义和互动的困难。[14] 传统的2

维视频会议改善事宜，但众多的用户动作和手势不能被捕获[13]，参与者之间没有空间的线索而且参与者之间不能进行眼神的交流。参与者只有在屏幕前才能被看到，而且参与

人数也是被显示器的分辨率限制的。这些限制破坏通信保真度[34]，和交流的流畅性[10]，并增加干扰和重叠[11]。配套的虚拟环境提供了面对面交谈[4]的共同空间的线索，只是

把使用者从真实世界中分离出来。此外，非语言沟通使用传统的化身很难传达，这导致

存在感的降低。

我们定义了完美的视频化身致使使用者不能区分屏幕中的是真实的人在还是一个远

程的合作者。也许与完美的远程展示最接近的目标就是未来办公室的工作。[27] Ogi et al 的虚拟的视频化身Mulligan和Daniilidis的工作[23][24].。所有系统都应用了多个相机去

重建一个参与者的几何模型。所有的系统使用多个摄像机来构建一个参与者的几何模型,

然后使用该模型为远程的合作者生成适当的视图。尽管令人印象深刻,这些系统目前不生

成整个3 D模型——不能在虚拟化身周围进行360度移动。此外,由于这些系统的输出是

以投影屏幕为媒介的其显示是不可移植的。

本文的目标是通过引入增强现实的视频会议系统，提供一个这些问题的解决方案。

增强现实技术是指在真实场景中实时的插入由计算机生成的3D内容。见[2],[3]。通常，

使用者通过一个前方装有摄像头的头盔显示器来观察世界。视频实时的捕获，修改和传送到观察者的视野中。实质上，我们创造了一个活生生的化身并且通过AR技术来将他显示到真实的世界中。(见图1) 除了创建一个极具吸引力的存在感,这种设施广泛应用于在论文的第一部分,我们回顾以前的工作在基于“增强现实”会议。会议和协作应用程序的范围。支持技术的系统是一个新颖方法在可以实时交互速度下生成任意视图的合作者。在第二部分中,我们描述了算法和证明它在实时沟通应用程序的竞争技术中的一些优势。在论文的第三部分,我们介绍了一些其他我们的技术可以适合的应用场合。这些包括可视化的合作者在虚拟的空间中,和一个新颖方法用户在现实空间与虚拟的合作者,使用有形的用户界面技术。

图1观察者通过前方装有摄像头的头盔显示器观察世界我们的系统探测环境中的标记并且在上面加上了一个实时的生动的视频组件，并且其内容可以随着观察者的观察方向调整。

二、现有技术

Billinghrst 和佐藤第一次探索到AR是如何能被用来支持远程合作和提供视频和非语音交流的工具. 用户佩戴一个轻量级的HMD就可以看到单一的远程用户以一个真实大小的现场虚拟视频窗口出现在真实卡片上.整体效果就是与会者出现在预计的本地用户的真实工作场所.

因为卡片是远程参与者的物理表示,我们的合作接口能作为看作为Ishii的有形接口比喻的变种[Ishii97]。用户能安排卡片的空间来创造一个虚拟空间上的会议空间，卡片也是足够小的，足以被轻便的携带，保证了产品的可移植性。用户可以不再被要求呆在桌面而且可以说能在任何地点开会。所以远程的与会者变成了任何世界中环境的一部分，潜在上能达到身临其境的感觉。

AR会议接口和传统桌面视频会议有许多别的明显差别。远程用户可以显示为一个真人大小的图像并且可以立刻被显示为一个潜在的任意数量的远程用户。摘要虚拟视频窗口可以恢复协作。最后,远程用户的形象完全就是真正的虚拟相机放置在用户的眼睛里自然观察到的东西。

在用户研究中对比了AR会议和传统的音频和视频会议的主题显示出远程用户在AR

会议条件较高的存在感，这是一个容易察觉到非言语交际线索[6]。确实，引人注目的自

然AR会议依靠视频会议的条件充分展示了一个用户在接近显示器，并在AR条件给虚拟

合作者建立面对面的谈话。

最近的工作[7]提出一个AR会议界面，支持多个远程用户和应用的alpha映射技术，从背景中提取远程用户的视频并且创造一个更自然的图像（见图2）。在这个接口用户与用户研究中认为，提供更多的合作存在的AR条件和提高参与者之间的对话的理解。

三、3 – D实时增强现实

3.1概述

在本文中，我们旨在在视觉场景插入远程合作者得实时图像（见图1和图2）。当观察员移动他的头，这个合作者视角可以适当的变化。空间中存在的结果可以得到一个关

于远程合作者的稳定的三位感官体验。

为了实现这一目标，我们要求：（一）头戴式摄像头，（二）现场的位置估计，（三）在当的合作者的观点是渲染成的场景，可能采取的闭塞帐户。我们依次考虑这些

问题。

头盔摄像机位姿估计

一个大洋VisorCY-DH-4400VP头盔显示器（HMD）提出相同的640×480像素的图

像和两只眼睛被视为通过现场。一个PremaCam SCM系列彩色安全摄像机连接到本HMD 前面。它能在640x480分辨率捕获每秒25张图像。

我们聘请的加藤和Billinhurst的标记跟踪方法[18]。我们简化的姿势插入的2-D进入

现场的黑色和白色的基准标记的估计问题，虚拟的内容与每个标记。

由于这些标记的形状和图案，据说很容易找到这些标记，计算它们相对位置的相机。

总之，摄像机图像阈值化和连续的暗区使用连通分量算法确定。轮廓寻求技术确定

这些地区的轮廓。不完全包含四个角落被丢弃的轮廓。我们估计，拟合直线的角落位置

和每边的交点决定。一个射影变换用于映射标准形状封闭区域。然后交叉与存储模式唯

一建立在一个校准相机的图像，标记的身份和定位标记角落的图像位置以标志和方向确

定三维位置。此信息表示为欧氏变换矩阵与摄像机的标记协调制度，并用于呈现相应的

视图进入现场的虚拟内容。增强现实标记跟踪和校准软件 [35]。