一种基于多边形柱面全景图的虚拟漫游新方法

一种基于多边形柱面全景图的虚拟漫游新方法

王海颍;秦开怀

【摘要】提出了一种基于图像绘制的多边形柱面全景图的虚拟漫游方法.利用普通的手持相机在一个多边形区域内沿某一路径拍摄并拼接多幅全景图,通过基于SIFT 的特征点检测来计算深度,用狭缝图像插值来实现整个区域内的平滑漫游.该方法具有采样简单、虚拟场景真实感强,支持连续大范围漫游的特点.%A new method of virtual walkthrough using image-based rendering with polygonal panoramic mosaics is presented. First, we take pictures and get multiple panoramas with ordinary handhold camera along a route or in a square region. Second, we use SIFT feather points detection to get slim images with depth which can be used in interpolation for the rendering of new view point. The algorithm proposed in this method is very efficient for virtual walkthrough in the large outdoor scene. The construction and rendering process with multiple panoramas is easy to implement and the data capturing is simple without expensive equipments.

【期刊名称】《图学学报》

【年(卷),期】2012(033)001

【总页数】7页(P56-62)

【关键词】虚拟漫游;基于图像的绘制;全景图;狭缝图像

【作者】王海颍;秦开怀

【作者单位】中国电子信息产业发展研究院,北京100048;清华大学计算机系,北京100084

【正文语种】中文

【中图分类】TP391.4

随着三维图形图像的绘制(Image-Based Rendering, IBR)技术的发展，虚拟现实(Virtual Reality, VR)技术已经被越来越广泛地应用，它可以用于虚拟旅游和娱乐，例如著名旅游景点和博物馆的虚拟游览；也可以用于虚拟训练，例如飞机和车辆驾驶，以及虚拟战场仿真等；另外还可以用于医疗领域和虚拟建筑漫游，等等。基于图像的绘制是指利用一组预先得到的真实图像进行适当的处理或组合，完成复杂三维场景的真实再现[1]。由于基于图像的虚拟现实系统具有场景逼真、交互方便、

无需特殊硬件等优点，因此具有广阔的应用前景。

目前，随着基于图像的虚拟现实技术研究的不断深入，已经出现了一些相关的软件系统，其中最有代表性的是Apple公司的QuickTime VR系统[2]，它采用环幕电影映像和全景图完成摄像机的旋转，并实现了一个全景开发环境，但是漫游显示只限于绕固定位置（视点）的俯、仰和水平旋转。同心拼图[3]通过以同心圆切线方

向的数据组织将无遮挡同心圆区域的光流场简化为3D。全光拼图[4]可以看做是同心拼图的推广，它在一个没有障碍物的空间用全方位摄像机沿着构成规则网格的路径进行图像捕获，然后通过网络上前、后两个摄像机捕获到的参考图像来生成网格内新视点下的图像，这些方法都需要比较复杂的设备条件并有一定的场景限制。

本文提出一种新的多边形柱面全景图漫游方法，使用普通的手持相机沿着一个路径或区域拍摄并拼接多幅全景图，利用 SIFT特征点计算相对深度并使用一种简单有效的方法渲染出新视点下的视野图，实现在采集路径和区域内的平滑漫游。本文各节内容组织如下：第1节介绍多边形柱面全景图的采集方法，第 2节介绍利用

SIFT算子进行特征点检测从而得到狭缝深度图的方法，第3节介绍多基于多边形

柱面全景图的渲染方法，包括视平面上各像素的计算和利用狭缝图像进行的插值处理，最后是实验结果和讨论。

在场景的虚拟漫游过程中，为了让用户能够在水平方向上任意移动，我们在一个多边形区域上的多个视点采集全景图，按照一定的规则排列并储存，我们称之为“多边形柱面全景图”。对于一条马路，我们可以用图1中(a)的采集方法来获取路两

旁的图像数据，图中圆圈中心为采集点，以此中心旋转360º拍摄一定数量的带有重合区域的图像；对一个更大区域（比如大型广场）进行采样，可以沿着如图1(b)所示的一个多边形路径拍摄/采集多个全景图像，实际上，对于这种路径的采集，

在每一点上可以只采集区域外侧的180º或者270º全景图，便可满足观察视点在

这一方形区域内漫游的要求。

图像采集工作完成以后，我们采用一种基于全局优化调整的方法[5]对每一点采集

的图像进行配准和融合，生成在这个视点下的首尾无缝连接的360º柱面全景图，然后对每一个采集点的图像都进行同样的处理并存储，我们就得到了这一区域的多边形柱面全景图。在漫游时，我们需要找出任一条光线对应于多边形柱面全景图中的哪一个（或哪几个）全景图，以及这条光线在对应全景图上的位置，这也就是下面要讨论的具体渲染算法。

狭缝图像是一种宽度只有一个像素的一列图像。由于模拟人的运动时，视点主要在一个二维平面上运动，图像在水平方向上的变化速度要快于垂直方向上的变化速度，此外人眼对水平方向的图像变化也远远要比垂直方向变化敏感，所以作为一种简化，把垂直方向的一列像素结合在一起考虑，这就是狭缝图像(slit images)。狭缝图像在许多IBR系统如同心拼图[3]、多投影中心图像(MCOP)[6]中得到应用。

如果将全景图中的一列或几列像素视为狭缝图像，并加上统一的深度信息，这样的全景图就称为深度狭缝图像全景拼图。与没有深度概念的传统全景图不同，由于深