一种基于多边形柱面全景图的虚拟漫游新方法

一种基于多边形柱面全景图的虚拟漫游新方法王海颍;秦开怀【摘要】提出了一种基于图像绘制的多边形柱面全景图的虚拟漫游方法.利用普通的手持相机在一个多边形区域内沿某一路径拍摄并拼接多幅全景图,通过基于SIFT 的特征点检测来计算深度,用狭缝图像插值来实现整个区域内的平滑漫游.该方法具有采样简单、虚拟场景真实感强,支持连续大范围漫游的特点.%A new method of virtual walkthrough using image-based rendering with polygonal panoramic mosaics is presented. First, we take pictures and get multiple panoramas with ordinary handhold camera along a route or in a square region. Second, we use SIFT feather points detection to get slim images with depth which can be used in interpolation for the rendering of new view point. The algorithm proposed in this method is very efficient for virtual walkthrough in the large outdoor scene. The construction and rendering process with multiple panoramas is easy to implement and the data capturing is simple without expensive equipments.【期刊名称】《图学学报》【年(卷),期】2012(033)001【总页数】7页(P56-62)【关键词】虚拟漫游;基于图像的绘制;全景图;狭缝图像【作者】王海颍;秦开怀【作者单位】中国电子信息产业发展研究院,北京100048;清华大学计算机系,北京100084【正文语种】中文【中图分类】TP391.4随着三维图形图像的绘制(Image-Based Rendering, IBR)技术的发展，虚拟现实(Virtual Reality, VR)技术已经被越来越广泛地应用，它可以用于虚拟旅游和娱乐，例如著名旅游景点和博物馆的虚拟游览；也可以用于虚拟训练，例如飞机和车辆驾驶，以及虚拟战场仿真等；另外还可以用于医疗领域和虚拟建筑漫游，等等。

基于图像的绘制是指利用一组预先得到的真实图像进行适当的处理或组合，完成复杂三维场景的真实再现[1]。

由于基于图像的虚拟现实系统具有场景逼真、交互方便、无需特殊硬件等优点，因此具有广阔的应用前景。

目前，随着基于图像的虚拟现实技术研究的不断深入，已经出现了一些相关的软件系统，其中最有代表性的是Apple公司的QuickTime VR系统[2]，它采用环幕电影映像和全景图完成摄像机的旋转，并实现了一个全景开发环境，但是漫游显示只限于绕固定位置（视点）的俯、仰和水平旋转。

同心拼图[3]通过以同心圆切线方向的数据组织将无遮挡同心圆区域的光流场简化为3D。

全光拼图[4]可以看做是同心拼图的推广，它在一个没有障碍物的空间用全方位摄像机沿着构成规则网格的路径进行图像捕获，然后通过网络上前、后两个摄像机捕获到的参考图像来生成网格内新视点下的图像，这些方法都需要比较复杂的设备条件并有一定的场景限制。

本文提出一种新的多边形柱面全景图漫游方法，使用普通的手持相机沿着一个路径或区域拍摄并拼接多幅全景图，利用 SIFT特征点计算相对深度并使用一种简单有效的方法渲染出新视点下的视野图，实现在采集路径和区域内的平滑漫游。

本文各节内容组织如下：第1节介绍多边形柱面全景图的采集方法，第 2节介绍利用SIFT算子进行特征点检测从而得到狭缝深度图的方法，第3节介绍多基于多边形柱面全景图的渲染方法，包括视平面上各像素的计算和利用狭缝图像进行的插值处理，最后是实验结果和讨论。

在场景的虚拟漫游过程中，为了让用户能够在水平方向上任意移动，我们在一个多边形区域上的多个视点采集全景图，按照一定的规则排列并储存，我们称之为“多边形柱面全景图”。

对于一条马路，我们可以用图1中(a)的采集方法来获取路两旁的图像数据，图中圆圈中心为采集点，以此中心旋转360º拍摄一定数量的带有重合区域的图像；对一个更大区域（比如大型广场）进行采样，可以沿着如图1(b)所示的一个多边形路径拍摄/采集多个全景图像，实际上，对于这种路径的采集，在每一点上可以只采集区域外侧的180º或者270º全景图，便可满足观察视点在这一方形区域内漫游的要求。

图像采集工作完成以后，我们采用一种基于全局优化调整的方法[5]对每一点采集的图像进行配准和融合，生成在这个视点下的首尾无缝连接的360º柱面全景图，然后对每一个采集点的图像都进行同样的处理并存储，我们就得到了这一区域的多边形柱面全景图。

在漫游时，我们需要找出任一条光线对应于多边形柱面全景图中的哪一个（或哪几个）全景图，以及这条光线在对应全景图上的位置，这也就是下面要讨论的具体渲染算法。

狭缝图像是一种宽度只有一个像素的一列图像。

由于模拟人的运动时，视点主要在一个二维平面上运动，图像在水平方向上的变化速度要快于垂直方向上的变化速度，此外人眼对水平方向的图像变化也远远要比垂直方向变化敏感，所以作为一种简化，把垂直方向的一列像素结合在一起考虑，这就是狭缝图像(slit images)。

狭缝图像在许多IBR系统如同心拼图[3]、多投影中心图像(MCOP)[6]中得到应用。

如果将全景图中的一列或几列像素视为狭缝图像，并加上统一的深度信息，这样的全景图就称为深度狭缝图像全景拼图。

与没有深度概念的传统全景图不同，由于深度狭缝图像本身是对场景的一种近似表示，对深度的精度要求并不太高，因此我们可以将某些特征点的深度扩充为整个狭缝区域的深度，并将相邻区域间的深度进行线性插值，这样就将全景拼图中的每一条狭缝图像都赋予一个整体深度，使整个拼图由一组深度不等的“颜色柱”组成，如图2所示。

由于多边形柱面全景图的引入，使得深度提取成为可能。

对于同一个物体，在不同的两张全景图上，它们的位置应该是不同的。

根据这个位置关系，就能够确定出物体的相对深度。

图3表示了这样的情况，图中点P代表一个物体，它同时位于C1处和C2处所采集的全景图中。

假设我们可以在两张全景图C1和C2上找到该点的对应位置，我们就能够计算出它们对应的角度1θ和2θ。

设P点深度为H，则有其中，是拍摄这两处全景图位置之间的距离。

由上式，根据P点在全景图C1和C2上的对应位置就可以计算出P点的深度H。

计算相应图像位置的深度时，需要先找到两幅图像的对应点，这里我们采用SIFT 算法来提取特征点[7]。

图 4显示了SIFT的特征提取步骤。

由SIFT方法提取的两幅图像中对应的特征点，我们可以通过上节的计算方法算出相应点的相对深度。

为简化起见，我们再按照特征点的分布，将全景图分割成相应宽度的狭缝图像，各条狭缝图像的整体深度就是所含特征点的深度，并把这个深度信息存储下来以供今后的计算使用。

至此，图像预处理工作就结束了，我们得到了带有场景深度的多边形柱面全景图数据。

图5给出了两个不同视点图像下SIFT特征提取和对应点匹配的例子。

在传统基于图像的漫游中，为了克服只能在固定视点观察的缺陷，常使用多个柱面全景图进行场景浏览[8]。

但是这种情况下全景图之间没有过渡关系，观察者只能从一个视点“跳”到另一个视点进行浏览。

因此，我们基于在固定视点采集拼接的全景图像，通过深度计算和狭缝图像插值的方法来合成漫游区域内任意视点的视野图像，从而支持一定范围内的场景平滑漫游。

当漫游视点在如图6(a)所示的位置时，可以由相邻的两幅全景图上相应的点得到视平面上每一像素的颜色值。

通过上一节介绍的多边形柱面全景图深度狭缝图像的计算，已经得到了全景图上任意一点的深度值Z，因此我们可以通过如图6(b)所示的几何关系求出新视点下视平面上每一点的像素颜色值，具体的计算步骤如下：1）把视平面坐标转换成世界坐标系(XYZ)下的坐标值：假设最终生成的视平面图像（图6中蓝色直线是该平面在 xy平面上的投影）大小为W×H，对于视平面上的任意一点，设其坐标为(w, h)。

注意，这个坐标是相对于视平面的，我们需要把它转化为图中的XYZ坐标系下的坐标。

我们首先求出视平面在XY平面上的投影中点的坐标(Xf, Yf, Zf)其中， f为焦距，即视点到视平面的距离，θ为视线与水平方向的夹角。

则视平面上坐标为(w, h)的点（如图6中粉红色点）在XYZ坐标系下的坐标为2）找出视平面上该点在物体平面的对应位置：由上节深度狭缝图像的获取原理可知，各个物体的深度可以看作一个分段函数（如图6(b)中蓝灰色分段平面）。

因此，我们从视点向视平面上的这个点发出一条射线，可以计算出这个射线与分段平面的交点。

3）找出对应的全景图：多边形柱面全景图的视点全部位于y轴上，因此要找出对应的全景图，首先需要计算第2步提到的射线与y轴的交点。

设交点的纵坐标值为 Y c，可求出因此，只需要在所有全景图中查找离 Yc最近的一个（需要插值的情况，则查找最近的两个）即可。

4）根据在Xh平面上的一点计算对应全景图上的位置：我们再次转化一个坐标系，那么对于一个点 ),,( pppZYX ，其角度那么，对应全景图的狭缝图位置即可以表示为：中， PW 表示全景图的宽度。

而该点对应此列的像素可以由比例关系确定。

至此，我们就从视平面上的一点，找到了全景图上对应的一个像素。

对视平面上的每一个点重复这个过程，就完成了一个视平面图像的绘制。

上面的算法对于视野图的每一个像素进行计算，因此最终结果应是精确的，但由于处理的像素点会很多，而对每一个像素点都要涉及到求交运算，导致最终渲染速度不能达到实时漫游的要求。

我们在前面第1节已经介绍过柱面全景图在垂直方向是没有形变的，因此我们采用下面的狭缝图像方法，避免垂直方向的计算从而提高计算速度，具体方法如下：1）按照上节介绍的方法计算视线与平面Xh的交点(Xh, Yh)，设为点P。

注意，这里没有计算Zh的值。

2）按照上面介绍的方法找出对应的全景图编号，设该全景图坐标为(Xi, Yi)。

3）根据Xh和Yh的值可以得到对应全景图上的狭缝位置。

4）将该狭缝图像按照一定比例进行缩放，该比例值为缩放以后即可作为当前视野图的一个狭缝图像。