全景图像拼接技术

第6章全景图像的拼接技术

全景图像(全景图)的拼接是指利用摄像机的平移或旋转得到的部分重叠的图像样本，生成一个较大的甚至360°的全方位图像的场景绘制方法。换句话说，就是给定某个真实场景的一组局部图像，然后对这一组图像进行拼接，生成包含这组局部图像的新视图。目前全景图像基本可分为柱面、球面、立方体等形式，以柱面和球面全景图最易实现而普遍采用。本节主要介绍柱面和球面全景图像的拼接算法。

全景图的拼接一般有以下几个步骤。

(1)将从真实世界中拍摄的一组照片以一定方式投影到统一的空间面上，如立方体、圆柱体和球体表面等，这样这组照片就具有统一的参数空间坐标。

(2)在这个统一的空间对相邻图像进行比较，以确定可匹配的区域位置。

(3)将图像重叠区域进行融合处理，拼接成全景图。

在全景图的拼接中，一般都是根据图像序列中相邻两幅图像的重叠区域的相似性来实现的，有基于特征的方法和直接方法等。本章将主要从基于特征的方法和直接方法两方面介绍柱面和球面全景图像的拼接算法技术。

6.1 柱面全景图像拼接技术

本节分为两部分：第一部分是基于特征的拼接算法，这种算法主要从两幅图像中选择一系列特征，然后根据相似性原则进行图像间的特征匹配，这一部分介绍了基于特征点和特征块匹配的全景图像拼接算法；第二部分是基于相位相关拼接算法，这种方法是直接从图像的重叠区域对应像素灰度值出发考虑，利用所有可利用的数据实现很精准的匹配。

6.1.1基于特征的拼接算法

1.基于特征点的拼接算法

本节提出一种基于特征点匹配的柱面全景图像拼接算法。首先将360°环绕拍摄的序列图像投影到柱面坐标系下：然后提取各图像的尺寸不变特征变换(Scale Invariant Feature Transform, SIFT)特征点，通过特征点匹配完成两幅图像的配准；再根据配准结果计算出图像间的变换参数；最后采用加权平均的融合方法对两幅图像进行无缝拼接。

1)柱面投影变换

在进行柱面全景图的拼接过程中，为了保持实际场景中的空间约束关系和实际场景的视觉

图6.1.1 柱面投影变换示意图

一致性，需将拍摄得到的反映各自投影平面的重叠图像序列映射到一个标准的柱面坐标空间上，即柱面投影，得到柱面图像序列，再进行拼接得到柱面全景图。

柱面投影变换的核心是投影变换公式，如图6.1.1(a)所示为柱面投影空间，I 表示原始图像，I ′是I 的柱面投影图像，坐标原点O 选为圆柱中心(投影中心)，假定摄像机的运动都发生在O-xz 平面，而且图像中心点就是光轴与图像平面的交点，现在要得到O 点观察到的原始图像I 在柱面空间K 上的柱面投影图像I ′。设柱面半径r ，投影角为θ，图像宽度为W ，图像高度为H ，容易得到柱面图像的宽度为2r sin θ2⁄,高度仍为H 。图像的像素坐标均以图像平面中的最左上角像素为坐标原点。

对于图像I 上的任意一点P (x,y )，在柱面图像I’上的对应点为P ′(x ′,y ′),对点P 沿O-xz 平面和O-xz 的横截面分别如图6.1.1(b)和图6.1.1(c)所示，可得柱面投影变换公式

{ /2sin sin arctan 2x W x r r r θ⎛-⎫⎛⎫'=+ ⎪ ⎪⎝⎭⎝

⎭()/22r y H H y k -'=+

式中，k =√r 2+(W 2⁄−x)2，r =W 2tan (θ2⁄)⁄。

r 为拍摄焦距，θ为每张图像所占的弧度角，一副全景图像所占的角度为360°。假设相机拍摄时为等转角拍摄，相邻两幅图像重合度均为η，拼接成一副全景图像需要待拼接图像总数为n ，难么每一幅图像所占的弧度角就可以近似为

θ=2πn 1(1−η)

2)图像配准

在全景图的拼接中，图像的配准既是一个难点又是一项核心工作，它直接影响图像拼接的

效果。基于图像特征的配准方法，首先要尽可能准确地提取出图像的特征，所以选择高精度的提取方法至关重要。为了克服由于照相机的运动而存在的视角和尺度上的噪声，采用2004年Low改进的SIFT算法完成图像序列特征点的提取。

(1)特征点的提取。SIFT特征提取算法步骤如下。

①检测尺度空间极值.首先对原始图像进行一系列的高斯滤波得到图像的高斯空间；然后对高斯图像进行差分，形成高斯差分图像空间DOG图像(Difference of Gaussian)；最后，取这些特征点不受噪声影响，DOG图像保证特征点不受亮度差的影响，在高斯差分图像空间提取极值点保证尺度不变性。

②精确定位特征点。首先获取候选特征点处的拟合函数

D(X)=D+∂D T

∂X

X+

1

2

X T

ð2D

ðX2

X

求导得到极值点

X̂=−ð2D−1

ðX2

ðD

ðX

对应极值

D(X̂)=D+1

2

ðD T ðX

不断修正X求取局部最优点，剔除|D(X̂)|<0.03的弱特征点，同时获取候选特征点的精确位置、尺度。然后获取特征点的Hessian矩阵

H=(D xx D xy

D xy D YY)

H的特征值α、β别代表x、y方向的梯度，剔除仅对一个方向梯度大的特征点。

③确定特征点的主方向。这一步骤的目的是用于特征点的匹配，找出主方向后，在进行匹配时就可以把图像旋转到主方向，以保证图像的旋转不变性。

(x,y)处的梯度值和方向值分别为

m(x,y)=√[L(x+1,y)−L(x−1,y)]2+[L(x,y+1)−L(x,y−1)]2

θ(x,y)=tan−1L(x,y+1)−L(x,y−1) L(x+1,y)−L(x−1,y)

在以特征点为中心的邻域窗口内采样，采用梯度方向直方图来统计邻域像素的梯度方向，直方图的最高峰值点对应的方向即为主方向。

④生成特征点描述符。特征点的匹配就是进行特征点描述符的比较，所以特征点的描述非