柱面全景图像生成关键技术

柱面全景图像生成关键技术

作者：赵玉清孙继银徐宏波

来源：《中外企业家·下半月》 2010年第4期

赵玉清，孙继银，徐宏波

（第二炮兵工程学院，西安 710025）

摘要：全景图是基于图像绘制技术的主要内容。实景图像的柱面正投影算法是为了将多

张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。对现有和经典图像配准和图像

拼接方法根据其本质特征进行分类。并分析各方法的优缺点最后提出未来发展的方向。

关键词：全景图；图像匹配；图像拼接

中图分类号：J41 文献标识码：A 文章编号：1000-8772（2010）08-0149-02

在人们实际生活和工作中往往需要获得宽视角、高分辨率的全景图像，但是由于摄像设备

的机械限制，一般只能得到局部的成像，而得到全景图像的硬件设备（全景相机、广角镜头等）一般比较昂贵，不适合普遍应用，于是人们提出了利用计算机进行图像拼接来获得全景图的方法。目前全景图像生成技术广泛应用于数字视频、运动分析、虚拟现实技术、医学图像分析、

遥感图像处理等领域。

柱面全景图像生成的基本思想是根据图像重叠部分将多张衔接的图像拼合成一张高分辨率

全景图。这些有重叠部分的图像一般由两种方法获得：一种是固定照相机的转轴,然后绕轴旋转所拍摄的照片；另一种是固定照相机的光心，水平摇动镜头所拍摄的照片。实景图像的柱面正

投影算法是为了将多张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。这样一方

面消除了实景图像之间可能存在的重复景物信息，同时也得到了每张实景图像上的象素点在视

点空间中的方位信息。对实景图像进行柱面正投影变换以后，需要对它们进行拼接，形成柱面

图像。全景图拼接一般分为两类：（1）图像匹配；（2）图像的拼接。图像的匹配和图像拼接

是两个相似而且相关的问题，通常认为拼接和配准的主要区别在与各自重合区域的大小，此外

配准的对象可以来自于不同的图像源，而拼接通常是将同一个图像源产生的对同一物体的不同

部分的图像结合在一起。另一方面，匹配也是拼接中的最关键的一步操作。

一、图像匹配算法

1. 基于空间的像素匹配算法

早先的像素匹配算法是用图像在相邻有重叠部分的图像上平移，然后比较两张图像覆盖区

域各个像素的匹配程度，进行所有可能的平移之后选择最匹配的一种情况，该算法运算量极大，而且不能解决图像旋转和尺度缩放的问题。基于使用全局搜索的运算量太大,有一些改进算法选取第一幅图像中的重叠部分的一块矩形区域作为模板,在第二幅图像中搜索相似的对应块,计算

其相关度,相关度最大的位置为匹配的位置,该算法运算量有所减少,但仍然很大。

为了进一步减少运算量,又提出了基于列像素的方法,在第一张图像中选取一定间隔的两列,用该两列像素的比值作为模板,在第二张图像中搜索最佳的匹配,从而确定重叠部分的位置。该

方法很大程度上减少了运算量,但是仍然不能解决旋转和缩放等问题。

2. 基于频域的匹配算法

该算法先对两幅待拼接的图像进行二维离散傅里叶变换,假设变换的结果为X(u,v)和

Y(u,v),由相关定理可得相关的离散傅里叶变换:

其中,QX和QY分别是两幅图像的傅里叶变换的相位。由公式（2）可看出，相位谱是一个

位于两图偏移（u,v）处的δ脉冲函数，因此可度量两图之间的相似程度。若用极坐标的方式

表示两幅图像，则可用相同的方法计算出图像间的旋转角度。

基于频域的算法可克服相关性噪声和频率噪声,可以大大减小几何失真对匹配性能的影响,

计算速度快,对小平移量、旋转及变尺度图像的拼接较适合,但是在两张图像重叠部分不大的情

况下结果较差。

3. 基于图像灰度的匹配方法

基于灰度的方法直接利用图像的灰度信息进行匹配，以此对光源变化较敏感。这种算法精

度较高，但计算量过大。

（1）基于相关性的匹配直接利用两幅图像间的灰度信息。在源图像中自动或者手动选取模板，建立与目标图像之间的相似性度量，寻找相似程度最大的。

常选取的模板有：比值匹配法：取源图像上间隔一段距离的两列所对应部分象素的差值作

为模板。块匹配法：在源图像中选取一块图像作为模板。网格匹配法：在块匹配的基础上，先

进行粗匹配，在进行步长减半的精确匹配，直到步长为0。这种算法较前两种运算量都有减少，但由于大量的矩阵计算实际应用中依然偏大，而且很难实现精确匹配。

衡量模板与匹配图像之间相似性的度量方法常用的有：两幅图像灰度的平方差之和；序贯

相似度检测；互相关。

（2）相位相关法：由于傅立叶函数缩放、旋转、平移在频域具有对称性，所以将两幅待匹配图像由空域变换到频域。先用极坐标计算图像旋转，然后通过计算两幅图像功率谱的傅立叶

变换得到脉冲函数仅在平移处不为零，计算平移

4. 基于特征点的最近邻配准算法

这种方法采用基于特征的配准算法对 SIFT方法提取出的特征点用最近邻算法进行配准。

主要是在尺度不变特征点(Scale Invariance Feature Transform - SIFT)的提取方法提取特征点的基础上，利用特征点的相关几何信息实现两幅图像的配准。使得在高维空间搜索效率有较

大提升。基于特征的配准法一般分为三个过程:（1）特征提取；（2）利用一组参数对特征作描述；（3）利用特征的参数进行特征匹配。在两幅图像中用同一种特征提取法提取出特征点，根据相似性原则对两幅图像中的特征点进行匹配。

我们称待配准的图像为基准图像，将与基准图像配准的图像为后续图像。由于图像背景模糊或特征点没有被检测到等各种原因，使得很多特征点在后续图像中不能得到正确的匹配。如采取为样本特征点与最近邻特征点的距离设置一个阀值，小于该阀值即判断特征点和样本特征点匹配，从而实现特征点间的匹配。并可以过滤掉某些不正确匹配的特征点，但执行效果并不太理想，因为某些待匹配特征点具有很大的差异性，也有可能被过滤掉。我们采用最近邻算法(Nearest Neighbor - NN )进行配准，即采用样本特征点的最近邻特征点距离与次近邻特征点距离的比值来对特征点进行匹配。

最近邻特征点是指与样本特征点具有最短欧几里德距离的特征点。次近邻特征点是指具有比最近邻距离稍长的欧几里德距离的特征点。用最近邻与次近邻比值来进行特征点的匹配可以取得很好的效果，从而达到稳定的匹配。

如何找到特征点的最近邻和次近邻是 NN 算法的关键。穷举法能够找到最精确的最近邻距离,但是数目特别大时，计算量会以指数级别增长，实用性就大打折扣。

我们采用一种在K - D树搜索算法基础上改进的搜索算法BBF(Best - Bin - First)来搜索样本特征点的最近邻和次近邻特征点。

K - D 树搜索算法是二叉检索树的扩展，K - D树的每一层将空间分成两个。树的顶层结点按一维进行划分，下一层结点按另一维进行划分，以此类推，各个维循环往复。划分要使得存储在子树中大约一半的结点落入一侧，而另一半落入另一侧。当一个结点中的点数少于给定的最大点数时，划分结束。K - D树搜索算法大部分时间花费在检查结点上，并且对高维空间搜索效率降低。

如果通过限制 K - D树中叶子结点数，对叶结点设一个最大数目可以缩短搜索时间。但是这种改进方法只是根据 K - D树的结构来决定叶结点的检查顺序，只考虑已存储的结点位置，并没有考虑被查询结点的位置。BBF搜索算法是在K - D树基础上用一个优先级队列实现以结点和被查询结点距离递增的顺序来搜索结点，结点和被查询结点的距离是指它们之间的最短距离。当沿一个方向的分支搜索一结点时，优先级队列会被加入一个成员，该成员记录了该结点相关的信息，包括当前结点在树中的位置和该结点与被查询结点之间的距离。当一个页结点被搜索到后，从队列的队首删除一项，然后再搜索包含最近邻结点的其他分支。该算法具有较高的准确性和较好的鲁棒性。

二、图像拼接算法

1. 比值匹配拼接算法

该算法的思路是选取一幅图像重叠部分中间隔的一定距离的两列的比值作模板，在第二幅图像中对应重叠区域搜索最佳匹配，找到与第一幅图像索取模板对应的两列，实现拼接。

若Picture1为（W1×H）像素的图像，Picture2为（W2×H）像素的图像，W1和W2可以相等，也可以不等。Picture1和Picture2为左右重叠关系，Picture1在Picture2的左边，本文暂不考虑垂直方向重叠的问题，垂直方向重叠与水平方向类似。

在 Picture1的重叠区域选取间隔为span的两列像素（第j列和第j+span 列），计算其对应像素比值，即为a模板，a（i）=P1（i，j）/P1（i，（j+span）），其中i∈（1,H），j