柱面全景图像生成关键技术_赵玉清

中外企业家2010年第4期（下）总第347期工程科技·Proj ect Science在人们实际生活和工作中往往需要获得宽视角、高分辨率的全景图像，但是由于摄像设备的机械限制，一般只能得到局部的成像，而得到全景图像的硬件设备（全景相机、广角镜头等）一般比较昂贵，不适合普遍应用，于是人们提出了利用计算机进行图像拼接来获得全景图的方法。

目前全景图像生成技术广泛应用于数字视频、运动分析、虚拟现实技术、医学图像分析、遥感图像处理等领域。

柱面全景图像生成的基本思想是根据图像重叠部分将多张衔接的图像拼合成一张高分辨率全景图。

这些有重叠部分的图像一般由两种方法获得：一种是固定照相机的转轴,然后绕轴旋转所拍摄的照片；另一种是固定照相机的光心，水平摇动镜头所拍摄的照片。

实景图像的柱面正投影算法是为了将多张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。

这样一方面消除了实景图像之间可能存在的重复景物信息，同时也得到了每张实景图像上的象素点在视点空间中的方位信息。

对实景图像进行柱面正投影变换以后，需要对它们进行拼接，形成柱面图像。

全景图拼接一般分为两类：（1）图像匹配；（2）图像的拼接。

图像的匹配和图像拼接是两个相似而且相关的问题，通常认为拼接和配准的主要区别在与各自重合区域的大小，此外配准的对象可以来自于不同的图像源，而拼接通常是将同一个图像源产生的对同一物体的不同部分的图像结合在一起。

另一方面，匹配也是拼接中的最关键的一步操作。

一、图像匹配算法1.基于空间的像素匹配算法早先的像素匹配算法是用图像在相邻有重叠部分的图像上平移，然后比较两张图像覆盖区域各个像素的匹配程度，进行所有可能的平移之后选择最匹配的一种情况，该算法运算量极大，而且不能解决图像旋转和尺度缩放的问题。

基于使用全局搜索的运算量太大,有一些改进算法选取第一幅图像中的重叠部分的一块矩形区域作为模板,在第二幅图像中搜索相似的对应块,计算其相关度,相关度最大的位置为匹配的位置,该算法运算量有所减少,但仍然很大。

为了进一步减少运算量,又提出了基于列像素的方法,在第一张图像中选取一定间隔的两列,用该两列像素的比值作为模板,在第二张图像中搜索最佳的匹配,从而确定重叠部分的位置。

该方法很大程度上减少了运算量,但是仍然不能解决旋转和缩放等问题。

2.基于频域的匹配算法该算法先对两幅待拼接的图像进行二维离散傅里叶变换,假设变换的结果为X(u,v)和Y(u,v),由相关定理可得相关的离散傅里叶变换:φ（u ，v ）=X （u ，v ）Y*（u ，v ）（1）再对进行傅里叶反变换即可得到空间域的相关函数:φ（j ，k ）=M -1u =0ΣN-1v =0Σ[X （u ，v ）Y*（u ，v ）]（2）由空间域的相关函数即可找出最佳的匹配位置。

以傅里叶变换为基础的相位相关算法,两幅图像的离散傅里叶变换分别为,X （u,v ）、Y （u,v ）,其功率谱为,归一化后可得对应的互功率谱的相位谱:e jQu ，v =X （u ，v ）Y*（u ，v ）|X （u ，v ）Y*（u ，v ）|=e j （Q X -Q Y ）（3）其中,Q X 和Q Y 分别是两幅图像的傅里叶变换的相位。

由公式（2）可看出，相位谱是一个位于两图偏移（u,v ）处的δ脉冲函数，因此可度量两图之间的相似程度。

若用极坐标的方式表示两幅图像，则可用相同的方法计算出图像间的旋转角度。

基于频域的算法可克服相关性噪声和频率噪声,可以大大减小几何失真对匹配性能的影响,计算速度快,对小平移量、旋转及变尺度图像的拼接较适合,但是在两张图像重叠部分不大的情况下结果较差。

3.基于图像灰度的匹配方法基于灰度的方法直接利用图像的灰度信息进行匹配，以此对光源变化较敏感。

这种算法精度较高，但计算量过大。

（1）基于相关性的匹配直接利用两幅图像间的灰度信息。

在源图像中自动或者手动选取模板，建立与目标图像之间的相似性度量，寻找相似程度最大的。

常选取的模板有：比值匹配法：取源图像上间隔一段距离的两列所对应部分象素的差值作为模板。

块匹配法：在源图像中选取一块图像作为模板。

网格匹配法：在块匹配的基础上，先进行粗匹配，在进行步长减半的精确匹配，直到步长为0。

这种算法较前两种运算量都有减少，但由于大量的矩阵计算实际应用中依然偏大，而且很难实现精确匹配。

衡量模板与匹配图像之间相似性的度量方法常用的有：两幅图像灰度的平方差之和；序贯相似度检测；互相关。

（2）相位相关法：由于傅立叶函数缩放、旋转、平移在频域具有对称性，所以将两幅待匹配图像由空域变换到频域。

先用极坐收稿日期：2010-04-01作者简介：赵玉清（1986-），女，青海西宁人，硕士研究生，从事红外技术应用研究；孙继银（1952-），男，山东单县人，教授，博士生导师，中国计算机学会高级会员，中国计算机用户协会理事，从事为C4ISR 系统与计算机仿真，虚拟现实技术研究；徐宏波（1986-），江苏盐城人，硕士研究生，从事电子信息研究。

柱面全景图像生成关键技术赵玉清，孙继银，徐宏波（第二炮兵工程学院，西安710025）摘要：全景图是基于图像绘制技术的主要内容。

实景图像的柱面正投影算法是为了将多张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。

对现有和经典图像配准和图像拼接方法根据其本质特征进行分类。

并分析各方法的优缺点最后提出未来发展的方向。

关键词：全景图；图像匹配；图像拼接中图分类号：J41文献标识码：A文章编号：1000-8772（2010）08-0149-02149标计算图像旋转，然后通过计算两幅图像功率谱的傅立叶变换得到脉冲函数仅在平移处不为零，计算平移4.基于特征点的最近邻配准算法这种方法采用基于特征的配准算法对SIFT方法提取出的特征点用最近邻算法进行配准。

主要是在尺度不变特征点(Scale Invariance Feature T ransform-SIFT)的提取方法提取特征点的基础上，利用特征点的相关几何信息实现两幅图像的配准。

使得在高维空间搜索效率有较大提升。

基于特征的配准法一般分为三个过程:（1）特征提取；（2）利用一组参数对特征作描述；（3）利用特征的参数进行特征匹配。

在两幅图像中用同一种特征提取法提取出特征点，根据相似性原则对两幅图像中的特征点进行匹配。

我们称待配准的图像为基准图像，将与基准图像配准的图像为后续图像。

由于图像背景模糊或特征点没有被检测到等各种原因，使得很多特征点在后续图像中不能得到正确的匹配。

如采取为样本特征点与最近邻特征点的距离设置一个阀值，小于该阀值即判断特征点和样本特征点匹配，从而实现特征点间的匹配。

并可以过滤掉某些不正确匹配的特征点，但执行效果并不太理想，因为某些待匹配特征点具有很大的差异性，也有可能被过滤掉。

我们采用最近邻算法(Nearest Neighbor-NN)进行配准，即采用样本特征点的最近邻特征点距离与次近邻特征点距离的比值来对特征点进行匹配。

最近邻特征点是指与样本特征点具有最短欧几里德距离的特征点。

次近邻特征点是指具有比最近邻距离稍长的欧几里德距离的特征点。

用最近邻与次近邻比值来进行特征点的匹配可以取得很好的效果，从而达到稳定的匹配。

如何找到特征点的最近邻和次近邻是NN算法的关键。

穷举法能够找到最精确的最近邻距离,但是数目特别大时，计算量会以指数级别增长，实用性就大打折扣。

我们采用一种在K-D树搜索算法基础上改进的搜索算法BBF(Best-Bin-First)来搜索样本特征点的最近邻和次近邻特征点。

K-D树搜索算法是二叉检索树的扩展，K-D树的每一层将空间分成两个。

树的顶层结点按一维进行划分，下一层结点按另一维进行划分，以此类推，各个维循环往复。

划分要使得存储在子树中大约一半的结点落入一侧，而另一半落入另一侧。

当一个结点中的点数少于给定的最大点数时，划分结束。

K-D树搜索算法大部分时间花费在检查结点上，并且对高维空间搜索效率降低。

如果通过限制K-D树中叶子结点数，对叶结点设一个最大数目可以缩短搜索时间。

但是这种改进方法只是根据K-D 树的结构来决定叶结点的检查顺序，只考虑已存储的结点位置，并没有考虑被查询结点的位置。

BBF搜索算法是在K-D树基础上用一个优先级队列实现以结点和被查询结点距离递增的顺序来搜索结点，结点和被查询结点的距离是指它们之间的最短距离。

当沿一个方向的分支搜索一结点时，优先级队列会被加入一个成员，该成员记录了该结点相关的信息，包括当前结点在树中的位置和该结点与被查询结点之间的距离。

当一个页结点被搜索到后，从队列的队首删除一项，然后再搜索包含最近邻结点的其他分支。

该算法具有较高的准确性和较好的鲁棒性。

二、图像拼接算法1.比值匹配拼接算法该算法的思路是选取一幅图像重叠部分中间隔的一定距离的两列的比值作模板，在第二幅图像中对应重叠区域搜索最佳匹配，找到与第一幅图像索取模板对应的两列，实现拼接。

若Picture1为（W1×H）像素的图像，Picture2为（W2×H）像素的图像，W1和W2可以相等，也可以不等。

Picture1和Picture2为左右重叠关系，Picture1在Picture2的左边，本文暂不考虑垂直方向重叠的问题，垂直方向重叠与水平方向类似。

在Picture1的重叠区域选取间隔为span的两列像素（第j列和第j+span列），计算其对应像素比值，即为a模板，a（i）=P1（i，j）/P1（i，（j+span）），其中i∈（1,H），j为选定的列。

在第二幅图像中从第一列起依次取间隔为span的两列，计算其对应像素的比值即为b模板，b（i，j）=P21（i，j）/P22（i，j），其中P21（i，j）=P2（i，j），（i∈（1,H）∈j（1，W2-span））P22（i，j）=P2（i，j），（i∈（1,H）∈j（span+1，W2））计算a模板与b模板差值，即为c模板。

c（i，j）=（a（i，j）-（i，j））2，其中（i∈（1,H）∈j（1，W2-span））。

c为二维数，计算c对应的列向量求和，就得到sum，sum（j）=Hi=1Σc（i，j），sum（j）的大小就反了两幅图像选定像素对于列的差异，sum（j）的最小值summ in对应的列坐标Collablem in即为最佳匹配。

由以上确定了最佳匹配的位置，就可以计算Picture1和Picture2重叠区域的大小，进行正确拼接。

但在实际中由于亮度、色差等原因，如果仅仅通过对两幅图像的简单拼接，则会有明显的拼接缝。

结合图像融合技术，在拼接图像的区域实行渐入渐出的方法，可以很好地消除拼接缝，使拼接区域平滑，从而提高图像质量。

常用的拼接算法有中值滤波法，小波变换法，加权平均法等。