基于比值法图像拼接的等比例改进算法

收稿日期:2009-06-26;修回日期:2009-09-10作者简介:冉柯柯(1982-),女,河南人,硕士研究生,研究方向为数字图像处理和模式识别;王继成,教授,研究员,研究方向为模式识别与智能系统、数字图像和语音处理。

基于比值法图像拼接的等比例改进算法冉柯柯,王继成(同济大学电子与信息工程学院,上海201804)摘　要:图像拼接技术是通过将一组具有部分重叠的图像或视频图像进行无缝拼接后而得到的具有高分辨率的图像或全景图,是图像处理技术的一个重要内容。

主要介绍了图像拼接技术的主要步骤、比值匹配法的基本原理和优缺点,然后针对此算法容易出现误匹配的问题,提出了一种改进的算法。

通过引用等比例数列的思想增加区域像素信息,与传统方法相比,这种方法可以更快更准地找到最佳匹配位置,从而提高了算法的准确性。

实验结果证明了此算法可以有效的消除误匹配。

关键词:图像拼接;图像匹配;比值匹配法;图像融合中图分类号:TP391 文献标识码:A 文章编号:1673-629X (2010)02-0005-04An Improved Mosaic Algorithm B ased on R atio Matching Using G eometric ProportionRAN Ke 2ke ,WAN G Ji 2cheng(Department of Electronics and Information Engineering ,Tongji University ,Shanghai 201804,China )Abstract :Image stitching is normally used to make up a seamless and high resolution with a set of the overlap parts of images and videos.It is one of important technologies for image processing.Presented the main step of the image mosaics ,basic principle and advantages and disadvantages of the ration matching algorithm ,based on the ratio matching algorithm ,an improved algorithm of image stitching is pre 2sented in order to resolve the pseudo ing the theory of geometric proportion ,comparing with traditional methods ,the algo 2rithm can find the optimal position more quickly and more exactly.The experiments show that this method can eliminate false matches validly.K ey w ords :image stitching ;image registration ;ratio matching ;image fusion0　引　言随着数码照相设备的广泛普及,越来越多的数码图像被应用于各个方面的研究中。

在实际的科学研究和工程项目中,经常会用到超过人眼视角的高分辨率图像。

为了得到大视角的高分辨率图像,人们往往利用广角镜头和扫描式相机来解决部分问题。

但这些设备都有价格昂贵和使用复杂等缺点,另外,在一幅低分辨率的图像中得到超宽视角会损失景物中物体的分辨率,而且,广角镜头的图像边缘会产生难以避免的扭曲变形。

所以为了在不降低图像分辨率的条件下获取大视野范围的场景照片,人们采用了图像拼接技术来将多幅照片拼接成一幅大的照片。

研究图像拼接技术的目的就是利用计算机进行自动匹配,将具有重叠区域的多幅图片合成为一幅宽角度图片,以此来扩大视区的范围。

现在图像拼接技术已经成为数字图像处理领域的一个研究热点,被广泛应用于虚拟现实、计算机视觉、遥感图像处理、医学图像分析、计算机图形学、视频的索引和检索以及数字视频压缩等领域。

图像拼接技术主要包括图像配准和图像融合两个关键环节。

图像配准是图像拼接的核心部分,它直接关系到图像拼接算法的成功率和执行速度。

图像配准算法大体可分为基于特征的图像配准和基于区域的图像配准两类[1]。

基于特征的图像拼接是利用图像的明显特征(角点或轮廓等)来估算图像之间的变换,从而确定匹配位置。

基于区域的方法是利用图像的像素值之间的相关性来寻找最佳匹配点的。

常用的方法[2]有点匹配法、线匹配法、面积匹配法[3]、网格匹配法[4]和比值匹配法[5]。

比值匹配法具有计算速度快等特点,广泛应用于图像拼接技术中。

但是这种方法由于其自第20卷　第2期2010年2月 计算机技术与发展COMPU TER TECHNOLO GY AND DEV ELOPMEN T Vol.20　No.2Feb.　2010身狭隘性,容易造成误匹配。

所以对比值法进行了改进,利用Matlab 进行了大量的仿真实验,证明了该算法的准确性和有效性。

1　图像拼接图像拼接技术主要有三个主要步骤:(1)图像预处理[6]:包括图像处理的一些基本操作(比如去噪声、边缘处理),建立图像拼接的匹配模板或者对图像进行一些变换(比如傅里叶变换、小波变换)。

(2)图像配准:也就是采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系。

(3)图像融合:将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。

图1给出了图像拼接的基本流程图。

输入图像→预处理→图像配准→图像融合→全景图像图1　图像拼接基本流程图2　拼接算法2.1　比值匹配法比值匹配法的原理比较简单,其算法思路是利用图像中两列上的部分像素的比值作为模板,即在待拼接原图像T 的重叠区域中分别取出两列像素,用它们的比值作为模板,然后在第二幅待拼接图像S 中搜索最佳的匹配。

匹配的过程是在S 中,由左至右依次取出间距相同的两列像素,并逐一计算其对应像素值的比值;然后将这些比值依次与模板进行比较,其最小差值对应的列就是最佳匹配。

这样在比较中只利用了两列像素及其所包含的区域的信息。

如图2,设两幅图像A 和B 具有水平方向的重叠区域(阴影部分),其中图像A 的重叠部分中有两列像素,在图像B 的搜索区域中从左到右进行平移搜索。

图2　图像拼接原始模板图算法步骤如下:(1)在图A 的重叠区域选取间隔为span 的两列像素(第j 列和第j +span 列),计算其对应像素的比值,即为模板T ,T (i )=f L (i ,j )/f L (i ,(j +span ))。

(2)在图B 图像中从第一列开始依次取间隔为span 的两列,计算其对应像素的比值,即为模板S ,S (i )=f R (i ,j )/f R (i ,(j +span ))。

(3)然后计算模板T 和模板S 的差值,得出ΔT ,ΔT (i ,j )=(T (i ,j )-S (i ,j ))2。

(4)最后计算ΔT 对应的列向量求和,就得到sum ,sum (j )=∑ΔT (i ,j ),这个值反映了两幅图像选定像素对应的列向量之间的差异,所以当sum (j )最小时,对应的列坐标即为最佳匹配位置。

2.2　比值匹配法的优缺点●比值匹配法的优点:(1)算法思路比较简单,容易理解和实现。

(2)在匹配过程中,计算量小,速度快。

正因为该算法有此特点,使得它在图像拼接中应用的非常广泛,但是这个算法利用的区域信息比较少,因此容易出现误匹配的问题。

●造成误匹配的原因有:(1)在匹配过程中,需要求两列对应像素的比值,即用到除法的概念,就必须保证处于分母位置的像素值不能为零。

如果此时用于匹配的像素中出现值为零的像素点,比值就为无穷大,那么此次匹配就有可能成为误匹配。

(2)利用图像的特征信息过少。

此方法只利用了两条竖直的平行特征线段的像素的信息,没有能够充分利用了图像重叠区域的大部分特征信息。

(3)对图片的采集提出了较高的要求。

在采集照片的时候只能使照相机在水平方向上移动。

然而,有时候不可避免的照相机镜头会有小角度的旋转,使得拍摄出来的照片有一定的旋转,在这个算法中是无法解决的。

(4)对重叠区域无明显特征的图像,比较背景是颜色一样的墙壁或者草坪,这样在选取特征模版的时候存在很大的问题。

由于与模版的差别就不大,这样有很多匹配点,很容易造成误匹配。

(5)在实际的算法实现中无法对两条特征线以及特征线之间的距离进行确定。

如果选定的间距过大,则不能充分利用重叠区域的图像信息。

如果选的过小,则会增加计算量。

基于上述问题,文中进行了算法改进,利用等比例数列的思想,从某个特定列开始,挑选几列像素,就可以更准确地定位到最佳匹配位置。

2.3　改进后的算法改进后的算法步骤:(1)在第一幅图像的重叠区域选取1列像素点,然后在距离第一列像素间隔为span 、23span 和33span 的位置分别选取1列像素点,这样就构成了具有等比・6・ 计算机技术与发展 第20卷例关系的4列像素,分别计算第1列与后面3列像素的比值,作为模板T。

(2)在第二幅图像中,从左边第1列起,选取间隔为span、23span和33span的3列像素,计算对应像素的比值,作为模板S。

(3)计算T和S的差值平方和得到模板ΔT,即为3列像素差值,对ΔT的3列向量的列向量求和,再对3个和值相加得到sum1。

(4)在第二幅图像中取第2列像素,再进行同样的计算,最后得到一组sum值,其中最小的sum值对应的坐标即为与第一幅图像中选择的第1列像素点相匹配的最佳坐标值。

3　重叠区域的图像融合两幅图像找到最佳匹配位置后,由于视角、光照和亮度等原因,直接拼接后的图像容易产生模糊、鬼影和明显的拼缝。

为了改善图片质量和视觉效果,需要对重叠区域图像采用图像融合方法。

加权平均法是一种比较简单实用的图像融合算法[7]。

将两幅图像对应像素点乘以一个加权系数后再相加得到融合的图像。

设图像I1(i,j)的加权系数为α,则融合图像可表示为I(i,j)=αI1(i,j)+(1-α)I2(i,j)。

其中加权系数α∈[0,1];α的选取可以由重叠区域的像素点计算得到,α=s1/(s1+s2),s1为图像1中重叠区域的所有像素和,s2为图像2中重叠区域的所有像素和。

4　实验结果实验是在WinX p+Matlab7.0的平台上实现的。