基于视频流的图像拼接算法

收稿日期：2011-05-13

作者简介：张洋（1985-），男，硕士研究生，主要从事图像处理和模式识别的研究，E-mail:zhangyang0707@ 。

基于视频流的图像拼接算法研究

张洋，李莉，朱蕾蕾

（长春理工大学

计算机科学技术学院，长春130022）

摘

要：本文提出了一种基于特征行的全自动无缝图像拼接算法。该算法首先利用相关系数法找出两幅图像的最佳匹配位

置，然后利用图像融合技术消除两幅图像的差异。匹配算法简单，且具有一定的鲁棒性。该算法最大的特点是其快速性。对工程中需要提高拼接速度的环境，可以达到实时或准实时性的要求。关键词：图像拼接；皮尔森相关系数；图像融合中图分类号：TN911.73

文献标识码：A

文章编号：1672-9870(2011)03-0128-04

The Research of Mosaic Algorithm Based on Video Stream

ZHANG Yang ，LI Li ，ZHU Leilei

（School of Computer Science and Technology ，Changchun University of Science and Technology ，Changchun 130022）Abstract ：An automatic seamless image mosaic method based on feature une is proposed in this paper.The algorithm first find the best matching position of the two images based on the correlation coefficient ，then use the image fusion to eliminate the differences of the two images.The matching algorithm is simple and has much robustness.The biggest characteristic of the algorithm is fast.On the engineering environment which need to increase image mosaic speed ，it can achieve the requirements of real-time or quasi real-time

Key words ：image mosaic technology ；pearson correlation coefficient ；image fusion

基于视频序列的数字图像拼接是指将具有重叠区的多帧视频通过数字配准和融合获得单幅宽视场静态全景图或动态全景图。基于视频序列的数字图像拼接技术主要包括全局快速配准算法、运动目标分割算法和无缝融合算法［1］。近年来，研究人员在图像拼接技术方面做了大量的工作。国内，2008年，马丽涛等提出一种基于条件数的配准算法［2］。方青、王博亮提出了一种新的基于比值模板匹配的彩色像拼接算法［3］。国外，Stein 提出了在相邻帧间进行纹理特征跟踪，求摄像机焦距和帧间偏移距离的算法［4］，每个算法都各有所长，但都在速度、效率方面都有一定的局限性。而现有的基于线匹配的算法大都具有快速性的特点，但鲁棒性普遍较差。

基于以上算法的优缺点，本文提出一种适用于特定场景中摄像头沿着某一方向运动的基于统计相同移动距离的匹配算法，对不是完全规则的复杂背景的工业图片，具有一定的稳定性。该算法首先

利用相关系数法计算两幅图像特定的列列之间的相关关系，然后根据相关系数得到两幅图像的移动距离，通过统计得到的一系列前面得到的移动距离，得到两幅图像的准确匹配位置。该算法只进行简单运算，计算量小，具有一定的实时性和鲁棒性，能够达到基于视频流的实时拼接的要求。

1

基于统计相同移动距离的匹配算

法

以图像的纵向拼接为例来说明此算法的运算

过程，假设单帧图片的大小为m*n ，即n 行m 列，第一帧图片用A 表示，并将图片用矩阵表示：

A =éëê

êêêêêa 11a 21⋮a n 1a 12a 22⋮a n 2…………ù

û

úúúúúúa 1n a 2n ⋮a nm 假设第一帧图片与第二帧图片有60%的重叠

长春理工大学学报（自然科学版）

Journal of Changchun University of Science and Technology （Natural Science Edition ）

第34卷第3期2011年9月

Vol.34No.3Sep.2011

第三期张洋，等：基于视频流的图像拼接算法研究

率，则可以取第一帧图片的50%到最后一列的部分来找最有特征的一列，第一帧图片的50%所对应列的位置为式：

s =n ⋅50%

首先对第一帧图片的s~n 行中，每隔5列取出

一行的像素灰度值与第二帧的每一行进行相关性计算。相关性计算可以使用皮尔森相关系数进行计算。也称皮尔森积矩相关系数(Pearson prod-uct-moment correlation coefficient)，是一种线性相关系数。皮尔森相关系数的计算公式如下：

r =1n -1∑i =1n æè

çöø÷X i -X ˉs X æèçöø÷Y i -Y ˉs Y 皮尔森相关系数是用来反映两个变量线性相关程度的统计量。样本的简单相关系数用r 表示，其中n 为样本量，分别为两个变量的观测值和均值。r 描述的是两个变量间线性相关强弱的程度。

r 的取值在-1与+1之间，若r ＞0，表明两个变量是正相关，即一个变量的值越大，另一个变量的值也会越大；若r ＜0，表明两个变量是负相关，即一个变量的值越大另一个变量的值反而会越小。r 的绝对值越大表明相关性越强，要注意的是这里并不存在因果关系。皮尔森相关系数和直线的斜率及截距无关，相关系数反映的是各点相对于直线的离散程度。若r =0，表明两个变量间不是线性相关，但有可能是其他方式的相关（比如曲线方式）。

假设通过第一帧图像的第s 行与第二帧图像的每一行求相关性，可以在第二帧图像中找到与第一帧第s 行相关性最强的行记为第R 11,R 12,⋅⋅⋅,R 1a 列。

然后，第一帧图像的第s +5行与第二帧图像的每一行求相关性，可以在第二帧图像中找到与第一帧第s +5行相关性最强的行记为第R 21,R 22,⋯,R 2b 行。依此类推，

第一帧图像的第s +5⋅k 行与第二帧图像的每一行求相关性行，可以在第二帧图像中找到与该行相关性最强的行（j 是与第一帧所有行求出最大相关的行）行。那么必然有，第一帧与第二帧图像对应的行的差值是一个定值，所以有公式（4.22）：

p 11=s -R 1,1，p 12=s -R 1,2，⋯，p 1a =s -R 1,a ；

p 21=s +5-R 2,1，p 22=s +5-R 2,2，⋯，

p 2b =s +5-R 2,b ；⋯，

p k +1,1=s +5⋅k -R k +1,1，p k +1,2=s +5⋅k -R k +1,2，⋯，

p k +1,q =s +5⋅k -R k +1,q .

其中q 是第一帧图像第k +1行对应的最大相关性行的数量，统计p 11,p 12,⋅⋅⋅,p 1a ,p 21,p 22,⋅⋅⋅,p 2b ,⋅⋅⋅,p k +1,j 中出现次数最多的值，该值即是第一

帧和第二帧图像正确匹配的行之间的距离，这样就完成了两帧图像之间的匹配，进而进行图像拼接。

利用样本相关系数推断总体中两个变量是否相关，可以用t 统计量对总体相关系数为0的原假设进行检验。若t 检验显著，则拒绝原假设，即两个变量是线性相关的；若t 检验不显著，则不能拒绝原假设，即两个变量不是线性相关的。通过第一帧图像的第K 列与第二帧图像的每一列求相关性，我们可以在第二帧图像中找到与第一帧第K 列相关性最强的一列像素，假设这一列像素为第R 列。然后对两帧图像进行拼接，取第一帧图像的前m -R 列与第二帧图像拼接到一起，即完成了图像的配准拼合，不过此时两帧图像拼合的地方会存在一条线，这是由于两帧图像的拍摄环境和光线强弱等因素有差别而造成了两帧图像灰度值有些许差异。要想达到无缝拼接，需要采用图像融合的方法，将两帧图像过渡带的灰度差异消除。

2图像融合

相邻的两帧图像在配准以后，由于采样的时间和角度以及光线等因素的影响，配准的部分一般会有明暗和变形的可能，为了消除拼接的痕迹，使图像具有一致性，在拼接配准图像以后需要对图像进行融合，以满足无缝拼接的要求。快速实时的算法一般有平均值法和加权平均的融合方法［4］。

平均值法的基本原理是：假设t 1(x ,y )，

t 2(x ,y )是两幅待拼接的图像在(x ,y )处的灰度值，t (x ,y )拼接后的图像在(x ,y )处得灰度值则：

t (x ,y )=ìíîïït 1(x ,y )1

2(t 1(x ,y )+t 2(x ,y ))

t 2(x ,y )

(x ,y )∈t 1(x ,y )∈t 2(x ,y )∈(t 1-t 2)(x ,y )∈(t 1⋂t 2)(x ,y )∈(t 2-t 1)t 1和t 2分别表示两幅待处理图像，t 1-t 2表示第一

幅图像中未与第二幅图像重合的部分。该算法运算速度快，算法简单，如果两幅图像光照度相差比较大，则融合部分可能会出现明显的带状感觉。

加权平均值方法的基本原理是：假如t 1、t 2是两幅待拼接的图像，将图像t 1、t 2在空间叠加，则融合后的图像像素t 可表示为：

129