图像拼接原理

图像拼接：图像拼接技术就是将数张有重叠部分的图像(可能是不同时间,不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。使用普通相机获取宽视野的场景图像时，因为相机的分辨率一定，拍摄的场景越大，得到的图像分辨率就越低；而全景相机、广角镜头等不仅非常昂贵，而且失真也比较严重。为了在不降低图像分辨率的条件下获取超宽视角甚至3 6 0度的全景图，利用计算机进行图像拼接被提出并逐

渐研究发展起来。现在，图像拼接技术已经成为计算机图形学的研究焦点，被广泛应用于空间探测、遥感图像处理、医学图像分析、视频压缩和传输、虚拟现实技术、超分辨率重构等领域。图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。图像拼接的方法很多，不同的算法步骤会有一定差异，但大致的过程是相同的。一般来说，图像拼接主要包括以下五步：

a ) 图像预处理。包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作。

b ) 图像配准。就是采用一定的匹配策略，找出待拼接图像中的模板或特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。

C ) 建立变换模型。根据模板或者图像特征之间的对应关系，计算

出数学模型中的各参数值，从而建立丽幅图像的数学变换模型。·

d ) 统一坐标变换。根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换。

e ) 融合重构。将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。图像拼接的关键是精确找出相邻丽张图像中重叠部分的位置，然后确定两张图像的变换关系，即图像配准。由于视角、拍摄时间、分辨率、光照强度、传感器类型等的差异，待拼接的图像往往存在平移、旋转、尺度变化、透视形变、色差、扭曲、运动目标遮挡等差别，配准的目的就是找出一种最能描述待拼接图像之间映射关系的变换模型。E l 前常用的一些空间变换模型有平移变换、刚性变换、仿射变换以及投影变换等。图像的平移关系比较容易检测和配准，但旋转和尺度缩放的检测比较困难。许多新的图像配准算法都是针对这一特点进行算法设计的。图像融合是图像拼接的另一个关键技术。图像融合是将两幅已配准图像中有用信息综合到一幅图像中并以可视化方法显示的技术。配准后的图像由于分辨率和视角的不同以及光照等因素的影响，有时甚至是多光谱图像之间进行的拼接，在图像拼接的重叠部分有时会产生模糊、鬼影或噪声点，边界处也可能形成明显的拼缝。为了改善拼接图像的视觉效果和客观质量，需要对拼接后的图像进行融合。

RANSAC算法:RANSAC算法是一种参数估算方法,其基本思想是针对不同问题,设计不同目标函数,在原始数据集中随机抽取M 组抽样,每一组抽样的数据量根据目标函数而定。用M组抽样分别估算目标函数参数初始值,再计算每一组的参数初始值所对应的内点(满足这一组参数初始值的数据点)和外点(不满足这一组参数初始值的数据点)。统计每一组参数初始值的内点数,内点数目越大,模型参数越好,最后根据一定的评选标准, 找出最优目标函数的参数初始值。下面给出估算变换矩阵的RANSAC算法步骤:

Step1：根据2幅图像存在的投影变换关系,确定一个变换函数, 本文采用的是射影变换,它符合平面目标在不同视点、视角拍摄图像之间的变换关系, 2幅图像对应特征点满足如下变换关系

其中, 为第i对匹配的特征点对, 是匹配图特征点, 通过变换矩阵后, 得到变换后的对应特征点，如果参数模型是正确的, 则应该有。Step2：从特征点对集S中随机反复的抽取一组数据, 每一组抽样的样本数为估算模型所需最小数据量, 计算该组抽样对应的模型。Step3：用集合S所有的数据来检验模型, 即进行全数据检验, 统计满足该模型的内点数量, 以及内点变换点和内点匹配点的欧式距离之和, 距离和公式如下：

其中, num为满足模型的内点数量;

Step4：根据内点数量和欧式距离和来选择模型参数;

Step5：重复Step2、3 ,直到选出满足评选标准的模型,找出这个模型对应的内点,并用这些内点计算出最终的模型参数。RANSAC算法中,为保证在一定的置信概率P下,在M次抽样中至少有一组全是内点,这就要求抽样次数M足够大,利用式(3),可得置信概率P、数据错误率(外点在原始数据中所占的比例)、抽样数M和计算模型参数需要的最小数据量m之间的关系, 即

由公式可以看出：m, M,P和ε成指数关系, P不变时, M随ε，m的变大而变大,当抽样数M 变大,就有更多模型进行全数据检验, 所以当原始数据量庞大、模型复杂、数据错误率高时,直接造成RANSAC算法效率下降。以上分析可知,提高RANSAC算法效率,可从减少抽样次数和减少模型数据检验时间方面来考虑。