配准综述

图像配准是对取自不同时间，不同传感器或者不同视角的同一区域的两幅或者多幅图像进行匹配叠加的过程。

随着技术手段的不断发展，人们对图像配准的要求也越来越离。

包括配准方法的鲁棒性、算法的难易程度、算法的自主性等都是考量算法的指标。

图像配准的方法中，有人提出过被广泛认同的四个巧骤：a．特征空间的选择特征空间是指将运用到配准中元素的集合。

特征空间包括很多方面，比如像素值，比如点、线，或者平面甚至是曲面。

b．搜索空间搜索策略是指一系列配准变换操作的集合。

搜索空间是建立在几何形变基础上的。

而几何形变一般包括全局的和局部的几何形变。

典型的全局变形包括平移，缩放，扭曲等变形以及它们的组合。

而局部形变，对变换参数要求比较苛刻，因为某一套变换参数只能作用在局部形变区域，而其余区域需采用插值技术补充。

然而，另外的变形区域则需要另外的变换参数去表述。

在一般的处理中，我们将变换模型看成是一种先验知识。

不然则需要考量所有的变换模型。

c．搜索策略搜索策略是实施变换的依据。

它的存在是为了找寻变换模型的最优解。

常用的搜索策略有松弛模型法、牛顿法和共扼梯度法。

d．相似性度量相似性度量是对采用的变换模型的评价。

相似性度量主要是采用参考图像和配准图像之间的共有的特征之间的差异比较的方法来评价配准的情况。

这其中的差异可以包括点位的误差，或者是灰度值相关的差异，还可以是在变换域之间的差异值等等。

最常见的相似性度量是检测特征的欧氏距离。

上述的几个步骤构成了图像配准的基本框架。

许许多多的算法充斥其中产生了种类繁多的配准方法。

下面主要介绍下几种典型的配准算法。

目前典型的配准算法中大致可分成基于灰度、基于特征和基于模型的方法。

基于灰度的配准算法基于灰度的算法中，重点是对图像配准的过程上，而不是特征集的选择上。

很多时候基于灰度的方法都会采用矩形窗口在图像上遍历。

根据窗口的设计，去选取变换的模型，因此如果图像中有比较复杂的变换，则这种方法的适用性就很小了，而且当图像在灰度上的表现比较平滑，那么误配准的情况就会很大。

经典的灰度区域的特征匹配方法主要包括相关系数法、傅里叶变换法、互信息法、最小二乘法以及核线相关法。

（1）相关系数法相关系数是标准化的协方差函数，协方差函数除以两信号的方差便可求得相关系数。

其具体操作过程为：在参考影像上的某点，为了找到他的同名点，这个⨯的区域序列，当然，一般来说n的取值为奇数。

并点为中心，周围选择n n且根据所选取的这个点，大致估计出配准影像上点的位置。

并在配准影像上取等大的配准窗口，这个窗口称为相关窗口。

再用下文将提到的公式计算相关系数。

若相关系数接近１或者-１时就表示二者区域的相关程度非常高。

也就是被认为是同名点。

当相关系数为１是表示完全正相关，当相关系数为-１时，表示二者完全负相关。

其配准过程可以分为几个步骤：⨯的区域作为目标a．首先在参考图像选取以目标点为中心，大小为m n区域T1，并且最好可以确保目标区域的中心处于特征点或者特征地物上。

然后确定搜索区域S1，使得S1中必须要完整的包含一个模板T1，其位置确定可以是采用大致估计，或者粗加工处理后的坐标相对误差来确定。

b．移动模板，模板遍历搜索区域，取相关系数最大的位置，其中心位置被认为是同名点。

其中在找同名点的过程中，可以设定一个阀值，当所求得的相关系数值，不满足阀值，则可表示这个区域内找到的同名点失效。

c．选取下一个区域，照１，２步骤继续选取。

选择足够的同名点作为点集。

d．当点集数量足够的时候便可以进行图像配准了。

配准的方法有很多，比如可以选择多项式拟合等。

该方法最大的优点就是简明易懂，但是这个方法的计算量相对比较大。

而且对点集的选择有要求。

点集不能选择过于集中，最好是可以均匀的分布整个图幅。

虽然这个方法能精确的配准具有平行关系的图像。

但是不适用于图像的尺度和旋转变化大的情况。

而且该方法直接作用在图像强度上，并没有对图像进行结构分析。

所以对图像的强度变化、噪声、明暗变化甚至传感器的类型都很敏感。

（2）互信息法互信息法是最近研究比较多的方法，尤其是在多模态图像配准领域。

互信息法以信息论为基础，用信息熵去衡量两个区域的相似程度。

这个方法可以避免特征点的选取，它可以根据像素的灰度值直接计算相似性度量函数。

或者说是直接用熵来衡量，熵的形式有多种。

其中Shannon 熵的相似性度量是目前运用比较广的。

在信息论中，熵表示的是不确定性的量度，互信息是基于熵的一个概念，两幅图像A ,B 的熵，以及A ,B 的联合熵分别定义为：()()lg ()a H A p a p a =-∑ (5-1)()()lg ()b H B p b p b =-∑ (5-2),(,)(,)lg (,)a bH A B p a b p a b =-∑ (5-3) 其中ａ，ｂ表示图像的灰度值，()p a ，()p b 分别表示像素出现的概率。

而互信息是基于摘的概念，它表征两个随机变量的相关性大小。

在图像范畴则可以看成是两幅图像之间相互包含的程度。

对于两幅图像互信息的定义为：(,)()()()()MI X Y H Y H Y X H X H X Y =-=- (5-4)其中，()(lg(()))H Y Ex P X =-代表随机变量的熵，()P X 为X 的分布概率。

互信息的重要思想是虽然同一个景物不同传感器成像后，灰度值上会有差异，但是在灰度值的变化率或者灰度值的分布上却是基本一致的。

它认为配准图像和参考图像会在配准位置上表现出分布的方差最小。

该表达式可表示为：a ()()()()a b B A b B A n n a b PIU N a N b σσμμ=+∑∑ (5-5)其中N 表示全部像素的数目；a n ，b n 分别表示图像A ,B 重叠区域灰度值为a ，b 的像素数目。

其中：1()()a B A au a B x n Ω=∑ (5-6) 1()()b A B b u b A x n Ω=∑ (5-7) []21()()()a B A B aa B x a n σμΩ=-∑ (5-8) []21()()()b A B A b b A x b n σμΩ=-∑ (5-9)式中()aA B x Ω∑表示图像A 中灰度值为a 的像素在图像B 中对应位置的像素灰度值之和。

()bB A x Ω∑表示图像B 中灰度值为b 的像素在图像A 中对应位置的像素灰度值之和。

根据图像的Shannon 熵的定义：lg i i i H p p =-∑，其中i i N p N= (5-10) 图像的联合熵为：(,)lg ij ij ij H A B p p =-⋅∑，其中ij ij N p N= (5-11) 用()H A ，()H B 表示图像A ，B 的熵，归一化后互信息表示为：(,)()()(,)I A B H A H B H A B =+- (5-12)()()(,)H A H B NMI H A B += (5-13) 联合熵表达了两幅图像联合分布和独立分布之间的距离。

取值的大小表达两幅图像相关性的大小。

当图像配准时，那么这两个灰度的联合熵取得最大值。

同上文介绍的相关系数方法一样，信息熵和相关系数定义了一个配准点集的相似程度。

然后根据两者的相关性或者重叠信息最大的原理进行图像配准。

同时，这两种方法在本质上是一致的，Roche(1998)也证明了送两种方法在统计框架下只是不同参数的最大似然估计。

（3）傅里叶变换方法傅里叶变换方法的主要思想是将图像转换为频域范围内进行考量。

将图像的平移、旋转等变换在频域范围内表达出来。

图像的平移的傅里叶表达为：1112(,)(,)I X X Y Y I X Y ++= (5-14)11()''(,)(,)x y i w X w Y x y x y I w w e I w w += (5-15)很多时候傅里叶方法是和相位相关技术相结合。

相位相关技术是一种基于频域范围的非线性的相关技术。

根据求解频率的相位相关系数可以快速的找到配准点位置。

（4）高精度最小二乘法高精度最小二乘法的主要思想是利用参考影像和配准影像之间的灰度差的均方根最小，为了抵偿两个窗口之间的差异，引入一些变换参数，并且将这些参数纳入到最小二乘的线性化误差方程，进行逐步迭代。

算法步骤可大致分为以下几步。

在参考影像和配准影像上选取对应点。

根据其坐标关系，表达为：201121201121,x a a x a y y b b x b y =++=++ (5-16)a ．根据上述方程可以确定６个待定参数。

首先选取初始值，一般取00a =，11a =，20a =，00b =，10b =，21b =。

b ．重采样。

对初始迭代的结果影像采取双三次内插采样，或者双线性内插采样。

c ．辐射畸变校正。

根据量影像的灰度关系，通过下式进行畸变校正。

2011(,)g h h g x y =+ (5-17)其中2g ，1g 分别是两影像的灰度值，一般都选取00h =，11h =为迭代初值．d ．计算两影像之间的相关系数。

e．利用最小均方根误差原则求畸变参数的改正值。

f．计算其余待定参数。

再从步骤１开始计算。

g．计算最佳配准点位置，以灰度值的重心为目标点利用所求的参数对影像校正。

便可得到配准影像的匹配位置。

若相关系数大于１则跳出。

该算法是在几何上探合了相关系数法和最小二乘法，经过逐步迭代的过程找到两影像间均方根误差最小的位置。

这种算法由于采用了重访迭代过程所以可以获取比较高的精度，但正因为如此，也给该方法带来了比较大的计算量。

基于特征的图像配准算法相对于基于灰度的配准方法而言，基于特征的方法不看重图像上的灰度值，而是从参考影像和配准影像上提取特征元素。

再根据特征元素的对应关系求解变换模型的参数来达到配准的目的。

正是因为如此，所以该方法中，对传感器的种类要求和摄影瞬间光照位置的差异不是很敏感。

同样该方法也包含了特征元素的选择、特征匹配、相似性度量等。

特征元素包括点元素、线元素和面元素。

其中点元素主要是指图像的边缘点、角点甚至线的交点。

线元素则包括线的长度，方向，甚至线的方向作为参数。

面特征通常是采用分割方法得到。

特征匹配是根据参考图像和待配准影像中提化的特征信息以及它的属性，求出两图像之间的几个变换的模型参数。

相似性测度是用来度量参考图像和配准图像之间的待征集的相似性。

他是反映特征匹配中所求参数的准确程度。

同时相似性选择集也是决定配准结果好坏的重要因素。

目前相似性测度主要采用配准基元的两个方面的属性信息：一种是在变换模型约束的条件下参考影像和基准影像之间的空间关系。

一种是两种基元之间的不变描述。

本节主要介绍了基于角点检测和基于图像描述符的配准方法。

角点是指图像边缘曲线上的曲率局部极大值，或者是先设定某个闽值，当曲率大于设定的这个值的时候便认为是角点。