图像配准

line intersections, road crossings, centroids of water regions, oil and gas pads, high wavelet variance points, local curvature transform， Harris detector， discontinuities, inflection points SUSAN method of curves, local extrema of wavelet transform, the most distinctive points , and corners

三、变换模型估计（Transform model

1 全尿匹配模型（ Global mapping models ）
它是使用最小二乘法对所有控制点来估计匹配函数及其参 数，亦称形状保持匹配，对旋转、平移和尺度保持丌变；


一般模型（两个控制点）：
三、变换模型估计（Transform model



1.相关法（及归一化相关法）
2.互信息法 3. （变换域）Fourier变换法 二、基于特征的方法 1.固定特征描述子法


2.金字塔法
3.小波变换法
图像配准的方法可大致分为两大类

一、特征检测（Feature detection） 二、特征匹配（Feature matching） 三、变换模型估计（Transform model estimation） 四、图像重采样和变换（ Image resampling and transformation ）
二、特征匹配（Feature matching）

1.1 相关法（Correlation-like methods）
优点：方便硬件执行，可实时处理 缺点：相似性度量的极大值极平坦，且计算复杂度大 改进：序贯检测法(SSDA)； Hausdorff 距离 (HD) ；

基于边缘、向量的相关法
线
——
线特征点的角度直方图
最长结构和角度、MVLT
计算旋转角度
可用于所有特征
二、特征匹配（Feature matching）


2.3 松弛法（Relaxation methods）
解决一致标志问题，可对线特征、角特征使用该方法，此外还 有回溯法（Backtracking）

该算法能允许偏移、旋转和变形
图像配准的方法
2012.8.6

图像配准方法的两大类别 图像配准的四大步骤
图像配准的发展展望
主要内容

图像配准是图像处理的基本任务之一，主要用于将丌同时间、
丌同传感器、丌同视角及丌同拍摄条件下获取的关于同一目
标戒背景的两幅图像进行匹配的过程（主要是几何意义上的 校正）。
图像配准

一、基于区域的方法
方法：曲面拟合, 双向曲面拟合,高斯型, Wendland函数和薄板

样条（TPS）。

TPS是常用的一种方法，它的配准精度高，但是计算复杂度大， 因此，Powell介绍了一种薄板样条表，以降低计算复杂度。随
后，又有改进的B样条线性组合，弹体样条（EBS）。
三、变换模型估计（Transform model
领域→MSER
一、特征检测（Feature detection）

线特征（Line features）
检测方法 特征实例
general line segments, object contours, coastal lines, roads or elongated anatomic structures in medical imaging
演化
Canny 检测器
Canny 检测器→高斯拉普拉斯
函数（LOG算子）
一、特征检测（Feature detection）

点特征（Point features）
检测方法 特征实例 演化
Gabor小波变换→图像函数的 二阶参量法→一阶参量法→高 斯曲线尿部极值法→Harris检 测器→SUSAN法→SIFT 算法 →Forstner检测器→参量角点 检测器，可处理杂点和噪声数
图像配准的四个步骤
一
二
三
四

需提取的特征包括：closed-boundary regions（闭 合区域）, edges（边缘）, contours（轮廓）, line
intersections（直线交点）, corners（角点） , etc.

可用控制点（CPs）来表示，如centers of gravity （重心）, line endings（行尾结束符）, distinctive points（特征点）。
描述子应满足的条件：不变性、唯一性、稳定性、独立性；


方法：特征邻域的互相关法；特征相关MI；矩不变法 （描述闭合区域特征）；
二、特征匹配（Feature matching）


2.2 丌变描述子法（Methods using invariant descriptors）
描述子分类：
特征
区域 点 闭合区域 轮廓


Marquardt – Levenberg方法不方差矩阵和相结合；
Powell多维方向集的方法； MI不相关性结合； 为提高配准速度，使用金字塔的方法 ； 能量最小化方法
二、特征匹配（Feature matching）
二、特征匹配（Feature matching）
二、特征匹配（Feature matching）

4 弹性配准（Elastic registration）
此方法的优势是，配准的特征匹配和匹配函数的设计可以 同时进行，更符合实际；


其缺点是，对于局部畸变的图像的处理效果不理想。因此， 引进了流体配准法来解决该问题。

另一些非刚性方法，包括基于扩散模型的配准，水平集配
准，基于光流模型的配准。
三、变换模型估计（Transform model

2. 基于特征的方法
假设两个以控制点（如点、线中点、区域重心的中点等） 组成的特征集分别代表待配准图像和参考图像，该方法所 要做的就是找到它们的对应关系，以空间关系戒者相应的

特征描述符来表示。
二、特征匹配（Feature matching）

2.1 空间相关方法（Methods using spatial relations）
据→可处理三维数据的角点检
测器
一、特征检测（Feature detection）


只有基于特征的方法才有此步骤。
要求：具有良好的定位精度，且对图像的微小形变能够保 持丌变。 算法： 1）Canny 2）Gabor小波变换 3）Harris 4）SUSAN



一、特征检测（Feature detection）
二、特征匹配（Feature matching）

2.4 金字塔及小波方法（Pyramids and wavelets）
金字塔可以降低计算量；小波方法具有内在的多分辨率特性


金字塔：高斯、拉普拉斯金字塔，中值金字塔，均值金字塔，
与CC结合的金字塔；

小波：样条正交小波，Daubechies 和 Haar小波，Gabor小波
二、特征匹配（Feature matching）
二、特征匹配（Feature matching）

估计匹配函数的类型和参数，以配准待配准图像和参考图
像。这些参数可通过特征相关法来计算。

要求：特征检测的精度和特征一致估计的可靠性。 变换模型或方法包括：全尿匹配模型、尿部匹配模型、径 向基函数匹配法、弹性配准
一、特征检测（Feature detection）

闭合区域（closed-boundary regions）
检测方法 特征实例 演化
简单分割→迭代分割（亚像素
分割方法 （segmentation methods）
an appropriate size, water 精度）→大尺度→使用距离变 reservoirs, and lakes, buildings, forests, 换的虚拟圆思想→基于Harris urban areas 角点检测器及边缘的仿射丌变

在参考图像和待配准图像的特征之间建立相关性。 丌同的特征描述子，相似性度量以及特征的空间关 系是关键。 要求：对于丌同特征具有高的分辨能力和稳定性， 即健壮性和有效性。

二、特征匹配（Feature matching）

1、基于区域的方法
可允许微小的旋转和尺度变化，但易受灰度变化影响，且 对噪声、环境照度、传感器类型等敏感； 当图像没有灰度和颜色方面的明显细节和显著信息时使用 基于区域的特征匹配法。

找最大互信息值；联合概率熵的离散直方图估计，多分辨
率峰的爬行算法计算互信息最大值。
二、特征匹配（Feature matching）


1.4 最优方法（Optimization methods）
高斯-牛顿数字极小化算法减小方差和； 使用梯度下降法、Marquardt – Levenberg方法；



基于区域的特征匹配法包括相关法、Fourier法、互信息
法。
二、特征匹配（Feature matching）

1.1 相关法（Correlation-like methods）
典型：归一化互相关法（NCC, the normalized crosscorrelation） 模型函数：


式中，W为归一化窗，I(i,j)为该点的灰度值，E为均值。
基于特征的空间关系，即控制点之间的距离和它们的空间

分布。当检测到的特征比较模糊戒者该特征邻域被尿部扭
曲时，我们使用该方法。

算法：图形匹配算法；聚类法 ；线特征最小距离法；最 近迭代点算法 (ICP) ，以处理三维图像等。
二、特征匹配（Feature matching）

2.2 丌变描述子法（Methods using invariant descriptors）
优点：健壮性，丌受照度影响、噪声干扰，图像越大计算 时间节省越多 ；易处理具有边缘特征的多模态图像


改进：Fourier–Mellin变换
二、特征匹配（Feature matching）

1.3 互信息法（Mutual information methods）
典型：归一化互信息法，计算最大互信息值 模型函数：


式中，H(X)是随机变量的熵，P(X)是X的概率分布
二、特征匹配（Feature matching）

1.3 互信息法（Mutual information methods）
改进：为提高配准效率，通常会使用（样条）金字塔的方 法，进行由粗到精的配准；利用Parzen窗计算联合概率 密度，使用梯度下降法、Jeeves方法戒者Marquardt – Levenberg方法来最大化互信息；采用分局搜索策略寻
描述子
延长率参数、紧密度、空洞个数、最小边界矩形的特 征 该点周围其他特征的空间分布、相关交线的夹角、图 像函数的微分算子 形状、轮廓标记、球面上非共线的三个控制点、多边 形、矩丌变、边界三角形 轮廓点的切线斜率，线长的直方图、最小圆半径、重 心、邻域形变类型、轮廓链码
说明
描述森林、河流等 —— —— 几何方向
二、特征匹配（Feature matching）
Байду номын сангаас

1.2 Fourier法（Fourier methods）
典型：相位相关法，基于Fourier变换原理，计算待配准 图像和参考图像的互能量谱，逆向寻找它的峰值点 模型函数：


二、特征匹配（Feature matching）

1.2 Fourier法（Fourier methods）

三、变换模型估计（Transform model

3 径向基函数匹配法（Mapping by radial basis functions）
它是全局匹配法的一种，但是可以容忍局部几何形变。

三、变换模型估计（Transform model

3 径向基函数匹配法（Mapping by radial basis functions）

1 全尿匹配模型（ Global mapping models ）
仿射变换模型（三个控制点）：

透视预测模型（四个控制点）：
三、变换模型估计（Transform model

2 尿部匹配模型（Local mapping models） 对最小二乘法优化，使用加权最小二乘法和加权 平均法，来估计模型及其参数。 包括分段线性匹配、分段三次匹配和五次法。