图像匹配

S i , j (m, n) 根据施瓦兹不等式，0 P 1 ，并且在 T (m, n)
金字塔模板匹配

为了加快搜索速度，很多影像匹配 方法使用金字塔影像。
对影像进行一次采样率为1/n(n=2,3) 的重采样，即把影像的每n×n个 像素变为一个像素，这样就得到一 对长、宽都为原来1/n的影像，把 它作为金字塔的第二层。 再对第二层用同样方法进行一次采 样率为1/n的重采样，又得到第三 层（顶层）。 原始影像作为金字塔影像的底层。 图像配准

图像配准
图像配准
参考图像（主图像） 待配准图像（辅图像）
配准图像
图像配准
用词说明

各种图像配准的文献都会出现“配准、匹配、几何校正” 三个词，它们的含义比较相似。 一般两幅图像之间用“配准（register, registration）”； 寻找同名特征(点) 的过程叫“匹配（match, matching）”; 根据主辅图像之间的几何变换关系，对辅图像进行逐像素 处理变为配准图像的过程叫做“几何校正（geometric correction）”。
3( 21 03 ) 2 ] (321 03 )(21 03 ) [3( 30 12 ) 2 ( 21 03 ) 2 ]
图像配准
2 6 ( 20 02 )[(30 12 ) 2 ( 21 03 ) 2 ] 7 (3 21 03 )(30 12 )[(30 12 ) 3( 21 03 ) 2 ] ( 30 312 )( 21 03 ) 411 ( 30 12 )( 21 03 )
[3( 30 12 ) 2 ( 21 03 ) 2 ]
但实际上大部分文献都采用6个无量纲、消误差的组合不变矩 ：
2 I1 2 1
5 I4 6 1
3 I2 3 1 6 I5 4 1
4 I3 3 1
7 I6 6 1
图像配准
点模式匹配
2
V4
i k
2 ( g g ) r i,ci r i1,ci1
k 1
其中k INT (w / 2)
取其中最小者作为该像素的兴趣值：
V= min{V1，V2，V3，V4}
图像配准

给定一经验阈值，将兴趣值大于该阈值的点（即窗口的 中心点）作为候选点。阈值的选择应以候选点中包括所 需要的主要特征点而又不含过多的非特征点为原则。 取候选点中的极值点作为特征点。在一定大小的窗口内, 将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣 值最大者，该像素即为一个特征点。 如果两个特征点之间的距离过短，则去掉其中一个。否 则，在影像校正时，三角形边长过短将使解算出来的仿 射变换参数出现错误。

图像配准
边缘特征提取

“基于TIN的多源影像几何配准”没有使用边缘提取算子， 所以这里不介绍其算法。
（a）原图
（b）Marr算子结果
（c）Canny算子结果
图像配准
纹理特征

纹理是用来识别目标的重要方法，它是图像中一个很重要 而又难以描述的特性，至今还没有公认的定义。有些图像 在局部区域内呈现不规则性，而在整体上表现出某种规律 性。习惯上把这种局部不规则而宏观有规律的特性称之为 纹理。以纹理特性为主导的图像，常称为纹理图像，如木 材纹理、皮肤纹理、织物纹理等。通过对物体纹理特征的 提取，可以对图像进行分类、配准等操作。
图像配准
Moravec算子
V1
V3
2 2 V 2 ( g g ) ( g g ) r i,ci r i1,ci1 r i,c r i1,c
i k
k 1
k 1
k 1
i k
i k
(g
r ,c i
g r ,ci 1 )
基于特征的配准算法

基于特征的算法(feature-based matching)先提取图像显 著特征，再进行特征匹配，大大压缩了图像信息的数据量， 同时保持了图像的位移、旋转、比例方面的特征，故在配 准时计算量小，速度较快、鲁棒性好。当两幅图像之间的 线性位臵关系不明确时，应使用基于特征的匹配。 一般来说特征匹配算法可分为四步:

图像配准
SUSAN 算法

用一个一定半径的圆模板放臵在图像上（如图）。如果模 板上存在一区域，使该区域上对应图像的每一像素处的灰 度值与圆心的灰度值相同（或相近），那么就定义该区域 为核值相似区，即USAN，其中像素的个数定义为这个模 板的面积。
图像配准
图像配准
SUSAN 算法的基本原理
图像配准
校正步骤
几何精校正一般可分为以下四个步骤： 1.建立原始图像与校正后图像的坐标系。 2.确定控制点对。 3.选择畸变数学模型，比如一次、二次、三次多项式。 4.几何校正的精度分析。
图像配准
图像配准
半自动匹配

1. 用户先把主辅图像进行预处理，先进行重采样、旋转、 去除噪声等，使两幅影像的分辨率、角度等基本一致后， 再进行配准。 2. 用户先指定三个控制点，程序根据三个控制点算出主辅 图像旋转、平移和尺度差异，再用金字塔模板匹配方法进 行配准。

图像配准
配准方法分类

按照配准算法所利用的图像信息，可以分为基于区域的方 法和基于特征的方法 。基于区域的匹配主要是模板匹配和 基于相位（频率）的匹配方法；基于特征的匹配包括基于 特征点集的匹配和基于线特征（图像中边缘信息）的匹配 算法。 按自动化程度可以分为人工、半自动和全自动三种类型 。

图像配准
图像配准
基于TIN的图像配准算法流程
提取主辅图像特征点 特征点匹配 特征点构三角网 建立仿射变换关系 辅图像小面元校正
图像配准
特征类型

灰度特征点。Moravec算子、Forstner算子与Hannah算子。 角点。SUSAN算子, Harris算子，王算子，沈俊算子。


边缘特征（线型）。Canny算子, Marr算子。


1.特征提取;


2.特征描述;
3.特征匹配； 4.非特征像素之间的匹配。 图像配准
基于特征的配准步骤

在特征匹配前，首先要从两幅图像中提取灰度变化明显的 点、线等特征形成特征集。 在两幅图像对应的特征集中利用特征匹配算法尽可能的将 存在匹配关系的特征对选择出来。 通过特征建立两幅图像之间的多项式变换关系，达到以点 代面的效果。 对于非特征像素点，利用上述多项式变换关系来进行几何 校正，从而实现两幅图像之间逐像素的配准。



图像配准
人工匹配步骤

1. 人工选取控制点 2. 多项式匹配

图像配准
用遥感软件进行几何校正
遥感软件的几何校正功能是利用地面控制点(Ground Control Point,GCP)进行的几何校正，它通常用多项式 来近似描述遥感图像的几何畸变过程，并利用控制点求 得这个几何畸变模型，然后利用此模型进行几何校正， 这种校正不考虑畸变的具体原因，而只考虑如何利用畸 变模型来校正图像。
纹理特征。灰度共生矩阵，小波Gabor算子。
图像配准
Moravec算子

Moravec算子是利用灰度方差提取特征点的算子，它在四 个主要方向上，选择具有最大-最小灰度方差的点作为特 征点。其步骤为： 1 计算各像元的兴趣值（Interest Value）。在以像素为中 心w×w的影像窗口中（如5×5的窗口），计算图中所示 四个方向相邻像素灰度差的平方和：



金字塔影像匹配的步骤

第一步：顶层的匹配，得到一个平移初始值 。 第二步：根据平移初始值乘以n得到第二层平移量初始值， 在它m×m个像元的邻域内进行模板匹配。 第三步：根据第二层匹配值乘以n得到第三层平移量初始 值，再进行一次模板匹配。


如果影像尺寸不是特别大，可以只用两层金字塔。
图像配准
2 2 (20 02 )2 411
1 20 02
3 (30 312 ) (321 03 )
2 2
4 (30 12 )2 (21 03 )2
5 ( 30 312 )(30 12 )[(30 12 ) 2


图像配准
角点提取-SUSAN算子

SUSAN 算法是由英国牛津大学的S. M. Smith , J . M. Brady 首先提出的,它主要是用来计算图像中的角点特征的。 SUSAN 算法的特点:

1. 对角点的检测比对边缘检测的效果要好,适用于基于 角点匹配的图像配准; 2. 无需梯度运算,保证了算法的效率; 3. 具有积分特性(在一个模板内计算SUSAN 面积),这样 就使得SUSAN 算法在抗噪和计算速度方面有较大的改进。
P
S
m 1 n 1 i, j M M m 1 n 1
M
M
i, j
(m, n) T (m, n)
2 2 [ T ( m , n )] m 1 n 1 M M
[S (m, n)]

比值为常数时取极大值为1。但实际上两幅不同图像的P值 介于0和1之间，很难达到理想值。根据经验取某个阈值P0， 如果P> P0，则匹配成功； P< P0，则匹配失败。 图像配准
图像配准的用途意义

图像配准（或图像匹配）是评价两幅或多幅图像的相似性 以确定同名点的过程。图像配准算法就是设法建立两幅图 像之间的对应关系,确定相应几何变换参数,对两幅图像中 的一幅进行几何变换的方法。 图像配准是图像分析和处理的基本问题。它在航空影像自 动制图、图像三维重构、计算机视觉、遥感融合、模式识 别、医学图像处理、影像分析等领域都有重要应用。

图像配准
点模式匹配

Pengyu Hong等用图论的方法，把两点集看作两个无向图， 然后提取它们的同构子图，但其算法复杂，只能用于匹配 简单图片（如商标），对于复杂图片计算量过大。 罗纲等以传统的Umeyama 点集相关度量为基础,结合 Procrustes正规化方法,通过引入加权矩阵得到新的相关度 量函数,解决了传统方法要求点集维数相同的缺点，经过迭 代运算,可对存在几何失真,且维数不同的两点集进行精确配 准，但计算量较大。

模式识别中的点模式匹配，使用特征点集中点与点之间的 位臵关系进行匹配，较少（或没有）利用图像灰度、纹理 和边缘信息，所以它对图像之间的旋转、灰度、纹理、分 辨率等差异不敏感，能够匹配不同传感器的图像，且能进 行图像之间的全自动配准。 匹配两个特征点集的实质是找到它们的同构子集。 要用到较多的数学知识。

图像配准
全自动匹配

不需要用户事先提供任何信息，单纯依据两幅图像自身的 信息进行匹配计算。由于主辅图像之间存在旋转、平移和 尺度差异，如何找到初始定位信息是其难点。 方法多种多样。包括直方图匹配、Hu不变矩、金字塔模

板匹配、小波Gabor 算子、基于空间变换的方法等。将在 后面特征点匹配部分讲述。

图像上每一点都有一个邻近的具有相似灰度值的局部区域 是SUSAN 算法的基础。这个局部区域或USAN 包含了许多 关于图像结构的信息。 SUSAN 算法的基本原理是：在每个像素移动一个小的圆 形模板以检测局部信息，并利用预先设定的亮度阈值比较 模板核及其周围像素的亮度值，亮度值相同或相近的为一 个USAN，最后通过面积最小的USAN 检测角点。
模板匹配

模板匹配法是在一幅影像中选取一个的影像窗口作模板， 大小通常为5×5或7×7，然后通过相关函数的计算来找到 它在搜索图中的坐标位臵。设模板T放在搜索图S上平移， 模板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在S 图中的坐标(i,j)，叫参考点。
图像配准
相似性测度

用以下测度来衡量T和Si,j的相似程度：
图像配准

Βιβλιοθήκη Baidu
局部不规律，整体具有一定规律性的特性。

基本单元的重复性

粗糙性
方向性

图像配准
提取纹理特征的方法

灰度共生矩阵。

基于小波的Gabor算子。
图像配准
直方图匹配
图像配准
Hu不变矩

1962年Hute提出Hu不变矩，它对于匹配影像之间的平移、 旋转和大小尺度变化具有自适应性 ，但它只适用于相似 变换，不适于仿射变换。Hu最初用以下7个不变矩公式来 描述目标特征: