图像匹配

6
金字塔模板匹配
为了加快搜索速度，很多影像匹配 方法使用金字塔影像。
对影像进行一次采样率为1/n(n=2,3) 的重采样，即把影像的每n×n个像 素变为一个像素，这样就得到一对 长、宽都为原来1/n的影像，把它 作为金字塔的第二层。
再对第二层用同样方法进行一次采 样率为1/n的重采样，又得到第三 层（顶层）。
MM
Si, j (m,n)T(m,n)
P
m1n1
MM
MM
[Si,j(m,n)]2
[T(m,n)]2
m1n1
m1n1
根据施瓦兹不等式，0P1，并且在 S i, j (m , n ) T (m,n)
比值为常数时取极大值为1。但实际上两幅不同图像的P值
介于0和1之间，很难达到理想值。根据经验取某个阈值P0， 如果P> P0，则匹配成功； P< P0，则匹配失败。
2. 用户先指定三个控制点，程序根据三个控制点算出主辅 图像旋转、平移和尺度差异，再用金字塔模板匹配方法进 行配准。
15
全自动匹配
不需要用户事先提供任何信息，单纯依据两幅图像自身的 信息进行匹配计算。由于主辅图像之间存在旋转、平移和 尺度差异，如何找到初始定位信息是其难点。
方法多种多样。包括直方图匹配、Hu不变矩、金字塔模
图像配准的用途意义
图像配准（或图像匹配）是评价两幅或多幅图像的相似性 以确定同名点的过程。图像配准算法就是设法建立两幅图 像之间的对应关系,确定相应几何变换参数,对两幅图像中的 一幅进行几何变换的方法。
图像配准是图像分析和处理的基本问题。它在航空影像自 动制图、图像三维重构、计算机视觉、遥感融合、模式识 别、医学图像处理、影像分析等领域都有重要应用。
模板匹配法是在一幅影像中选取一个的影像窗口作模板， 大小通常为5×5或7×7，然后通过相关函数的计算来找到 它在搜索图中的坐标位置。设模板T放在搜索图S上平移， 模板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在S 图中的坐标(i,j)，叫参考点。
5
相似性测度
用以下测度来衡量T和Si,j的相似程度：
19
Moravec算子
18
Moravec算子
Moravec算子是利用灰度方差提取特征点的算子，它在四 个主要方向上，选择具有最大-最小灰度方差的点作为特 征点。其步骤为：
1 计算各像元的兴趣值（Interest Value）。在以像素为中心 w×w的影像窗口中（如5×5的窗口），计算图中所示四 个方向相邻像素灰度差的平方和：
8
基于特征的配准算法
基于特征的算法(feature-based matching)先提取图像 显著特征，再进行特征匹配，大大压缩了图像信息的数据 量，同时保持了图像的位移、旋转、比例方面的特征，故 在配准时计算量小，速度较快、鲁棒性好。当两幅图像之 间的线性位置关系不明确时，应使用基于特征的匹配。
12
校正步骤
几何精校正一般可分为以下四个步骤： 1.建立原始图像与校正后图像的坐标系。 2.确定控制点对。 3.选择畸变数学模型，比如一次、二次、三次多项式。 4.几何校正的精度分析。
13
14
半自动匹配
1. 用户先把主辅图像进行预处理，先进行重采样、旋转、 去除噪声等，使两幅影像的分辨率、角度等基本一致后， 再进行配准。
一般来说特征匹配算法可分为四步: ➢ 1.特征提取; ➢ 2.特征描述; ➢ 3.特征匹配； ➢ 4.非特征像素之间的匹配。
9
基于特征的配准步骤
在特征匹配前，首先要从两幅图像中提取灰度变化明显的 点、线等特征形成特征集。
在两幅图像对应的特征集中利用特征匹配算法尽可能的将 存在匹配关系的特征对选择出来。
板匹配、小波Gabor 算子、基于空间变换的方法等。将在 后面特征点匹配部分讲述。
16
基于TIN的图像配准算法流程
提取主辅图像特征点 特征点匹配
特征点构三角网 建立仿射变换关系 辅图像小面元校正
17
特征类型
灰度特征点。Moravec算子、Forstner算子与Hannah算子。 角点。SUSAN算子, Harris算子，王算子，沈俊算子。 边缘特征（线型）。Canny算子, Marr算子。 纹理特征。灰度共生矩阵，小波Gabor算子。
通过特征建立两幅图像之间的多项式变换关系，达到以点 代面的效果。
对于非特征像素点，利用上述多项式变换关系来进行几何 校正，从而实现两幅图像之间逐像素的配准。
10
人工匹配步骤
1. 人工选取控制点 2. 多项式匹配
11
用遥感软件进行几何校正
遥感软件的几何校正功能是利用地面控制点 (Ground Control Point,GCP)进行的几何校正，它通 常用多项式来近似描述遥感图像的几何畸变过程，并利 用控制点求得这个几何畸变模型，然后利用此模型进行 几何校正，这种校正不考虑畸变的具体原因，而只考虑 如何利用畸变模型来校正图像。
3
配准方法分类
按照配准算法所利用的图像信息，可以分为基于区域的方 法和基于特征的方法 。基于区域的匹配主要是模板匹配和 基于相位（频率）的匹配方法；基于特征的匹配包括基于 特征点集的匹配和基于线特征（图像中边缘信息）的匹配 算法。
按自动化程度可以分为人工、半自配
原始影像作为金字塔影像的底层。
7
金字塔影像匹配的步骤
第一步：顶层的匹配，得到一个平移初始值 。 第二步：根据平移初始值乘以n得到第二层平移量初始值，
在它m×m个像元的邻域内进行模板匹配。 第三步：根据第二层匹配值乘以n得到第三层平移量初始值，
再进行一次模板匹配。 如果影像尺寸不是特别大，可以只用两层金字塔。
1
图像配准
参考图像（主图像） 待配准图像（辅图像）
配准图像
2
用词说明
各种图像配准的文献都会出现“配准、匹配、几何校正” 三个词，它们的含义比较相似。
一般两幅图像之间用“配准（register, registration）”；寻 找同名特征(点) 的过程叫“匹配（match, matching）”; 根据主辅图像之间的几何变换关系，对辅图像进行逐像素 处理变为配准图像的过程叫做“几何校正（geometric correction）”。