遥感图像配准
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2013-7-19
26
边缘特征提取
“基于TIN的多源影像几何配准”没有使用边 缘提取算子，所以这里不介绍其算法。
（a）原图
27 2013-7-19
（b）Marr算子结果
（c）Canny算子结果
纹理特征
纹理是用来识别目标的重要方法，它是图像中 一个很重要而又难以描述的特性，至今还没有 公认的定义。有些图像在局部区域内呈现不规 则性，而在整体上表现出某种规律性。习惯上 把这种局部不规则而宏观有规律的特性称之为 纹理。以纹理特性为主导的图像，常称为纹理 图像，如木材纹理、皮肤纹理、织物纹理等。 通过对物体纹理特征的提取，可以对图像进行 分类、配准等操作。
32 2013-7-19
2 6 ( 20 02 )[(30 12 ) 2 ( 21 03 ) 2 ] 7 (3 21 03 )(30 12 )[(30 12 ) 3( 21 03 ) 2 ] ( 30 312 )( 21 03 ) 411 ( 30 12 )( 21 03 )
2013-7-19
4
配准方法分类
按照配准算法所利用的图像信息，可以分为基 于区域的方法和基于特征的方法 。基于区域 的匹配主要是模板匹配和基于相位（频率）的 匹配方法；基于特征的匹配包括基于特征点集 的匹配和基于线特征（图像中边缘信息）的匹 配算法。 按自动化程度可以分为人工、半自动和全自动 三种类型 。
19
边缘特征（线型）。Canny算子, Marr算子。
纹理特征。灰度共生矩阵，小波Gabor算子。
2013-7-19
Moravec算子
Moravec算子是利用灰度方差提取特征点的算 子，它在四个主要方向上，选择具有最大-最 小灰度方差的点作为特征点。其步骤为： 1 计算各像元的兴趣值（Interest Value）。 在以像素为中心w×w的影像窗口中（如5×5 的窗口），计算图中所示四个方向相邻像素灰 度差的平方和：
2. 用户先指定三个控制点，程序根据三个控制 点算出主辅图像旋转、平移和尺度差异，再用 金字塔模板匹配方法进行配准。
16
2013-7-19
全自动匹配
不需要用户事先提供任何信息，单纯依据两幅 图像自身的信息进行匹配计算。由于主辅图像 之间存在旋转、平移和尺度差异，如何找到初 始定位信息是其难点。 方法多种多样。包括直方图匹配、Hu不变矩、 金字塔模板匹配、小波Gabor 算子、基于空 间变换的方法等。将在后面特征点匹配部分讲 述。
2013-7-19
17
基于TIN的图像配准算法流程
提取主辅图像特征点 特征点匹配 特征点构三角网 建立仿射变换关系 辅图像小面元校正
18 2013-7-19
特征类型
灰度特征点。Moravec算子、Forstner算子与 Hannah算子。
角点。SUSAN算子, Harris算子，王算子，沈俊 算子。
2013-7-19
28
局部不规律，整体具有一定规律性的特性。
基本单元的重复性 粗糙性 方向性
29
2013-7-19
提取纹理特征的方法
灰度共生矩阵。
基于小波的Gabor算子。
30
2013-7-19
直方图匹配
31
2013-7-19
Hu不变矩
1962年Hute提出Hu不变矩，它对于匹配影像 之间的平移、旋转和大小尺度变化具有自适应 性 ，但它只适用于相似变换，不适于仿射变 换。Hu最初用以下7个不变矩公式来描述目标 2 1 特征: 02 20 2 (20 02 )2 411
2
V4
i k
( g r i ,c i g r i 1,c i 1 ) 2
k 1
其中k INT (w / 2)
取其中最小者作为该像素的兴趣值： V= min{V1，V2，V3，V4}
21 2013-7-19
给定一经验阈值，将兴趣值大于该阈值的点（即窗 口的中心点）作为候选点。阈值的选择应以候选点 中包括所需要的主要特征点而又不含过多的非特征 点为原则。 取候选点中的极值点作为特征点。在一定大小的窗 口内,将候选点中兴趣值不是最大者均去掉，仅留下 一个兴趣值最大者，该像素即为一个特征点。 如果两个特征点之间的距离过短，则去掉其中一个。 否则，在影像校正时，三角形边长过短将使解算出 来的仿射变换参数出现错误。
23
2013-7-19
SUSAN 算法
用一个一定半径的圆模板放置在图像上（如 图）。如果模板上存在一区域，使该区域上对 应图像的每一像素处的灰度值与圆心的灰度值 相同（或相近），那么就定义该区域为核值相 似区，即USAN，其中像素的个数定义为这个 模板的面积。
24
2013-7-19
25
2013-7-19
20
2013-7-19
Moravec算子
V1
V3
i k
( g r i ,c g r i 1,c ) 2 V 2 ( g r i ,c i g r i 1,c i 1 ) 2
i k
k 1
k 1
i k
(g
k 1
r ,c i
g r ,ci 1 )
2013-7-19
5
模板匹配
模板匹配法是在一幅影像中选取一个的影像窗 口作模板，大小通常为5×5或7×7，然后通过 相关函数的计算来找到它在搜索图中的坐标位 置。设模板T放在搜索图S上平移，模板覆盖下 的那块搜索图叫做子图Si,j，子图的中心点在S 图中的坐标(i,j)，叫参考点。
6
2013-7-19
点模式匹配
34
模式识别中的点模式匹配，使用特征点集中点 与点之间的位置关系进行匹配，较少（或没有） 利用图像灰度、纹理和边缘信息，所以它对图 像之间的旋转、灰度、纹理、分辨率等差异不 敏感，能够匹配不同传感器的图像，且能进行 图像之间的全自动配准。 匹配两个特征点集的实质是找到它们的同构子 集。 要用到较多的数学知识。
8
再对第二层用同样方法进行 一次采样率为1/n的重采样， 2013-7-19
金字塔影像匹配的步骤
第一步：顶层的匹配，得到一个平移初始值 。 第二步：根据平移初始值乘以n得到第二层平 移量初始值，在它m×m个像元的邻域内进行 模板匹配。 第三步：根据第二层匹配值乘以n得到第三层 平移量初始值，再进行一次模板匹配。 如果影像尺寸不是特别大，可以只用两层金字 塔。
2 2
3 (30 312 ) (321 03 )
4 (30 12 )2 (21 03 )2
5 ( 30 312 )(30 12 )[(30 12 ) 2
3( 21 03 ) 2 ] (321 03 )(21 03 ) [3( 30 12 ) 2 ( 21 03 ) 2 ]
图 像 配 准
图像配准的用途意义
图像配准（或图像匹配）是评价两幅或多幅图 像的相似性以确定同名点的过程。图像配准算 法就是设法建立两幅图像之间的对应关系,确 定相应几何变换参数,对两幅图像中的一幅进 行几何变换的方法。 图像配准是图像分析和处理的基本问题。它在 航空影像自动制图、图像三维重构、计算机视 觉、遥感融合、模式识别、医学图像处理、影 像分析等领域都有重要应用。
1.特征提取; 2.特征描述; 3.特征匹配； 2013-7-19
10
基于特征的配准步骤
在特征匹配前，首先要从两幅图像中提取灰度 变化明显的点、线等特征形成特征集。 在两幅图像对应的特征集中利用特征匹配算法 尽可能的将存在匹配关系的特征对选择出来。 通过特征建立两幅图像之间的多项式变换关系， 达到以点代面的效果。 对于非特征像素点，利用上述多项式变换关系 来进行几何校正，从而实现两幅图像之间逐像 素的配准。
相似性测度
用以下测度来衡量T和Si,j的相似程度： M M
P
S
m 1 n 1 i, j
i, j
(m, n) T (m, n)
M M 2
[S (m, n)]
m 1 n 1
M
M
[T (m, n)]2
m 1 n 1
0 P 1
根据施瓦兹不等式，
，并且在
S i , j (m, n) T (m, n)
2013-7-19
9
基于特征的配准算法
基于特征的算法(feature-based matching)先 提取图像显著特征，再进行特征匹配，大大压 缩了图像信息的数据量，同时保持了图像的位 移、旋转、比例方面的特征，故在配准时计算 量小，速度较快、鲁棒性好。当两幅图像之间 的线性位置关系不明确时，应使用基于特征的 匹配。 一般来说特征匹配算法可分为四步:
22
2013-7-19
角点提取-SUSAN算子
SUSAN 算法是由英国牛津大学的S. M. Smith , J . M. Brady 首先提出的,它主要是用 来计算图像中的角点特征的。SUSAN 算法的 特点:
1. 对角点的检测比对边缘检测的效果要好,适用于 基于角点匹配的图像配准; 2. 无需梯度运算,保证了算法的效率; 3. 具有积分特性(在一个模板内计算SUSAN 面积), 这样就使得SUSAN 算法在抗噪和计算速度方面有较 大的改进。
比值为常数时取极大值为1。但实际上两幅不 同图像的P值介于0和1之间，很难达到理想值。
7
根据经验取某个阈值P0，如果P> P0，则匹配 2013-7-19
金字塔模板匹配
为了加快搜索速度，很多影 像匹配方法使用金字塔影像。
对影像进行一次采样率为 1/n(n=2,3)的重采样，即把 影像的每n×n个像素变为 一个像素，这样就得到一对 长、宽都为原来1/n的影像， 把它作为金字塔的第二层。
13
2013-7-19
校正步骤
几何精校正一般可分为以下四个步骤：
1.建立原始图像与校正后图像的坐标系。
2.确定控制点对。 3.选择畸变数学模型，比如一次、二次、 三次多项式。 4.几何校正的精度分析。
14 2013-7-19
15
2013-7-19
半自动匹配
1. 用户先把主辅图像进行预处理，先进行重采 样、旋转、去除噪声等，使两幅影像的分辨率、 角度等基本一致后，再进行配准。
2013-7-19
11
来自百度文库 人工匹配步骤
1. 人工选取控制点 2. 多项式匹配
12
2013-7-19
用遥感软件进行几何校正
遥感软件的几何校正功能是利用地 面控制点(Ground Control Point,GCP)进行 的几何校正，它通常用多项式来近似描述遥 感图像的几何畸变过程，并利用控制点求得 这个几何畸变模型，然后利用此模型进行几 何校正，这种校正不考虑畸变的具体原因， 而只考虑如何利用畸变模型来校正图像。
2013-7-19
2
图像配准
参考图像（主图像） 配准图像
3 2013-7-19
待配准图像（辅图像）
用词说明
各种图像配准的文献都会出现“配准、匹配、 几何校正”三个词，它们的含义比较相似。 一般两幅图像之间用“配准（register, registration）”；寻找同名特征(点) 的过程 叫“匹配（match, matching）”; 根据主辅 图像之间的几何变换关系，对辅图像进行逐像 素处理变为配准图像的过程叫做“几何校正 （geometric correction）”。
[3( 30 12 ) 2 ( 21 03 ) 2 ]
但实际上大部分文献都采用6个无量纲、消误差的组合不变矩 ：
2 I1 2 1
5 I4 6 1
3 I2 3 1 6 I5 4 1
4 I3 3 1
7 I6 6 1
33
2013-7-19
SUSAN 算法的基本原理
图像上每一点都有一个邻近的具有相似灰度值 的局部区域是SUSAN 算法的基础。这个局部 区域或USAN 包含了许多关于图像结构的信息。 SUSAN 算法的基本原理是：在每个像素移动 一个小的圆形模板以检测局部信息，并利用预 先设定的亮度阈值比较模板核及其周围像素的 亮度值，亮度值相同或相近的为一个USAN， 最后通过面积最小的USAN 检测角点。
26
边缘特征提取
“基于TIN的多源影像几何配准”没有使用边 缘提取算子，所以这里不介绍其算法。
（a）原图
27 2013-7-19
（b）Marr算子结果
（c）Canny算子结果
纹理特征
纹理是用来识别目标的重要方法，它是图像中 一个很重要而又难以描述的特性，至今还没有 公认的定义。有些图像在局部区域内呈现不规 则性，而在整体上表现出某种规律性。习惯上 把这种局部不规则而宏观有规律的特性称之为 纹理。以纹理特性为主导的图像，常称为纹理 图像，如木材纹理、皮肤纹理、织物纹理等。 通过对物体纹理特征的提取，可以对图像进行 分类、配准等操作。
32 2013-7-19
2 6 ( 20 02 )[(30 12 ) 2 ( 21 03 ) 2 ] 7 (3 21 03 )(30 12 )[(30 12 ) 3( 21 03 ) 2 ] ( 30 312 )( 21 03 ) 411 ( 30 12 )( 21 03 )
2013-7-19
4
配准方法分类
按照配准算法所利用的图像信息，可以分为基 于区域的方法和基于特征的方法 。基于区域 的匹配主要是模板匹配和基于相位（频率）的 匹配方法；基于特征的匹配包括基于特征点集 的匹配和基于线特征（图像中边缘信息）的匹 配算法。 按自动化程度可以分为人工、半自动和全自动 三种类型 。
19
边缘特征（线型）。Canny算子, Marr算子。
纹理特征。灰度共生矩阵，小波Gabor算子。
2013-7-19
Moravec算子
Moravec算子是利用灰度方差提取特征点的算 子，它在四个主要方向上，选择具有最大-最 小灰度方差的点作为特征点。其步骤为： 1 计算各像元的兴趣值（Interest Value）。 在以像素为中心w×w的影像窗口中（如5×5 的窗口），计算图中所示四个方向相邻像素灰 度差的平方和：
2. 用户先指定三个控制点，程序根据三个控制 点算出主辅图像旋转、平移和尺度差异，再用 金字塔模板匹配方法进行配准。
16
2013-7-19
全自动匹配
不需要用户事先提供任何信息，单纯依据两幅 图像自身的信息进行匹配计算。由于主辅图像 之间存在旋转、平移和尺度差异，如何找到初 始定位信息是其难点。 方法多种多样。包括直方图匹配、Hu不变矩、 金字塔模板匹配、小波Gabor 算子、基于空 间变换的方法等。将在后面特征点匹配部分讲 述。
2013-7-19
17
基于TIN的图像配准算法流程
提取主辅图像特征点 特征点匹配 特征点构三角网 建立仿射变换关系 辅图像小面元校正
18 2013-7-19
特征类型
灰度特征点。Moravec算子、Forstner算子与 Hannah算子。
角点。SUSAN算子, Harris算子，王算子，沈俊 算子。
2013-7-19
28
局部不规律，整体具有一定规律性的特性。
基本单元的重复性 粗糙性 方向性
29
2013-7-19
提取纹理特征的方法
灰度共生矩阵。
基于小波的Gabor算子。
30
2013-7-19
直方图匹配
31
2013-7-19
Hu不变矩
1962年Hute提出Hu不变矩，它对于匹配影像 之间的平移、旋转和大小尺度变化具有自适应 性 ，但它只适用于相似变换，不适于仿射变 换。Hu最初用以下7个不变矩公式来描述目标 2 1 特征: 02 20 2 (20 02 )2 411
2
V4
i k
( g r i ,c i g r i 1,c i 1 ) 2
k 1
其中k INT (w / 2)
取其中最小者作为该像素的兴趣值： V= min{V1，V2，V3，V4}
21 2013-7-19
给定一经验阈值，将兴趣值大于该阈值的点（即窗 口的中心点）作为候选点。阈值的选择应以候选点 中包括所需要的主要特征点而又不含过多的非特征 点为原则。 取候选点中的极值点作为特征点。在一定大小的窗 口内,将候选点中兴趣值不是最大者均去掉，仅留下 一个兴趣值最大者，该像素即为一个特征点。 如果两个特征点之间的距离过短，则去掉其中一个。 否则，在影像校正时，三角形边长过短将使解算出 来的仿射变换参数出现错误。
23
2013-7-19
SUSAN 算法
用一个一定半径的圆模板放置在图像上（如 图）。如果模板上存在一区域，使该区域上对 应图像的每一像素处的灰度值与圆心的灰度值 相同（或相近），那么就定义该区域为核值相 似区，即USAN，其中像素的个数定义为这个 模板的面积。
24
2013-7-19
25
2013-7-19
20
2013-7-19
Moravec算子
V1
V3
i k
( g r i ,c g r i 1,c ) 2 V 2 ( g r i ,c i g r i 1,c i 1 ) 2
i k
k 1
k 1
i k
(g
k 1
r ,c i
g r ,ci 1 )
2013-7-19
5
模板匹配
模板匹配法是在一幅影像中选取一个的影像窗 口作模板，大小通常为5×5或7×7，然后通过 相关函数的计算来找到它在搜索图中的坐标位 置。设模板T放在搜索图S上平移，模板覆盖下 的那块搜索图叫做子图Si,j，子图的中心点在S 图中的坐标(i,j)，叫参考点。
6
2013-7-19
点模式匹配
34
模式识别中的点模式匹配，使用特征点集中点 与点之间的位置关系进行匹配，较少（或没有） 利用图像灰度、纹理和边缘信息，所以它对图 像之间的旋转、灰度、纹理、分辨率等差异不 敏感，能够匹配不同传感器的图像，且能进行 图像之间的全自动配准。 匹配两个特征点集的实质是找到它们的同构子 集。 要用到较多的数学知识。
8
再对第二层用同样方法进行 一次采样率为1/n的重采样， 2013-7-19
金字塔影像匹配的步骤
第一步：顶层的匹配，得到一个平移初始值 。 第二步：根据平移初始值乘以n得到第二层平 移量初始值，在它m×m个像元的邻域内进行 模板匹配。 第三步：根据第二层匹配值乘以n得到第三层 平移量初始值，再进行一次模板匹配。 如果影像尺寸不是特别大，可以只用两层金字 塔。
2 2
3 (30 312 ) (321 03 )
4 (30 12 )2 (21 03 )2
5 ( 30 312 )(30 12 )[(30 12 ) 2
3( 21 03 ) 2 ] (321 03 )(21 03 ) [3( 30 12 ) 2 ( 21 03 ) 2 ]
图 像 配 准
图像配准的用途意义
图像配准（或图像匹配）是评价两幅或多幅图 像的相似性以确定同名点的过程。图像配准算 法就是设法建立两幅图像之间的对应关系,确 定相应几何变换参数,对两幅图像中的一幅进 行几何变换的方法。 图像配准是图像分析和处理的基本问题。它在 航空影像自动制图、图像三维重构、计算机视 觉、遥感融合、模式识别、医学图像处理、影 像分析等领域都有重要应用。
1.特征提取; 2.特征描述; 3.特征匹配； 2013-7-19
10
基于特征的配准步骤
在特征匹配前，首先要从两幅图像中提取灰度 变化明显的点、线等特征形成特征集。 在两幅图像对应的特征集中利用特征匹配算法 尽可能的将存在匹配关系的特征对选择出来。 通过特征建立两幅图像之间的多项式变换关系， 达到以点代面的效果。 对于非特征像素点，利用上述多项式变换关系 来进行几何校正，从而实现两幅图像之间逐像 素的配准。
相似性测度
用以下测度来衡量T和Si,j的相似程度： M M
P
S
m 1 n 1 i, j
i, j
(m, n) T (m, n)
M M 2
[S (m, n)]
m 1 n 1
M
M
[T (m, n)]2
m 1 n 1
0 P 1
根据施瓦兹不等式，
，并且在
S i , j (m, n) T (m, n)
2013-7-19
9
基于特征的配准算法
基于特征的算法(feature-based matching)先 提取图像显著特征，再进行特征匹配，大大压 缩了图像信息的数据量，同时保持了图像的位 移、旋转、比例方面的特征，故在配准时计算 量小，速度较快、鲁棒性好。当两幅图像之间 的线性位置关系不明确时，应使用基于特征的 匹配。 一般来说特征匹配算法可分为四步:
22
2013-7-19
角点提取-SUSAN算子
SUSAN 算法是由英国牛津大学的S. M. Smith , J . M. Brady 首先提出的,它主要是用 来计算图像中的角点特征的。SUSAN 算法的 特点:
1. 对角点的检测比对边缘检测的效果要好,适用于 基于角点匹配的图像配准; 2. 无需梯度运算,保证了算法的效率; 3. 具有积分特性(在一个模板内计算SUSAN 面积), 这样就使得SUSAN 算法在抗噪和计算速度方面有较 大的改进。
比值为常数时取极大值为1。但实际上两幅不 同图像的P值介于0和1之间，很难达到理想值。
7
根据经验取某个阈值P0，如果P> P0，则匹配 2013-7-19
金字塔模板匹配
为了加快搜索速度，很多影 像匹配方法使用金字塔影像。
对影像进行一次采样率为 1/n(n=2,3)的重采样，即把 影像的每n×n个像素变为 一个像素，这样就得到一对 长、宽都为原来1/n的影像， 把它作为金字塔的第二层。
13
2013-7-19
校正步骤
几何精校正一般可分为以下四个步骤：
1.建立原始图像与校正后图像的坐标系。
2.确定控制点对。 3.选择畸变数学模型，比如一次、二次、 三次多项式。 4.几何校正的精度分析。
14 2013-7-19
15
2013-7-19
半自动匹配
1. 用户先把主辅图像进行预处理，先进行重采 样、旋转、去除噪声等，使两幅影像的分辨率、 角度等基本一致后，再进行配准。
2013-7-19
11
来自百度文库 人工匹配步骤
1. 人工选取控制点 2. 多项式匹配
12
2013-7-19
用遥感软件进行几何校正
遥感软件的几何校正功能是利用地 面控制点(Ground Control Point,GCP)进行 的几何校正，它通常用多项式来近似描述遥 感图像的几何畸变过程，并利用控制点求得 这个几何畸变模型，然后利用此模型进行几 何校正，这种校正不考虑畸变的具体原因， 而只考虑如何利用畸变模型来校正图像。
2013-7-19
2
图像配准
参考图像（主图像） 配准图像
3 2013-7-19
待配准图像（辅图像）
用词说明
各种图像配准的文献都会出现“配准、匹配、 几何校正”三个词，它们的含义比较相似。 一般两幅图像之间用“配准（register, registration）”；寻找同名特征(点) 的过程 叫“匹配（match, matching）”; 根据主辅 图像之间的几何变换关系，对辅图像进行逐像 素处理变为配准图像的过程叫做“几何校正 （geometric correction）”。
[3( 30 12 ) 2 ( 21 03 ) 2 ]
但实际上大部分文献都采用6个无量纲、消误差的组合不变矩 ：
2 I1 2 1
5 I4 6 1
3 I2 3 1 6 I5 4 1
4 I3 3 1
7 I6 6 1
33
2013-7-19
SUSAN 算法的基本原理
图像上每一点都有一个邻近的具有相似灰度值 的局部区域是SUSAN 算法的基础。这个局部 区域或USAN 包含了许多关于图像结构的信息。 SUSAN 算法的基本原理是：在每个像素移动 一个小的圆形模板以检测局部信息，并利用预 先设定的亮度阈值比较模板核及其周围像素的 亮度值，亮度值相同或相近的为一个USAN， 最后通过面积最小的USAN 检测角点。