遥感图像配准与镶嵌

Cgg( p, q) {g(x p, y q) E[g(x p, y q)]}2dxdy
( x, y)D
若（p0, q0） ＞ （p, q）（ pp0， qq0），则 p0, q0为搜索区影像相对于目标区影像的位移参数。对 于一维相关应有q 0。
(c, r)
mn
( gi, j g )(gir, jc g)
特征提取
特征提取是指分别提取两幅图像中共有的图像特征。这种特征是出现在两幅图 像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物体边缘角 点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三类。 – 点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等； 根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提 取应有所不同。 – 线特征是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。线 特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信 息，然后利用限制条件筛选出满足条件的线段作为线特征； – 面特征是指利用图像中明显的区域信息作为特征。在实际的应用中最后可能 也是利用区域的重心或圆的圆心点等作为特征。
I2 (x, y) g(I1(f (x, y)))
图像配准（二）
其中： f 为二维空间坐标变换（如仿射变换），g 为一维亮度或其他度 量值变换。
最佳空间变换是图像配准问题的关键。当需配准多幅图像时选取其中某一 幅图像作为参考图像，其余图像分别相对参考图像进行配准。
图像配准的意义
由于各传感器通过的光路不同，或成像体制不同等原因，图像间可能 出现相对平移、旋转、比例缩放等，影像镶嵌或融合不能直接进行，而必 须进行图像配准。多源图像配准与单传感器图像配准相比，技术难度更大， 特别是要实现波段相距较远的图像自动配准，由于图像间相关性小，则更 加困难。
相关应有q 0。
mn
C(c, r)
( gi, j g ) ( gir, jc g)
i1 j1
相关函数（矢量数积）
R( p, q) g(x, y)g(x p, y q)dxdy
( x, y )D
R（ p0, q0）＞ R（p, q）（ pp0， q若qR（0）p0, q0）＞ R（p, q）（ pp0， qq0），则 p0, q0
涉及输入图像变换后所得点坐标不一定为整像素数，则应进行插值处理。 常用的插值算法有最近邻域法、双线性插值法和双三次卷积法。
• 1.特征点检测 点特征匹配步骤 – 这些特征点一般是灰度变化的局部极值点，含有显著的结构性信息 • 2.特征点描述
– 建立特征向量,特征点的特征描述符应是不变量 – 选择合理的特征空间可以降低图像变化因素对匹配算法速度、稳健性的影响 • 3.进行特征匹配以获得候选匹配点 – 根据特征向量的相似性来进行匹配，如欧氏距离、街区距离、马氏距离、
– SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变 性，对视角变化、仿射变化、噪声也保持一定程度的稳定性；
– 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确地 匹配；
– 多量性，即使少数的几个物体也可以产生大量的SIFT特征向量； – 可扩展性，可以很方便的与其它形式的特征向量进行联合。
– David G.Lowe 于2004年总结提出 • David G.Lowe, Object Recognition from Local Scale-Invariant Features, Proc. of the International Conference on Computer Vision, Corfu (Sept. 1999) • David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 2004.
E[g( x. y)] 1
g( x, y)dxdy
D ( x, y )D
E[g(x p, y q)] 1
g(x p, y q)]dxdy
D ( x, y )D
若C（p0, q0） ＞ C（p, q）（ pp0， qq0），则 p0, q0为搜索区影像相对于目标区影像的位移参数。对于一维
仿射变换是最常用的一种几何变换，它是一种刚性变换，具有良好的数学特 性。仿射变换通常有4个参数尺度因子s 、旋转角q 、x 方向平移量tx、 y 方 向平移量ty。 它将第一幅图像中的点(x1, y1)映射为第二幅图像中的点(x2, y2) 数学表示为：
x y
2 2
s
cos sin
- sin cos
i 1 j 1
若S（c0, r0） < S（c, r）（ cc0， rr0），则c0, r0为搜索区影像相对于目标区影像的位移行、列参数。 对于一维相关应有r 0。
N
S x1 y1 x2 y2 xN yN xi yi
i1
协方差函数（矢量投影）
C( p,q) {g(x, y) E[g(x, y)]}{g(x p, y q) E[g(x p, y q)]}dxdy ( x, y )D
特征匹配
特征匹配是指建立两幅图像中特征点之间对应关系的过程。用数学语言可 以描述为两幅图像A 和B中分别有m 和n 个特征点(m 和n 常常是不相等的) 其中有k 对点是两幅图像中共同拥有的，则如何确定两幅图像中k 对相对 应的点对即为特征匹配要解决的问题。
特征匹配可分为三步： ①特征提取； ②利用一组参数对特征作描述； ③利用参数进行特征匹配。
3）图像灰度差的绝对值和
4）图像灰度的协方差等
基于图像灰度的配准方法不 需要对图像做特征提取，而是 直接利用全部可用的图像灰度 信息，因此能提高估计的精度 和鲁棒性；但由于在基于图像 灰度的算法(如互相关算法)中 把匹配点周围区域的点的灰度 都考虑进来进行计算，因此其 计算量很大，速度较慢。
差平方和（差矢量模）
应有r 0。
N
S2 X Y 2 (x1 y1)2 (x2 y2)2 (xN yN )2 (xi yi)2 i1
相关系数（矢量夹角）
( p, q)
C( p, q) CggCgg ( p, q)
Cgg
{g( x, y) E[g( x, y)]}2 dxdy
( x, y )D
定的变换所定义的输入数据与参考数据之间的匹配。
常用的图像配准方法---基于图像灰
度的配准方法 基于图像灰度的配准方法通常直接利用局部图像的灰度信息建立两
幅图像之间的相似性度量，然后采用某种搜索方法寻找使相似性度量
值最大或最小的变换模型的参数值。常用的相似性度量有：
Fra Baidu bibliotek
1）图像灰度的差平方和
2）图像灰度的相关系数
多传感器图像配准可以看作是以下集中要素的结合：
– 特征空间：从参考影像和输入影像中提取的特征集； – 搜索空间：在输入特征与参考特征之间建立对应关系的
可能的变换集合； – 搜索策略：选择可以用于计算的变换模型，在处理过程
中使得匹配逐步达到精度要求； – 近似性度量标准：用来评估从搜索空间中获得的一个给
S2( p, q) [g(x, y) g(x p, y q)]2dxdy
( x, y)D
mn
S 2 (c, r)
( gi, j gir, jc )2
i 1 j 1
若S2（c0, r0） < S2（c, r），则c0, r0为搜索区影 像相对于目标区影像的位移行、列参数。对于一维相关
i0 j0
N Nj
y2
bij x1i y1 j
i0 j0
求取参数是指搜索计算两幅图像之间最佳变换参数的过 程，常用的算法有最小均方误差法。
坐标变换与插值
在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，使之 与参考图像处于同一坐标系下，则校正后的输入图像与参考图像可用作后 续的图像融合、目标变化检测处理或图像镶嵌；
常用的特征匹配方法有互相关系数法、聚类法、点间距离法等。
选取变换模型及求取参数（一）
变换模型是指根据待配准图像与参考图像之间几何畸变的情况，所选择的能 最佳拟合两幅图像之间变化的几何变换模型。可采用的变换模型有如下几种： 仿射变换、透视变换、投影变换和多项式变换，其中最常用的是仿射变换和多 项式变换。
• SUSAN算法
– Smith和Brady提出，基于灰度变化特征 • Smith S.M, Brady J.M. SUSAN--A New Approach to Low Level Image
SIFT算法（一）
• SIFT算法是使用经验预设值精心设计的处理过程，保证特征的不变性 和独特性.
• SIFT算法提取的SIFT特征向量具有如下的特性：
遥感图像处理-遥感图像配准与镶嵌
• 遥感图像配准 • 遥感图像镶嵌
内容概要
1、遥感图像配准
图像配准（一）
图像配准是指依据一些相似性度量决定图像间的 变换参数使从不同传感器不同视角不同时间获取的同 一场景的两幅或多幅图像变换到同一坐标系下在像素 层上得到最佳匹配的过程。
待配准图像相对于参考图像的配准可定义为两幅 图像在空间和亮度上的映射两幅图像可定义为两个二 维数组分别用I1(x,y)和I2(x,y)表示它们分别是两幅图 像的亮度值(或其他度量值) 则两幅图像间的映射可表 示为：
x1 y1
t1 t2
选取变换模型及求取参数（二）
多项式变换是图像间存在非线性变形时最常用的变换类型， 如遥感图像中存在由缓和的地形起伏引起的变形，就可以采 用多项式变换模型校正它将第一幅图像中的点(x1, y1)映射 为第二幅图像中的点(x2, y2)，数学表示为：
N Ni
x2
a ij x1i y1 j
SIFT算法（二）
• SIFT特征匹配算法包括两个阶段，第一阶段是SIFT特征的生成，即从 多幅待匹配图像中提取出对尺度旋转、缩放、亮度变化无关的特征向 量；第二阶段是SIFT特征向量的匹配。
• SIFT特征向量的生成算法共包括4步：
– 尺度空间极值检测，以初步确定关键点位置和所在尺度； – 拟和三维二次函数精确确定位置和尺度，同时去除低对比度的关键点和
的中心等作为两幅图像配准的参考信息。
• 特征匹配的应用领域 – 当待匹配的点位于低反差区内， 其匹配的成功率不高。 – 目的只需要配准某些点线或面 – 在城市中，被处理的对象主要是人工建筑物，灰度匹配难以适应
• 基于图像特征的配准方法包括特征提取、特征匹配、选取变换模型及求取参 数坐标变换与插值四个主要组成部分。
i1 j1
mn
mn
(gi, j g )2
( gir, jc gr,c )2
i1 j1
i1 j1
差绝对值和（差矢量分量绝对值和）
S( p, q) g(x, y) g(x p, y q)dxdy
( x, y )D
离散灰度数据差绝对值和的计算公式为
mn
S (c, r)
gi , j gir , jc
– C.G.Harris, M.stephens于1988年提出 • A combined corner and edge detector [A] Proceeding of 4th Alvey Vision conefernce Manchester,1988
• SIFT(Scale Invariant Feature Transform)算法
Hausdorff 距离等 • 4.消除错配
– 根据几何或光度的约束信息去除候选匹配点中的错配 – 常用的去外点方法是RANSAC随机抽样一致性算法
角特征点检测算法
• Moravec( Moravec Corner Detector) 算法
– Moravec 于1977年提出，利用灰度方差
• Harris (Harris Corner Detector)算法
为搜索区影像相对于目标区影像的位移参数。对于一维相关应有 q 0。
mn
R(c, r)
gi , j gir , j c
i 1 j 1
常用的图像配准方法---基于图像特 征的配准方法 由于多传感器获取各类图像灰度特征往往不一致，因此很难运用基于图像灰
度的方法。基于图像特征方法提取各类图像中保持不变特征如边缘点闭区域