遥感图像配准与镶嵌

（2）特征匹配
特征匹配是指建立两幅图像中特征点之间对应关系的 过程。用数学语言可以描述为两幅图像A 和B中分别有m 和 n 个特征点(m 和n 常常是不相等的) 其中有k 对点是两幅 图像中共同拥有的，则如何确定两幅图像中k 对相对应的 点对即为特征匹配要解决的问题。 常用的特征匹配方法有互相关系数法、聚类法、点间 距离法等。
常用的图像配准方法---基于图像灰度的配准方法
基于图像灰度的配准方法通常直接利用局部图像的灰 度信息建立两幅图像之间的相似性度量，然后采用某种搜 索方法寻找使相似性度量值最大或最小的变换模型的参数 值。常用的相似性度量有： 基于图像灰度的配准方 法不需要对图像做特征提取， 1）图像灰度的平方差和 而是直接利用全部可用的图 2）图像灰度的相关系数 像灰度信息，因此能提高估 3）图像灰度差的绝对值和 计的精度和鲁棒性；但由于 在基于图像灰度的算法(如 互相关算法)中把匹配点周 4）图像灰度的协方差等
（3）选取变换模型及求取参数
变换模型是指根据待配准图像与参考图像之间几何畸变 的情况，所选择的能最佳拟合两幅图像之间变化的几何变 换模型。可采用的变换模型有如下几种：仿射变换、透视 变换、投影变换和多项式变换，其中最常用的是仿射变换 和多项式变换。 仿射变换是最常用的一种几何变换，它是一种刚性变 换，具有良好的数学特性。仿射变换通常有4个参数尺度因 子s 、旋转角q 、x 方向平移量tx、 y 方向平移量ty。 它将第一幅图像中的点(x1, y1)映射为第二幅图像中的点 (x2, y2) 数学表示为
x 2 cos sin y s 2
- sin x1 t1 cos y1 t 2
多项式变换是图像间存在非线性变形时最常用的变换类 型，如遥感图像中存在由缓和的地形起伏引起的变形，就 可以采用多项式变换模型校正它将第一幅图像中的点(x1, y1)映射为第二幅图像中的点(x2, y2)，数学表示为：
二、遥感图像镶嵌
影像镶嵌 (Mosaicking) 是指将两幅或多幅数字影像 （有可能是在不同的摄影条件下获得的）拼在一起，构成 一幅整体图像的技术过程。 遥感影像镶嵌分为： 地理编码图像的自动镶嵌 基于影像重叠区像素匹配的人机交互的图像镶嵌
1、地理编码图像的自动镶嵌
(1) 接缝线的确定 镶嵌的一个很重要的问题是在待镶嵌图像的重叠区内选 择出一条曲线，按照这条曲线把图像拼起来，待镶嵌图像按 照这条曲线拼接后曲线两侧的亮度变化不显著或最小时，就 认为找到了接缝线。 如下图所示，假定现在要对左右两幅相邻图像A和B进行 镶嵌，这两幅图像间存在一宽为L的重叠区域，要在重叠区 内找出一接缝线。
(i 1,2,...,L)
取两幅图像对应像元亮度值的线性加权和，即：
g (i, j ) Li i g E (i k 1, j ) g H (i, j ) L L
(i 1,2,...,L)
原图像1
原图像2
拼接后但尚未进行色调调整
Hale Waihona Puke 色调调整后镶嵌图像例：地理编码影像的自动镶嵌处理流程 (以ERDAS为例)
基于影像重叠区像素匹配的人机交互的图像镶嵌
例：基于影像重叠区像素匹配的人机交互的图像镶嵌
手动配准镶嵌指对于 没有地理信息的图像 的镶嵌，首先进行手 工选点配准，然后进 行镶嵌。手动镶嵌以 影像重叠区控制点配 准基础，镶嵌图像相 对参考图像进行仿射 变换后，与参考图像 进行拼接。
手动镶嵌重叠区半自动配准实例
围区域的点的灰度都考虑进 来进行计算，因此其计算量 很大，速度较慢。
常用的图像配准方法---基于图像特征的配准方法
由于多传感器获取各类图像灰度特征往往不一致，因
此很难运用基于图像灰度的方法。基于图像特征方法提取 各类图像中保持不变特征如边缘点闭区域的中心等作为两 幅图像配准的参考信息。 基于图像特征的配准方法包括特征提取、特征匹配、 选取变换模型及求取参数坐标变换与插值四个主要组成部 分。
Step1: 输入全部待镶嵌图像数据，根据图像的有效 区域确定输出图像的范围。
当输入图像不是相同地理投影和分辨率时，按 所指定的参考图像进行地理重投影和重采样。
例：地理编码影像的自动镶嵌处理流程 (以ERDAS为例)

Step2: 确定图像的相交区、相交区内图像像素灰度计 算策略，确定输出图像像素灰度值。
图像配准的意义
由于各传感器通过的光路不同，或成像体制不同等原 因，图像间可能出现相对平移、旋转、比例缩放等，影像 镶嵌或融合不能直接进行，而必须进行图像配准。多源图 像配准与单传感器图像配准相比，技术难度更大，特别是 要实现波段相距较远的图像自动配准，由于图像间相关性 小，则更加困难。
多传感器图像配准可以看作是以下集中要素的结合： 特征空间：从参考影像和输入影像中提取的特征集； 搜索空间：在输入特征与参考特征之间建立对应关系的 可能的变换集合； 搜索策略：选择可以用于计算的变换模型，在处理过程 中使得匹配逐步达到精度要求； 近似性度量标准：用来评估从搜索空间中获得的一个给 定的变换所定义的输入数据与参考数据之间的匹配。
I 2 (x, y) g(I1 (f (x, y)))
I 2 (x, y) g(I1 (f (x, y)))
其中： f 为二维空间坐标变换（如仿射变换），g 为一维亮度或其他度量值变换。 最佳空间变换是图像配准问题的关键。当需配准多幅 图像时选取其中某一幅图像作为参考图像，其余图像分别 相对参考图像进行配准。
式中：g i, j0 j 和 g B i, j0 j 为图像A和B在重叠区 i, j0 j 处的 亮度值；j0 为窗口在左端点；i为窗口所在的图像行数。 满足上述条件的点就是接缝点，所有接缝点的连线就 是接缝线。
(2) 重叠区亮度的确定
两幅图像，无论怎样进行处理，难免还存在着两幅图 像的亮度差异（两副相邻图像季节相差较大时，特别严 重），特别是在两幅图像的对接处，这种差异有时比较明 显，为了消除两幅图像在拼合时的差异，有必要进行重叠 区的亮度镶嵌。下面以上下相邻的两幅图像重叠区的亮度 值确定为例来进行说明：
第四章 遥感图像 配准与镶嵌
闫冬梅
一、图像配准
图像配准是指依据一些相似性度量决定图像间的 变换参数使从不同传感器不同视角不同时间获取的同 一场景的两幅或多幅图像变换到同一坐标系下在像素 层上得到最佳匹配的过程。 待配准图像相对于参考图像的配准可定义为两幅 图像在空间和亮度上的映射两幅图像可定义为两个二 维数组分别用I1(x,y)和I2(x,y)表示它们分别是两幅 图像的亮度值(或其他度量值) 则两幅图像间的映射可 表示为：
（1）特征提取
特征提取是指分别提取两幅图像中共有的图像特征。 这种特征是出现在两幅图像中对比例、旋转、平移等变换保 持一致性的特征，如线交叉点、物体边缘角点、虚圆闭区域 的中心等可提取的特征。特征包括：点、线和面三类。
点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交
叉点等； 线特征是图像中明显的线段特征，如道路河流的边缘，目标的轮廓 线等。线特征的提取一般分两步进行：首先采用某种算法提取出图 像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作 为线特征； 面特征是指利用图像中明显的区域信息作为特征。在实际的应用中 最后可能也是利用区域的重心或圆的圆心点等作为特征。
把两幅图像对应像元的平均值作为重叠区像元点的 亮度值，即：
g i, j 1 g E i K 1, j g H i, j 2
i 1,2,...,L

把两幅待镶嵌图像中亮度值最大的亮度值作为重叠区像 元点的亮度值，即 ：
g (i, j ) maxg E (i K 1, j ), g H (i, j )
E
L行
H
重叠区两度确定示意图
设重叠区行数为L，E的两幅图像的重叠部分为第K行
到L+K-1行，H幅图像的重叠部分为第1行到L行， g E (i, j ) 和 g H (i, j )分别表示E和H图像的亮度值， g (i, j ) 为重叠区 亮度调整后的亮度值，其行数为1到L。此时重叠区亮度 值的计算要以列（对于左右镶嵌的情况则要以行为单位） 为单位进行，下面以第j列的亮度值确定为例说明常用 的三种计算方法：
相交区
(1) 中线法
(2) 距离加权法
例：地理编码影像的自动镶嵌处理流程 (以ERDAS为例)

Step3: 根据相交区内图像色彩差异进行图像色彩均衡，使 输出图像色彩连续，色调统一。
没有经过色调均衡的镶嵌图像
经过色调均衡的镶嵌图像
基于影像重叠区像素匹配的人机交互的图像镶嵌


基于地理编码的影像自动镶嵌处理，当输入图像的坐标 系和投影方式相同时，对于同分辨率影像仅存在位移关 系。 没有地理编码的两幅影像进行图像镶嵌，图像间存在平 移、旋转和尺度放大等，须进行半自动的重叠区内影像 控制点的配准，而后根据控制点间的映射关系，将一幅 图像映射到另外一幅图像的象素坐标空间，形成待镶嵌 图像。
x 2 a x y
i 0 j0 N N i i j ij 1 1
y 2 bijx1 y1
i i 0 j0
N N j
j
求取参数是指搜索计算两幅图像之间最佳变换参数的 过程，常用的算法有最小均方误差法。
（4）坐标变换与插值
在得到两幅图像间的变换参数后，要将输入图像做相 应参数的变换，使之与参考图像处于同一坐标系下，则校 正后的输入图像与参考图像可用作后续的图像融合、目标 变化检测处理或图像镶嵌。 涉及输入图像变换后所得点坐标不一定为整像素数， 则应进行插值处理。常用的插值算法有最近邻域法、双线 性插值法和双三次卷积法。
A
L
B
为此可取一长度为d的一维窗口，让窗口在一行内逐点 滑动，计算出每一点处A和B两幅图像在窗口内各个对应像 元点的亮度值绝对差的和，最小的即为接缝线在这一行的 位置，其计算公式为：