一种大幅面遥感图像快速拼接方法

一种大幅面遥感图像快速拼接方法
曾峦， 熊 伟
装备学院 EIES 实验室，北京 101416
摘 要：为了提高大幅面遥感图像拼接的速度和质量，提出了一种大幅面遥感图像快速拼接方法。首先，采用下采样图
像提取特征和参数优化，把匹配对坐标直接传递到原始图像进行配准和拼接的方法，提高了图像拼接的速度。其次，采 用调整图像垂直方向重叠区域的大小，动态改变缝合点的方法来消除垂直接缝，提高了图像拼接的质量。实验结果表 明：所用测试图像的拼接速度比常规方法提高了约 ３６０ 倍，并能有效消除图像垂直方向的拼接缝，在大幅遥感图像拼接 中得到了实际应用。
x2 =
m1 x1 + m2 y1 + m3 m7 x1 + m8 y1 + 1
m x + m5 y1 + m6 y2 = 4 1 m7 x1 + m8 y1 + 1
化为
(1)
这是一个非线性方程，通过直接线性变换来求解。构建误差函数，并记： m7 x1 + m8 y1 + 1 = A ，上式
∆x =
3
图像无缝融合
通常使用淡入淡出的方法来实现图像的无缝融合，若f 1 ，f 2 是两幅待拼接的图像，则融合后的图像像
素f可表示为：
f1 ( x, y ), f ( x, y ) = d1 f1 ( x, y ) + d 2 f 2 ( x, y ), f ( x, y ), 2
( x, y ) ∈ f1 ( x, y ) ∈ ( f1 ∩ f 2 ) ( x, y ) ∈ f 2
(x1,y1)
重叠区
(x2,y2)右图 左图来自左图 右图 左图 右图 左图 右图
(x3,y3)
缝合点
(a) 情形 1
(x4,y4)
(x3,y3)
缝合点
(b) 情形 2
(x4,y4)
(x3,y3)
缝合点
(c) 情形 3
(x4,y4)
(x3,y3)
缝合点
(x4,y4)
(d) 情形 4
图 4 动态的缝合点
首先计算重叠区域四个角的坐标(x 1 , y 1 )、(x 2 , y 2 )、(x 3 , y 3 )、(x 4 , y 4 )和阈值s，并令
关键词：遥感图像；拼接；大幅面； 快速
A Fast Mosaic Method Used for Large Scale Remote Sensing Images
Luan Zeng,Wei Xiong
EIES Lab, Academy of Equipment Command and Technology, Beijing, 101416, China Email: zengluan@
2
定位精度分析
按两级下采样时进行定位精度分析，使用 2 048×2 048 的图像下采样到 512×512 的小图像，在小图像
中提取匹配对后求解模型变换参数，并对该模型参数进行循环迭代优化，把计算坐标与实际坐标最大距离 误差控制在亚像素范围内，然后把经优化后的匹配对坐标放大 4 倍，传递到大图像坐标系中，计算变换模 型参数。用该模型参数计算直接用大图像提取的匹配对坐标与实际坐标的距离误差，与大图像提取匹配对 求取的模型变换参数计算出来的变换坐标与实际坐标的距离误差相比较，如图 2 所示，其中黑线所示为缩 小了 4 倍的图像求取的匹配对坐标传递到大图像后，解算的变换模型参数计算出来的变换坐标与实际坐标 的距离误差曲线，红线所示为直接在原始图像中求取的匹配对坐标，解算的变换模型参数计算出来的变换 坐标与实际坐标的距离误差曲线。
优化后，把最终的匹配点坐标按比例传递到原始图像的坐标系下，求出原始图像的变换模型参数，把待配 准图像变换到参考图像坐标系中，进行插值和重采样，最后进行图像亮度调整和无缝拼接，得到拼接后更 大幅面的图像。大幅面图像快速拼接框架如图 1 所示。
参考图像 待匹配图像
2级下采样，释放原图内存 提取顶层图像特征点
Key words：Remote sensing image; Mosaic; Large scale; Fast
引言
大幅面遥感图像拼接是获取高分辨率、大视野的战场图像侦察信息的有效手段，是现代信息化侦察装 备研究领域的关键技术之一。但随着图像尺寸的增大，数据量将会剧增，如果直接对原始图像进行操作， 不但会给计算机内存带来严重的负担，而且会使运算量急剧增加，将使计算过程耗费几个小时，甚至几十 个小时，难以满足实际使用要求。 针对大幅面遥感图像的拼接处理，一般都要采取相应的策略，基于金字塔结构的多分辨率处理就是一 种常用的技术，主要包括：Laplace金字塔[1~2]、低通比率金字塔[3]、梯度金字塔[4]等结构和小波变换金字塔 结构[5~8]。但图像的Laplace、低通比率和梯度金字塔分解是一种冗余分解，分解后各层数据之间具有相关 性，其数据总量会比原被分解图像增加约 33％；虽然小波变换金字塔分解是非冗余分解，图像经过小波变 换之后数据的总量不会增大，但在进行多级小波变换时，每一级变换的数据都要保留，其逆变换是逐级进 行的，运算量比较大，对计算机内存的要求仍比较高。因此，必须寻求一种适用于大幅面遥感图像快速拼 接的方法，降低对计算机的要求，提高图像拼接的速度。
（6）
式中d 1 ，d 2 表示权重值，它们与重叠区域的宽度有关，且d 1 +d 2 =1，0<d 1 ，d 2 <1。在重叠区域中，d 1 由 1 渐变至 0，d 2 由 0 渐变至 1，由此实现了在重叠区域中由f 1 慢慢平滑过渡到f 2 。但当重叠区呈现如图 3(a)所 示的情况，且两幅图像的亮度不是完全相同时，经(6)式处理后能消除图像左右方向的接缝，但上下方向的 接缝仍会出现，如图 3(b)所示。其原因是在上下方向，融合后的图像会从左图的内容突变到右图（或相 反），当两幅图像局部亮度和对比度不完全相同时，就会出现明显的接缝。
使用 8 对匹配点，通过最小二乘法求解相应的正规方程组来解算出这 8 个参数。
(4)
Δ = −[CTC]−1 CT L
(5)
由于这个方程组是非线性方程组，求解时，先令 A=1 ，求出m 1 ~m 8 的初值；再用此初值，求出新的 A 值，进行多次迭代，求出稳定的m 1 ~m 8 值，一般迭代 5 次即可得到变换参数的稳定值。直接线性变换法求 解过程相当稳定，避免了一般非线性方程求解时初值选取不恰当，会引起迭代发散的问题。
s=
原始图像高度 20
（7）
然后判断重叠方式属于图 4 中的哪种情形，对于情形 1（图 4a），若y 2 -y 1 <s则增加左图像的y 2 值，直 到y 2 -y 1 =s为止，若y 4 -y 3 <s则减少右图像的y 3 值，直到y 4 -y 3 =s为止，使上下边缘都存在过渡区，就可以消除 上下边缘的拼接缝；对于情形 2（图 4b），若y 1 -y 2 <s则增加右图像的y 1 值，直到y 1 -y 2 =s为止，若y 3 -y 4 <s则 减少左图像的y 4 值，直到y 3 -y 4 =s为止；对于情形 3（图 4c），若y 1 -y 2 <s则增加右图像的y 1 值，直到y 1 -y 2 =s 为止，若y 4 -y 3 <s则减少右图像的y 3 值，直到y 4 -y 3 =s为止；情形 4（图 4d），若y 2 -y 1 <s则增加左图像的y 2 值，直到y 2 -y 1 =s为止，若y 3 -y 4 <s则减少左图像的y 4 值，直到y 3 -y 4 =s为止。采用这种处理方法，可有效地消 除垂直方向上的拼接缝，使拼接图像平滑过渡。
图2
缩小四倍时的距离误差
经过计算，用缩小了 4 倍的图像求取的匹配对坐标传递到大图像后解算的变换模型参数，与直接用大 图像提取的匹配对坐标解算的变换模型参数的定位精度相当，最大误差相差约为 1.12 像素，均方根误差约
为-0.23。从图 2 可以看出，每个匹配点的距离误差相差在同一数量级，即 1 个像素左右。因此，可以用缩 小 4 倍的图像求取的匹配对坐标直接传递到原始图像中使用，其定位精度能满足使用要求，无需在原始图 像中再次提取匹配对，以提高匹配速度。
其中：
(3)
V = [∆x ∆y ] L=−
对应的法方程为：
T
C=
T
1 x1 A 0
y1 1 0 m2 m3
0
0
0 − x 2 x1 − y 2 x1 m6 m7
0 x1 m4
y1 1 m5
− x 2 y1 − y 2 y1 m8 ]
1 [x2 A
y2 ]
∆ = [m1
CTCΔ + CT L = 0
1
大幅面图像快速拼接框架
本文使用改进的SIFT(Scale Invariant Feature Transform)特征提取和匹配方法[9]对图像进行配准，考虑到
SIFT特征的多量性，认为可以把大幅面的图像经过下采样到某一分辨率，然后提取特征点，经过全局参数
总装备部试验技术研究项目(No.2009SY4110005)
重叠区 拼接缝
右图像 左图像
缝合点
(a) 重叠区域 (b) 垂直拼接缝
图 3 垂直方向的拼接缝
通过分析出现垂直接缝的四种情况，适当调整重叠区域的大小，改变缝合点来消除垂直接缝，如图 4 所示。
(x1,y1) 重叠区 (x2,y2) (x1,y1) 重叠区 (x2,y2) (x1,y1)
重叠区
(x2,y2)
x1 y xx x y x 1 m1 + 1 m2 + m3 − 2 1 m7 − 2 1 m8 − 2 A A A A A A x1 y1 y2 x1 y2 y1 y 1 m7 + m8 − 2 ∆y = m4 + m5 + m6 − A A A A A A