一种大幅面遥感图像快速拼接方法

Abstract：In order to increase the speed and quality of mosaic algorithm used for large scale remote sensing images, a fast mosaic
method used for large scale remote sensing image is proposed. First, a method is used so that the optimization matching coordinate can be transferred immediately after feature extraction in the sub-sampled images and parameter optimization to the original images for matching and mosaic. It increased the speed of image mosaic. Second, by adjust the size of superposition area in vertical direction of the image and change the stitched dot dynamic, the vertical seam of image can be eliminated. It increased the quality of image mosaic. The experimental results indicate that comparing with the traditional arithmetic, the stitching speed of the new method increase by about 360 times for test image. The vertical seam of image can be eliminated effectively. The new method is applied in image mosaic for large scale remote sensing images.
2
定位精度分析
按两级下采样时进行定位精度分析，使用 2 048×2 048 的图像下采样到 512×512 的小图像，在小图像
中提取匹配对后求解模型变换参数，并对该模型参数进行循环迭代优化，把计算坐标与实际坐标最大距离 误差控制在亚像素范围内，然后把经优化后的匹配对坐标放大 4 倍，传递到大图像坐标系中，计算变换模 型参数。用该模型参数计算直接用大图像提取的匹配对坐标与实际坐标的距离误差，与大图像提取匹配对 求取的模型变换参数计算出来的变换坐标与实际坐标的距离误差相比较，如图 2 所示，其中黑线所示为缩 小了 4 倍的图像求取的匹配对坐标传递到大图像后，解算的变换模型参数计算出来的变换坐标与实际坐标 的距离误差曲线，红线所示为直接在原始图像中求取的匹配对坐标，解算的变换模型参数计算出来的变换 坐标与实际坐标的距离误差曲线。
s=
原始图像高度 20
（7）
然后判断重叠方式属于图 4 中的哪种情形，对于情形 1（图 4a），若y 2 -y 1 <s则增加左图像的y 2 值，直 到y 2 -y 1 =s为止，若y 4 -y 3 <s则减少右图像的y 3 值，直到y 4 -y 3 =s为止，使上下边缘都存在过渡区，就可以消除 上下边缘的拼接缝；对于情形 2（图 4b），若y 1 -y 2 <s则增加右图像的y 1 值，直到y 1 -y 2 =s为止，若y 3 -y 4 <s则 减少左图像的y 4 值，直到y 3 -y 4 =s为止；对于情形 3（图 4c），若y 1 -y 2 <s则增加右图像的y 1 值，直到y 1 -y 2 =s 为止，若y 4 -y 3 <s则减少右图像的y 3 值，直到y 4 -y 3 =s为止；情形 4（图 4d），若y 2 -y 1 <s则增加左图像的y 2 值，直到y 2 -y 1 =s为止，若y 3 -y 4 <s则减少左图像的y 4 值，直到y 3 -y 4 =s为止。采用这种处理方法，可有效地消 除垂直方向上的拼接缝，使拼接图像平滑过渡。
使用 8 对匹配点，通过最小二乘法求解相应的正规方程组来解算出这 8 个参数。
(4)
Δ = −[CTC]−1 CT L
(5)
由于这个方程组是非线性方程组，求解时，先令 A=1 ，求出m 1 ~m 8 的初值；再用此初值，求出新的 A 值，进行多次迭代，求出稳定的m 1 ~m 8 值，一般迭代 5 次即可得到变换参数的稳定值。直接线性变换法求 解过程相当稳定，避免了一般非线性方程求解时初值选取不恰当，会引起迭代发散的问题。
一种大幅面遥感图像快速拼接方法
曾峦， 熊 伟
装备学院 EIES 实验室，北京 101416
摘 要：为了提高大幅面遥感图像拼接的速度和质量，提出了一种大幅面遥感图像快速拼接方法。首先，采用下采样图
像提取特征和参数优化，把匹配对坐标直接传递到原始图像进行配准和拼接的方法，提高了图像拼接的速度。其次，采 用调整图像垂直方向重叠区域的大小，动态改变缝合点的方法来消除垂直接缝，提高了图像拼接的质量。实验结果表 明：所用测试图像的拼接速度比常规方法提高了约 ３６０ 倍，并能有效消除图像垂直方向的拼接缝，在大幅遥感图像拼接 中得到了实际应用。
优化后，把最终的匹配点坐标按比例传递到原始图像的坐标系下，求出原始图像的变换模型参数，把待配 准图像变换到参考图像坐标系中，进行插值和重采样，最后进行图像亮度调整和无缝拼接，得到拼接后更 大幅面的图像。大幅面图像快速拼接框架如图 1 所示。
参考图像 待匹配图像
2级下采样，释放原图内存 提取顶层图像特征点
1
大幅面图像快速拼接框架
本文使用改进的SIFT(Scale Invariant Feature Transform)特征提取和匹配方法[9]对图像进行配准，考虑到
SIFT特征的多量性，认为可以把大幅面的图像经过下采样到某一分辨率，然后提取特征点，经过全局参数
总装备部试验技术研究项目(No.2009SY4110005)
图2
缩小四倍时的距离误差
经过计算，用缩小了 4 倍的图像求取的匹配对坐标传递到大图像后解算的变换模型参数，与直接用大 图像提取的匹配对坐标解算的变换模型参数的定位精度相当，最大误差相差约为 1.12 像素，均方根误差约
为-0.23。从图 2 可以看出，每个匹配点的距离误差相差在同一数量级，即 1 个像素左右。因此，可以用缩 小 4 倍的图像求取的匹配对坐标直接传递到原始图像中使用，其定位精度能满足使用要求，无需在原始图 像中再次提取匹配对，以提高匹配速度。
其中：
(3)
V = [∆x ∆y ] L=−
对应的法方程为：
T
C=
T
1 x1 A 0
y1 1 0 m2 m3
0
0
0 − x 2 x1 − y 2 x1 m6 m7
0 x1 m4
y1 1 m5
− x 2 y1 − y 2 y1 m8 ]
1 [x2 A
y2 ]
∆ = [m1
CTCΔ + CT L = 0
(x1,y1)
重叠区
(x2,y2)
右图 左图
左图 右图 左图 右图 左图 右图
(x3,y3)
缝合点
(a) 情形 1
(x4,y4)
(x3,y3)
缝合点
(b) 情形 2
(x4,y4)
(x3,y3)
缝合点
(c) 情形 3
(x4,y4)
(x3,y3)
缝合点
(x4,y4)
(d) 情形 4
图 4 动态的缝合点
首先计算重叠区域四个角的坐标(x 1 , y 1 )、(x 2 , y 2 )、(x 3 , y 3 )、(x 4 , y 4 )和阈值s，并令
关键词：遥感图像；拼接；大幅面； 快速
A Fast Mosaic Method Used for Large Scale Remote Sensing Images
Luan Zeng,Wei Xiong
EIES Lab, Academy of Equipment Command and Technology, Beijing, 101416, China Email: zengluan@sina.com
2级下采样，释放原图内存 提取顶层图像特征点
顶层图像进行特征匹配，模型参数计算与优化
顶层图像坐标映射到底层
顶层图像坐标映射到底层
计算底层模型变换参数
重新读参考图像
重新读待匹配图像
亮度、对比度调整
图像变换与重采样 图像无缝拼接，得到更大幅面的图像
结束
图 1 大幅面图像快速拼接框架
由于下采样一般是按 2n进行的，即下层分辨率为上一层的两倍，则第i层上坐标为(x, y)的匹配点，在 第i-1 层上近似对应于坐标值为(2x, 2y)，如果第i层图像坐标有误差，传递到第i-1 层时其误差就会被放大 2 倍。考虑到SIFT特征点能定位到亚像素级，而在大幅面图像拼接时存在像素级的定位误差是可以接受的， 因此，下采样的级数一般限制在 2~3 级为宜，本文将以降采样 2 级为例进行实验和分析。 图像配准变换模型采用(1)式所示的 8 参数透视投影模型：
（6）
式中d 1 ，d 2 表示权重值，它们与重叠区域的宽度有关，且d 1 +d 2 =1，0<d 1 ，d 2 <1。在重叠区域中，d 1 由 1 渐变至 0，d 2 由 0 渐变至 1，由此实现了在重叠区域中由f 1 慢慢平滑过渡到f 2 。但当重叠区呈现如图 3(a)所 示的情况，且两幅图像的亮度不是完全相同时，经(6)式处理后能消除图像左右方向的接缝，但上下方向的 接缝仍会出现，如图 3(b)所示。其原因是在上下方向，融合后的图像会从左图的内容突变到右图（或相 反），当两幅图像局部亮度和对比度不完全相同时，就会出现明显的接缝。
3
图像无缝融合
通常使用淡入淡出的方法来实现图像的无缝融合，若f 1 ，f 2 是两幅待拼接的图像，则融合后的图像像
素f可表示为：
f1 ( x, y ), f ( x, y ) = d1 f1 ( x, y ) + d 2 f 2 ( x, y ), f ( x, y ), 2
( x, y ) ∈ f1 ( x, y ) ∈ ( f1 ∩ f 2 ) ( x, y ) ∈ f 2
Key words：Remote sensing image; Mosaic; Large scale; Fast
引言
大幅面遥感图像拼接是获取高分辨率、大视野的战场图像侦察信息的有效手段，是现代信息化侦察装 备研究领域的关键技术之一。但随着图像尺寸的增大，数据量将会剧增，如果直接对原始图像进行操作， 不但会给计算机内存带来严重的负担，而且会使运算量急剧增加，将使计算过程耗费几个小时，甚至几十 个小时，难以满足实际使用要求。 针对大幅面遥感图像的拼接处理，一般都要采取相应的策略，基于金字塔结构的多分辨率处理就是一 种常用的技术，主要包括：Laplace金字塔[1~2]、低通比率金字塔[3]、梯度金字塔[4]等结构和小波变换金字塔 结构[5~8]。但图像的Laplace、低通比率和梯度金字塔分解是一种冗余分解，分解后各层数据之间具有相关 性，其数据总量会比原被分解图像增加约 33％；虽然小波变换金字塔分解是非冗余分解，图像经过小波变 换之后数据的总量不会增大，但在进行多级小波变换时，每一级变换的数据都要保留，其逆变换是逐级进 行的，运算量比较大，对计算机内存的要求仍比较高。因此，必须寻求一种适用于大幅面遥感图像快速拼 接的方法，降低对计算机的要求，提高图像拼接的速度。
x2 =
m1 x1 + m2 y1 + m3 m7 x1 + m8 y1 + 1
m x + m5 y1 + m6 y2 = 4 1 m7 x1 + m8 y1 + 1
化为
(1)
这是一个非线性方程，通过直接线性变换来求解。构建误差函数，并记： m7 x1 + m8 y1 + 1 = A ，上式
∆x =
重叠区 拼接缝
右图像 左图像
Байду номын сангаас
缝合点
(a) 重叠区域 (b) 垂直拼接缝
图 3 垂直方向的拼接缝
通过分析出现垂直接缝的四种情况，适当调整重叠区域的大小，改变缝合点来消除垂直接缝，如图 4 所示。
(x1,y1) 重叠区 (x2,y2) (x1,y1) 重叠区 (x2,y2) (x1,y1)
重叠区
(x2,y2)
x1 y xx x y x 1 m1 + 1 m2 + m3 − 2 1 m7 − 2 1 m8 − 2 A A A A A A x1 y1 y2 x1 y2 y1 y 1 m7 + m8 − 2 ∆y = m4 + m5 + m6 − A A A A A A
(2)
误差方程用矩阵表示为：
V = CΔ + L