无地面控制的无人机影像全自动快速拼接

无地面控制的无人机影像全自动快速拼接陈继溢;孙杰;张力;许彪;唐晓霏【摘要】为了满足地理国情监测、灾害应急保障需要快速响应和服务的应用需求，该文提出一种无地面控制的无人机影像全自动快速拼接方法。

该方法利用尺寸不变特征匹配和相关系数匹配获取分布均匀且高精度的像点观测，通过自由网光束法平差获取定向参数和加密点物方坐标，最后通过结合影像的色彩一致性处理和顾及重叠的面 Voronoi 图接缝线网络快速拼接获取测区影像图。

实验结果表明：所提出的方法可有效解决无人机影像的快速拼接问题，获取的影像图具有较高的拼接精度，同时色彩过渡自然。

%For the demand of geographical conditions monitoring and disaster emergency security,this paper presents an automatic and fast method for mosaicking UAV images without ground control data.First,high density match points are obtained by SIFT matching and correlation coefficient matching.Then it acquires the orientation parameters of each image and three-dimensional coordinates of the match points using bundle adjustment.After the color consistency processing,it quickly mosaick the ortho-image of the whole zone based on the seamline network automatically generated using area Voronoi diagrams with overlap.Experiments of two different kinds regions which are mountainous area and flat area show that the given method can efficiently solve the problem of fast mosaicking of UAV images with good precision and nice color consistency.【期刊名称】《遥感信息》【年(卷),期】2015(000)002【总页数】5页(P26-30)【关键词】无人机影像;SIFT 匹配;自由网光束法平差;影像色彩一致性处理;快速拼接;无地面控制【作者】陈继溢;孙杰;张力;许彪;唐晓霏【作者单位】中国测绘科学研究院，北京 100830;中国测绘科学研究院，北京100830;中国测绘科学研究院，北京 100830;中国测绘科学研究院，北京 100830;湖北省测绘工程院，武汉 430074【正文语种】中文【中图分类】TP751无人机低空航测遥感具有机动快速响应、任务执行灵活、高精度影像获取等特点，已被广泛应用到地理国情监测、灾害应急保障、地形图测绘、农业、林业、电力等领域。

随着硬件系统的不断发展与成熟，海量影像数据的快速获取已成为可能，但如何有效解决无人机低空影像重叠度不规则、像幅小、旋偏角大、畸变明显问题，快速获取满足业务部门各种应用需求的成果数据具有重要的现实意义，同时也是目前的研究热点。

针对无人机影像的快速拼接问题，目前大多数处理方法都是采用不同的优化算法在像方空间做尺度不变特征匹配（Scale－invariant feature transform，SIFT），然后根据匹配的同名点进行全景拼接。

刘民选［1］着重研究了无人机影像同名点匹配策略和基于GPU的加速方法；胡庆武等［2］采用基于SIFT特征的单应约束影像匹配算法，计算相邻影像的最优变换矩阵，采取多分辨率融合拼接全景影像；宫阿都等［3］首先进行数据分块，其次运用SIFT算子对分块影像进行自动拼接，最后基于辅助数据对分块拼接影像进行整体二次多项式纠正。

上述方法本质上都是基于像方空间的拼接，对同名点匹配精度和分布的依赖性较高，另外，如果测区地形起伏较大可能会出现明显的拼接错位；刘春等［4］提出基于光束法平差的无人机影像快速拼接方法，并推导了相应的数学模型，但仍然依赖于稀少控制信息。

本文针对地理国情监测、灾害应急保障等应用需求，提出一种无地面控制的无人机影像快速拼接方法。

该方法通过结合SIFT特征匹配、相关系数匹配、分级多层金字塔影像匹配等策略获取分布均匀且高精度的像点观测；利用自由网光束法平差获取影像的定向参数和加密点物方坐标；加密点三角构网并内插获取数字高程模型DEM，利用数字微分纠正获取单片正射影像；最后通过结合基于Wallis滤波器的整体匀色处理和顾及重叠的面Voronoi图接缝线网络［5］快速拼接获取测区影像图数据。

目前，无人机飞行作业时可获取航摄影像及概略的导航POS数据，两者和相机参数作为快速拼接的原始数据；其次，通过初始匹配和数据整理建立测区航带列表；然后进行自动空三处理获取影像的外方位元素和加密点的物方坐标；最后纠正拼接处理获取测区影像图数据。

本文方法的总体流程如图1所示。

2.1 初始匹配（1）SIFT特征匹配1999年，Lowe提出SIFT算法［6］，并于2004年进一步改进该算法，它是一种基于尺度空间的影像局部特征描述算子，对影像的旋转、尺度缩放、仿射变换等保持一定程度的稳定性，可作为较理想的无人机影像初始匹配方法。

利用SIFT进行影像匹配主要分为特征点探测、特征点描述、特征点匹配、误匹配点粗差剔除4个部分。

实际应用中为了提高匹配速度，SIFT特征匹配在金字塔影像上进行，同时利用导航POS数据结合全球航天飞机雷达地形测绘使命（ShuttleRadar Topography Mission，SRTM）数据计算目标影像的邻接关系以确定搜索影像。

误匹配点粗差剔除使用模型参数为透视变换的随机抽样一致性（Random Sample Consensus，RANSAC）方法［7］。

（2）相关系数匹配尽管SIFT特征匹配具有很多优势，但其特征点定位精度不高，特征分布存在不均匀的现象。

为了提高匹配精度同时保证匹配点的均匀分布，本文基于SIFT特征匹配的结果，利用在影像上按规则格网提取的Harris特征点进行更高精度的相关匹配以获取初始匹配像点观测。

无人机影像存在旋转、变形等问题，而在级别较高的金字塔影像上可认为其“视差”具有分段连续平滑的特点。

因此，相关匹配时可利用透视变换重采样搜索窗口的灰度数据，变换参数的计算基于目标点邻近匹配成功的SIFT特征点。

通过SIFT特征匹配和相关系数匹配，可获取点位分布和精度均较为理想的初始匹配点。

一方面可用于自由网光束法平差的像点观测数据，另一方面，可作为后续分级多层金字塔影像匹配的初值使用。

2.2 测区整理无人机机载飞行控制系统的POS数据记录了像片摄影时的概略外方位元素，测区整理时基于摄站的三维坐标（X，Y，Z），同时根据摄影曝光时间的先后顺序排列影像。

算法的基本原则为：航带内相邻像片的方向向量与航带方向的向量积为正，如图2（a）、图2（b）所示。

具体步骤如下：（1）依次计算相邻两张像片摄影中心的方向向量并单位化，记为：（2）设航带方向为→l，初始化为当前并将对应摄站点加入到当前航带；（3）对下一个摄站点，计算向量积s：（4）根据s判断摄站点的航带归属：s＞0，将该点加入到当前航带，同时更新航带方向向量其中，→lnew为更新后的航带方向向量，同时将其单位化，m为当前航带内的像片数量。

实质是将航带内所有相邻像片方向向量的加权值作为航带的方向向量，进而增强航带方向计算的稳健性和适用性；s≤0，当前航带创建完成，重复上述步骤（2）～步骤（4）创建下一航带直至判断完所有摄站点的航带归属。

航带创建完成后，根据其位置关系及初始匹配结果进一步判断像片的旋转方式以完整测区整理。

图3是某测区12条航带共计1963张影像的自动整理结果，为显示需要，图中为摄站点抽稀显示结果。

2.3 自动空三分布均匀、密集且高精度的像点观测对于快速拼接目的而言具有重要意义，主要表现在两方面：①提高自由网光束法平差的精度与可靠性，同时有利于像点观测粗差的自动定位与剔除；②自由网加密点坐标通过三角构网及内插可获取测区的DEM，其描述地形地貌的精细与否在一定程度上影响拼接影像图的精度。

因此，为了获取高密度、高精度的像点观测，本文采用分级多层的金字塔影像匹配策略。

（1）自由网光束法平差光束法平差是空中三角测量中最严密的一步解法，可同时获取影像的外方位元素和加密点的物方坐标。

光束法平差中影像坐标观测是未知数的非线性函数，因此，需反复迭代趋近直至收敛为止。

由于受到各种因素的影响（遮挡、重复纹理、阴影等），自动匹配获取的像点观测中不可避免的存在粗差，平差迭代计算过程中自动检测并剔除粗差是保证平差结果精度与可靠性的关键。

因此，本文选用从稳健估计法出发导出的丹麦法LD1权函数［8］，主要基于两方面的考虑：①无需计算多余观测分量，以节省计算时间；②大量密集且分布均匀的像点观测使得平差系统的平均多余观测分量很大（0.9以上）且分布均匀，从平差系统的可靠性理论来说，粗差能够得到很好地监控。

（2）分级多层金字塔影像匹配本文采用基于物方的铅垂线轨迹法（Vertical Line Locus，VLL）［9］实现从粗到精的金字塔影像匹配策略，如图4所示，其处理过程如下：①确定待匹配目标点最低高程Zmin、最大高程Zmax及高程搜索步距ΔZ。

最上级金字塔影像匹配时直接利用2.1节中的初始匹配结果，后续各级影像需重新提取均匀分布的Harris特征点；②根据目标点平面坐标（X，Y）与可能的高程Z依次重采样搜索影像并计算相关系数（ρ1，ρ2，…，ρn）；③取相关系数最大值ρk对应的高程ZK及像点作为正确的匹配。

另外，多层分级金字塔影像匹配时可根据实际需求设置指定的金字塔匹配级数，提高自动空三的处理效率，进而减少快速拼接的整体处理时间。

2.4 快速拼接快速拼接影像图主要分为三步：首先，三角构网并内插自由网光束法平差的加密点物方坐标可获取测区的DEM；其次，数字微分纠正获取单片纠正影像；最后，单片纠正结果经色彩一致性处理后拼接获取测区影像图数据。

对于植被、建筑物较为密集的城区来说，为了避免单片纠正影像中地物地貌的扭曲变形，需要对空三加密点进行滤波处理，本文选用稳健性、适用性均较为理想的渐进加密三角网滤波算法［10］。