无人机影像自动拼接方法_陈宏敏

拍摄的单幅影像往往覆盖范围有限，而在应用过程 直接用于后续的处理。所以，应该先对其进行影像
中，当研究区域处于几幅影像的交界处或研究区域 纠正，使图像中各个像素点的几何关系能够回到相
很大，需要多幅影像覆盖时，影像的拼接也必不可 对正确的状态下。
少[2]。
影像的几何畸变是指在图像平面上图像点在几
笔者综合现有理论研究基础和现代数字摄影测 何位置上的误差，从而造成成像系统不能使图像与
量原理，提出了一种基于 Harris 角点检测算法和 实际景物在全视场范围内严格满足针孔成像模型
Ransac 鲁棒分析算法的全航带影像拼接递归方法。 （或中心投影关系），使中心投影射线发生弯曲[4]。
此种方法能够自动计算出相邻两张待拼接图像的影 畸变差的改正公式为：
像重叠度，并利用递归思想在无人干预的情况下完
的影像拼接。该函数将根据⑵中计算得到的纠正系
数来执行图像间的几何变换。变换后的数组定义为：
图 4 立体像对匹配结果实例
g [x, y] = f [x', y'] = f [a [x, y], b [x, y]]
5 结语
图 2 所有影像归算到同一坐标系下
本文方法结合了 Harris 角点提取算法和 Ransac
为像主点改正值；
行色彩平衡处理，即匀光处理。本文采用基于 Wallis 滤波器的匀光处理方法。Wallis 滤波器的一般形式
;k1 , k2 为径向畸变系数；
为[3]：
（1）
p1,p2 为切向畸变系数； 为像素的非正方形比例因 子；
其实现步骤为：
我们通过使用牛顿迭代法求解二元高阶方程组
⑴将影像进行分块处理，分解成若干块互不重 的方法获得畸变前的投影坐标，以此来纠正影像的
⑶寻找相关系数最大的点对，判断其是否大于
阈值，大于判断为匹配点，不大于则判断为不存在
图 1 原始序列影像信息
匹配点。
3 特征点匹配
3.3 Ransac 算法对匹配结果进行平差
利用循环函数遍历全部立体像对模型。每对模
RANSAC 为 Random Sample Consensus 的缩写，
型之间均进行 Harris 角点提取、基于相关系数的灰 它是根据一组包含异常数据的样本数据集，计算出
⑴从匹配点集合中随机采样求出矩阵参数所需
Harris 算子是由 C.Harris 和 M.J.Stephens 提 要的最少匹配点对数（8 参需要 4 对），用⑶步中的
出的一种基于信号的特征提取算子，这种算子受信
号处理中自相关函数的启发，给出与自相关函数相 方法求解出变换矩阵 H= 联系的矩阵 M[5]。Harris 角点算法的基本思想是：
,Harris 算法的计算公式为：
⑵对所有匹配点集合中的点根据变换模型 H 计
算误差。当
成立时确定该匹配点对
（3） 位内点，算出所有内点并计内点数为 m。
其中：(x,y)表示局部窗口中的所有点；E(u,v)表示 图像在局部窗口沿(u,v)方向的灰度；w(x,y)是加权
⑶用这 m 对内点重新解求 H，通过 H 及 确定新
像作为基准，建立坐标系。由于篇幅有限，此方法
⑷遍历所有立体像对，并重复步骤⑵直至航带 的改进策略就不在本文中展开论述了。
影像全部拼接完成。
参考文献 [1] 唐敏，李永树，鲁恒.无人机影像的同名点匹配[J].光电工程，2012,39(3):19-24. [2] 李奇.数字正射影像拼接的研究[J].地理空间信息，2005,3(1):10-11. [3] 李德仁，王密，潘俊.光学遥感影像的自动匀光处理及应用[J].武汉大学学报（信息科学版）,2006,31(9):753-756. [4] 贾洪涛，朱元昌.摄像机图像畸变纠正技术[J].电子测量与仪器学报,2005,19(3):46-49 [5] DE GENNES P. Wetting: Statics and dynamics[J]. Rev. Mod. Phys, 1985,57(3):827-863. [6] 张剑清，潘励，王树根.摄影测量学[M].武汉:武汉大学出版社,2003. [7] Fischler, M.A. and Bolles, R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the ACM , 1981,24(6): 381–395.
22 技术交流
测绘技术装备 第 15 卷 2013 年第 3 期
无人机影像自动拼接方法
陈宏敏 杨朝辉 （苏州科技学院环境工程与科学学院 江苏苏州 215009）
摘 要：针对基于无人机平台的摄影特点，使用 Wallis 滤波器进行影像匀光，并结合 Harris 算子及 Ransac 算法的优良特性，提出了一种基于递归思想的影像拼接方法。通过对目标影像组批量处理，建立统一的坐标 系统及信息存储结构，实现自动的全航带影像拼接功能。并通过应用实例验证了该方法的有效性。 关键词：无人机 递归 影像拼接 Ransac
1 引言
到，并计算出所有像素新的灰度值。
近年来，随着无人机技术的不断发展，无人机 2.2 畸变纠正
摄影测量技术成为一种吸引众多领域日益关注、采
无人机在飞行时很容易受到低空气流的影响，
用的几何信息分析提取和模型制作的有力工具[1]，但 导致产生空中姿态不稳定、摄影视角不固定等问题。
无人机受其飞行航高和所搭载相机的限制，在低空 这样就使得其拍摄的影像畸变程度很大，没有办法
其中：g(x,y)表示输出影像中点(x,y)的像素值；f 一致性随机抽样算法的优点，并使用递归思想将同
[x', y']指的是输入影像中点[x', y']的像素值， 一航带中的多张影像自动地拼接起来。Harris 算子
不仅可以在带有旋转、扭曲的影像上快速地进行点
y
特征检测和提取，还能自定义输出点的数量，可满
区域的 Wallis 滤波器的乘性系数和加性系数。
行编号。该结构体包含如下内容：
⑷由于各矩形区域互不重叠，所以影像中任一
序列影像（影像号）{影像波段数，影像的缩放
像素的乘性系数和加性系数都可采用双线性内插得 比例，原始宽度，原始高度，影像名，当前存储路
测绘技术装备 第 15 卷 2013 年第 3 期
⑴将第一个模型中的右影像的平面坐标利用双 线变换归算到以左影像为基准的坐标系下。
⑵利用 IDL 中的 PolyWarp 函数计算两幅影像的 几何纠正系数 K 和 x(i,j) Ky(i,j)。PolyWarp 函数是一种基 于最小二乘原理的多项式空间扭曲函数：
（8）
图 3 拼接结果
（9）
⑶利用 IDL 中的 Poly_2D 函数来完成当前像对
,其中 h13 和
⑴在图像中开辟一个局部窗户口，对窗口内的 每一个像素点进行一阶差分运算，并检查窗口在各 个方向上的灰度梯度。假设图形某点的灰度值为
h23 表示右片相对于左片的平移量；h11，h12，h21，h22 表示尺度和旋转量；h31 和 h32 表示水平和垂直方向的 变形量 (若其中一幅图的 3 点共线则重新选取)。
⑵对梯度值进行 Gaussian 滤波，Gaussian 模板
此时，每一对立体像对中都含有相对应的双线
的 取 0.3-0.9。
⑶根据第一步的公式计算联系数矩阵 M。 ⑷选取局部极值点，在窗口内取最大值。
性变换参数。利用公式：
x′( h31 X+ h32 Y + 1) = h11 X + h12 Y + h13 （6） y′( h31 X+ h32 Y + 1) = h21 X + h22 Y + h23 （7） 其中 x、y 是指左影像中点的纵横坐标；x′、y′指
叠的矩形区域。
畸变；β 是 CCD 阵列排列非正交性的畸变系数。
⑵计算各矩形区域的灰度均值和方差。
2.3 序列影像递归模型建立
⑶灰度均值的目标值应设置为 127，灰度方差的
⑴首先需定义一个用于存储影像信息的结构体
目标值应设置为 40-70 之间的数值，然后计算出各 数组，按照无人机的飞行方向对每一种序列影像进
成多张单幅影像的拼接工作，允许目标影像存在一
定程度的拉伸、扭曲、移位等畸变情况，以 IDL （Interactive Data Language 交互式数据语言）
（2）
为开发工具，实现了该方法并用实例验证其有效性。
2 影像预处理
式中，(x,y)是像元点的坐标；x0,y0 为像主点坐标； ，
2.1 影像匀光 为了消除影像在色彩上的差异，需要对影像进
技术交流 23
径} ⑵将相邻影像之间两两配对，形成一组立体像
对模型，并将模型以影像索引的方式存储在计算机 中。
Leabharlann Baidu
除以两信号的方差即得相关系数[6]。以下给出了具体 的实现步骤：
⑴将所有左片的特征点都与右片的所有特征点 遍历一遍。
⑵每两个点之间开辟一个 n x n 的窗口，根据 公式：
（5）
来计算两点间的两关系数。
足多种图像的拼接需求。Ransac 算法具有稳健的平
差特性，保证了拼接结果的可靠性。
但该方法以左起第一张影像为基准，在多次坐
o
x 标传递计算时，会产生累积误差，从而影响到最终
并以此求解 g(x,y)；函数 a [x, y], b [x, y]则表 的拼接效果。为了减小累积误差，可考虑将中间影
示 x、y 的 N 阶多项式。
度匹配及 Ransac 平差，得到不同影像间同名点的相 数据的数学模型参数，得到有效样本数据的算法。
对坐标。以此获取相邻影像的双线性转换参数，并 它于 1981 年由 Fischler 和 Bolles 最先提出[7]。其
以结构数组的形式存储在计算机中。
具体的操作步骤如下：
3.1 Harris 算法提取特征点
窗口，通常在中心的权值较大，靠近窗口边界处权 的内点及内点数 m′。当 m′>m，继续执行第⑵步；
值较小，通常使用 Gaussian 函数来过滤噪声。
当 m′=m（即内点数趋于稳定），则执行第⑷步。
根据全微分公式，可写成如下形式：
⑷经过 N 次随机采样后选取得到内点数最多的
（4） 那次所取的内点集合为依据,求解出变换关系 H。 4 影像拼接
3.2 利用相关系数匹配特征点
位于右影像中与（x、y）同名的像点坐标；hi,j 表示
相关系数是标准化的协方差函数，协方差函数 双线性变换参数（共八个）。
24 技术交流
测绘技术装备 第 15 卷 2013 年第 3 期
建立以立体像对中左影像为基准的坐标系，并 将右片的几何坐标归算到此坐标系下。利用同样的 方式可将一条航带中的所有影像的平面坐标都归算 到以第一张序列影像为基准的坐标系下。具体的实 现步骤为：