基于无人机图像的密集匹配方法研究_蔡龙洲

1 引 言
从二维图像中提取物体的空间位置信息，相对于影像采集其实是一个逆反的病态过程。 物体在成像过程中，失去了其三维信息，而三维重建，则从图像中恢复被摄物体的表面三维 特征。 利用二维图像进行被摄物体三维重建过程中， 涉及的主要技术有影像密集匹配和三维 [1] 建模 。在遥感数据融合、对象识别、图像拼接、影像校正、三维建模等应用中，图像匹配 是这些应用的基础。 图像密集匹配的精度直接影响着视差图的精度， 进而影响三维重建结果 的精度。所以，图像密集匹配是三维重建的基石和出发点。 [2] 对于密集匹配，已有了大量的研究。杨化超等 提出了 SIFT 特征及对极几何和单应矩 阵双重约束基于宽基线多阶段密集匹配，他首先提取最优 SIFT 特征进行匹配，然后对于剩 余的 SIFT 特征基于双重约束匹配，最后对于未匹配点使用宽基线和滤波加速计算并使用最 [3] 小二乘拟合完成密集匹配。 侯文广等 则基于 SURF 算子与薄板样条(TPS)建立影像之间连续 和光滑形变变换，其使用极线和 TPS 变化约束选择可靠同名点，建立 TPS 变换矩阵，然后基 [4] 于影像灰度进行匹配。孔晓东等 对极线进行了校正，使得两幅图像对应极线处在同一扫描 [5][6] 线上，然后分线段进行密集匹配。针对图像密集匹配，本文提出了一种基于 FAST 算法 [7] 的图像密集匹配方法。FAST 算法原理直观运算简单 。该方法首先使用 FAST 算法检测两图 像的角点，并对两角点集进行匹配。根据粗匹配的两点点集采用 RANSAC 算法鲁棒的估算出 基本矩阵和单应矩阵。 然后根据极线约束和单应约束估算出匹配点的对应位置范围， 根据互 相关系数进行两点之间匹配， 从而实现两图像之间点点对应的密集匹配。 使用该算法实现了 两幅未标定无人机图像的密集匹配。
454003, China; ②Remote Sensing Calibration and Authenticity Inspection Laboratory, Institute of Remote Sensing Applications of Chinese Academy of Sciences, Beijing 100101, China)
C '
P
图5 对极几何关系
设 C 和 C ′分别为同一摄影基线上的两次曝光时光心位置，p 和 p′是地面点 P 在两张图 像上的投影点，则 p 与 p′是两幅图像中的一对匹配点。连接两光心 C 和 C ′与左右两幅图分 别交于点 e 和 e′，e 和 e′称之为一对极点。空间点 P 和两个光心 C 和 C ′共面，其组成的平 面称之为对极平面。对极平面与两图像平面 I、I′分别相交于直线线 l 和 1′，l 和 l′称为对 极线。因为 p、p′点同时处在对极平面和像平面上的交线上，即对极线上。我们可以得出， 寻找像平面 I 上的一点 x 在像平面 I′上的对应点 x′时，只需在 x′所对应的极线上寻找。这为 匹配点搜索缩小了范围。所有的极线都穿过对极点 e 或者 e′。从上面的对极几何约束中，我 们可以推出对极几何约束的性质，对于图像平面 I 上的一点 p，存在像平面 I′上的一直线 l′ [15] 与之相对于，在 l′上存在一点 p′与 p 相匹配。基本矩阵是对极几何的数学描述 。如图 5， ' ' ' 我们可设对极点 e，e′的齐次坐标为 e ex , e y ,1 ，e ex , e y ,1 。为此，这一对极几何关系 可以表示为基本矩阵 F 进行描述， 位于图像 I′中的一点 p′通过基本矩阵映射到图像 I 中的对 极线 l 中，用数学表示为
l ' Fp l F T p'
T
(2)
(2)式中，l、l′为一对对应的极线，p、p′为一对对应点，F 为基本矩阵，F 为基本矩 阵的转置矩阵。在对极几何中，我们已经能够判定位于图像 I′上的一点 p′对应于图像 I 上的 点 p 的线性位置，但是不能判定 p 点位于图像 I 中的具体位置。为此，我们引进单应矩阵进 行描述两个对应点之间的一一对应关系矩阵。如图 6 所示
3 对极几何约束与单应约束
对极几何表示了同一场景中两幅图像之间的几何关系， 它独立于场景结构， 仅依赖于摄 [14,1] 像机的参数，所以，对极几何是两幅图像间固有的射影性质 。无人机在飞行过程中，对 地面的同一地物进行拍摄，其对极几何关系如图 5 所示。
C
e l p I
e' l' p' I ′ '
图 2 噪声敏感性测试
从图 2 我们很容易看出，FAST 算子对加入一定噪声后，其检测到的角点数增加的速度 比 Harris 算子快得多， 所以 FAST 对噪声比较敏感， 很容易受到噪声的影响而提取了错误的 角点。同时，我们对 FAST 和 Harris 提取角点的运算速度进行了测试，同样针对上述图像条 件进行 30 组的运算取其平均时间作为运算时间，其结果如图 3 所示。
图 3 检测角点速度测试
从图 3 我们可以看出 FAST 和 Harris 进行角点检测耗费的时间有一定的差距， 但是他们 都随着噪声密度值的增加而呈逐渐上升趋势。考虑检测一万个角点耗费的时间则可以看出， Harris 所耗时间要远远大于 FAST。 考虑在无人机应急中， 图像的噪声密度有限性， 使用 FAST 提取角点缩短运算时间是可取的。为此，本文选择 FAST 算子检测角点，提取的特征点如图 4 所示，特征点使用红色十字标出。
w1 xi , yi u1
i
2
w2 xi , yi u 2
i
2
(1)
(1)式中，w1 和 w2 分别为特征点集 I1、I2 中特征点 P1、P2 为中心在相对应图像中两个大
小一致的窗口。u1、u2 为相关匹配窗口内像素灰度的平均值。匹配时，在特征点集 I1 中选取 任意角点，查找在特征点集 I2 中与其相关性最大的角点进行配对。然后对于特征点集 I2 中 的任一角点，查找在特征点集 I1 中与其相关性最大的角点配对。当双向搜索查找的最大相 关性角点相互匹配时，则判定其配对成功，否则配对失败。
Abstract: A method of UAV image-dense matching based on FAST algorithm was proposed in this paper. Firstly, it is to extract image feature points using the FAST algorithm, and use the normalized cross-correlation relationship algorithm to match two feature point sets ，then the fundamental and homographic matrixes were estimated by the robustness of the RANSAC algorithm according to the early matching results. All the points could be matched stably by the Epipolar constraint and Homography constraint through normalized cross-correlation relationship. The experiments showed that the matched results with the method were satisfactory. Key words: FAST algorithm; dense matching; epipolar constraint; homography constraint
[8]
图 1 FAST 角点检测
考虑图 1 中，以检测点 P 为圆心半径为 3 的圆环上有 16 个点，设定某一阈值 T，检测 圆环上的点与点 P 的灰度值之差。若连续有超过 12 个点的灰度值之差大于阈值 T。则判定 点 P 为角点。 若对一任意点 P 都将其与邻域的 16 个像素点进行比对，则需要大量的计算量。考虑图 1 我们知道，如果圆环上像素点 1 和 9 的灰度值与点 P 的灰度值小余阈值 T 的话，那么我们 不再需要检测 12 个像素点来判定 P 点是否为角点。为此，我们可以采取加速的检测方法。 根据以上原则，我们先检测像素点 1、9，然后检测像素点 5 和 13。通过实验统计，经过优
A study of dense matching method based on UAV image
CAI Long-zhou①②, YU Tao②, XIE Dong-hai , WU Yu , ZHENG Feng-jie , MENG Xiu-jun①
② ② ②
(①
School of Surveying and Land Information Engineering, Henan Polytechnic University, Henan Jiaozuo
2 FAST 角点检测与初匹配
对于角点检测算法， 人们提出了各种算法， 并进行加以改进， 如 Harris 算子及对 Harris [9] 算子的改进 。本文中对图像进行特征点的提取采用 FAST(Features from Accelerated Segment Test)角点检测算法。FAST 算法是由 Edward Rosten 和 Tom Drummond 提出了一种 简单快速的角点探测算法， 该算法检测的角点定义为在像素点的周围邻域内有足够多的像素 [10] 点与该点处于不同的区域 。 应用到灰度图像中， 即有足够多的像素点的灰度值大于该点的 灰度值或者小于该点的灰度值。 考虑图像中任意一个像素点和以它为中心的一个区域， 该区 域为一个半径等于 3 的离散化的 Bresenham 圆，如图 1 所示。
C
e p I H1 P H