基于极限约束方法的图像特征点匹配

基于极限约束方法的图像特征点匹配
基于极限约束方法的图像特征点匹配
立体视觉是由多幅图像(一般2幅)获取物体三维几何信息的方法,为了得到空间一点的三维几何信息,必须从不同视角获取的2幅图像中正确找到这一点对应的投影点,这一过程叫做匹配。

目前的匹配方法主要有基于灰度匹配和基于特征匹配。

基于灰度的匹配算法是利用图像灰度信息之间的相关性,寻找和计算匹配基元的空间坐标,因而对细节丰富的景物特别有效,缺点是没有利用图像之间的相互约束关系,在处理细节不够丰富的景物时不太成功且计算量大;基于特征的匹配方法能够更多地利用图像的结构信息,且特征点的数目较前者少,因而计算量少可提高匹配速度但只能获得离散的三维信息。

匹配问题的困难之处在于存在大量的假目标,在双目立体视觉系统中,对于左图中的一个特征点,它在右图中可能有多个候选匹配点,而实际的匹配点却只有一个。

所以匹配过程中要根据物体的实际信息和一些约束条件来剔除误匹配。

立体视觉中常用的匹配约束主要有
⑴唯一性:物体表面任意一点到观察点的距离是唯一的,因此,其视差是唯一的,从而,给定左图中的一点,其在右图的对应匹配点至多只有一个,反之亦然。

⑵相似性:在某种度量下,同一物理特征在左右2幅图像中表现出相似的性质,因此,给定左图的一个点,匹配时总是在右图搜索性质上与之相近的点作为匹配点。

⑶连续性:与到观察点的距离相比,物体表面因凹凸不平引起的深度变化是缓慢的,因而视差变化也是缓慢的,或者说视差具有连续性。

⑷顺序一致性:2幅图像中同一极线上的对应匹配点的顺序是一致的,不能出现图像特征序列和空间坐标序列交叉的现象。

这些匹配约束的运用不仅可以提高匹配的准确性,而且可以降低匹配的工作量,提高匹配速度,从而使得立体视觉测量系统更加贴近实际应用。

双目立体视觉测量系统数学模型
如图1所示,在双目立体视觉测量系统中,空间一点P(X, Y,Z)和其在2个摄像机像平面的投影坐标P1(x1,y1)、P2(x2,y2)存在如(1)、(2)等式所示关系。

上述方程中的A,B可以通过摄像机定标求得[1],如果知道空间点P(X, Y,Z)的投影点P1(x1,y1)和P2(x2,y2)的正确对应关系,通过以上2个方程可联立解得空间点的三维坐标(X, Y,Z)。

极线约束：
在上述双目立体视觉测量系统中,将2个视平面分别称为视平面I 和视平面II,C1和C2分别是视平面I 和视平面II 对应的光心。

光心连线C1C2与视平面I 和视平面II 的交点E1, E2分别称作视平面I 和视平面II 的极点。

对于空间一点P,其在视平面I 和视平面II 的投影分别记为P1,P2,则由C1C2与P1,P2,P 所确定的平面称为极平面,极平面与视平面I 的交线称为点P1的极线,记为DE1。

对称地,极平面与视平面II 的交线称为点P2的极线,记为DE2。

由上述定义可以看出,视平面I 上任何极线DE1必然通过极点E1,视平面II 上任何极线DE 必然通过极点E2。

不难得到,对于P1点,它在视平面II 上的对应匹配点(P2)一定在极线DE2上;反之,对于P2点,它在
视平面I 上的对应匹配点(P1)一定在极线DE1上。

在实际匹配过程中,可以通过给定一定的误差范围,在这个范围允许内的极线带上搜索,当这一极线带内有多个候选匹配点时,可以结合“顺序一致性约束”进行特征点的匹配。

用极线约束实现特征点的匹配时,为了正确地知道特征点对应的极线方程,需要对摄像机进行正确的定标,本实验通过一个三维坐标已被精确测定的靶标对左右摄像机进行定标。

当摄像机参数求得后,用M1,M2分别表示左右摄像机的投影矩阵, M1,M2由A,B 表示为:
对于每一个3×4矩阵Mi(=1,2),设
其中,Mi1为Mi 左方的3×3矩阵;mi 为Mi 的第4列。

令向量0][u 11
11212=?-u M M m T ,[m]×为由m 确定的反对称矩阵[2],对于匹配点对P1(x1, y1),P2(x2,y2)有如下极线方程:
式中T T z y x u z y x u ],,[,],,[22221111==
经验证，本方法计算简单，匹配速度与精确度也比较理想。