基于图像校正与灰度相关性的立体匹配算法研究

机械 2010年第8期 总第37卷 设计与研究 ·15·

———————————————

收稿日期：2010－03－15

基于图像校正与灰度相关性的

立体匹配算法研究

时洪光，张凤生，郑春兰

（青岛大学 机电工程学院，山东 青岛 266071）

摘要：立体匹配是双目视觉系统中必不可少的环节，对特征点进行匹配求解过程复杂，而且误匹配率较高。外极线约束为立体匹配提供了便利条件，但由于实际系统中的外极线是弯曲的，使得沿外极线进行同名点搜索不仅非常耗时，而且计算过程受噪声影响大。给出一种基于图像校正与灰度相关性的立体匹配算法。首先采用图像校正方法将弯曲的外极线变为相互平行的水平外极线，简化了外极线的求取过程；再利用灰度相关性算法对同名点进行匹配。实验结果验证了本文方法的准确性和稳定性。

关键词：双目视觉；立体匹配；图像校正；灰度相关性

中图分类号：TP391 文献标识码：A 文章编号：1006－0316 (2010) 08－0015－04

Research on stereo matching method based on image rectification and gray correlation

SHI Hong-guang ，ZHANG Feng-sheng ，ZHENG Chun-lan

(College of Mechanical & Electrical Engineering ，Qingdao University ，Qingdao 266071，China)

Abstract ：Stereo matching is requisite for a binocular vision system. The process of the feature points matching is complex and with some mistake. Epipolar line restriction is convenient for stereo matching. However, the epipolar line in a practical system is curved, which makes that the searching corresponding points along epipolar line not only is time-consuming, but also is seriously effected by noise. Presents a matching algorithm based on image rectification and gray correlation. The curved epipolar line was converted into parallel straight lines, which simplified the solving process of epipolar line, and then the algorithm based on gray correlation was used to match corresponding points. Programming calculation results verified its accuracy and stability.

Key words ：binocular vision ；stereo matching ；image rectification ；gray correlation

双目视觉系统被广泛应用于机器人视觉导航、智能交通、军事视觉制导等领域，而立体匹配是双目视觉系统中必不可少的环节[1]。立体匹配的本质就是给定一幅图像中的一点，寻找另一幅图像中的对应点，使得这两点为空间同一物体点的投影，进而求出二者的视差，以恢复场景的深度信息，并进一步求得该点的空间坐标。当空间的三维场景投影成二维图像时，同一物体在不同视点下的图像会有很大的不同，而且场景中的很多因素，像光照条件、镜头畸变、物理特性、噪声干扰和物体几何形状等，都会影响最终的匹配结果[2]。本文旨在研究匹配精度高、计算速度快的立体匹配方法。

1 立体匹配约束条件

一般情况下，一幅图像中的某一特征基元在另一幅图像中可能会有很多候选匹配对象，可真正同名的结构基元只有一个，因此可能出现误匹配。为提高匹配精度，必须根据某些约束条件来消除误匹配。常用的匹配约束条件有：外极线约束、唯一性约束、连续性约束、相似性约束、顺序一致性约束等[3]。其中外极线约束把一个点在另一幅图像上的可能匹配点的分布从二维降到了一维，大幅度缩小了对应点的搜索空间，不仅提高了特征点搜索速度，而且减少了误匹配，应用最为广泛。

·16· 设计与研究 机械 2010年第8期 总第37卷 1.1 外极线约束原理

为了计算三维空间点坐标，必须在两幅图像中找到其相应点。如图1所示，点P 1和P 2分别为世界坐标系中同一点P w 在两幅图像中的投影，称这两个点为“同名点”。点Q 1和Q 2为世界坐标系中另一点Q w 在两幅图像中的投影。

其中，由P 1、O 1和O 2三点定义的平面称为外极平面，该平面在右侧图像上的投影称为外极线[4]。当在左侧图像中确定了点P 1，只要在右侧图像中找到其同名点P 2，

即可计算出点P w 的坐标。如果全幅图像搜索点P 2，不仅计算量大，也没必要。根据光学成像关系，点P w 、O 1、O 2、P 1、P 2在同一平面上，且P w 点位于P 1和O 1点定义的连线上，

而P 2点只可能位于极平面在右侧图像的投影，即外极线上。

图1 两个摄像机外极线几何结构

同理，如果给定右侧图像中一点P 2，左侧图像中同名点P 1也一定位于P 2在左侧图像中的外极线上。通常情况下，不同的点对应不同的外极线，而且一幅图像中所有的外极线相交于同一点E ，该点被称为外极点。外极点是另一个摄像机的投影中心在各自图像中的投影。由于所有外极平面都包含O 1和O 2点，因此外极点都位于由两个投影中心定义的直线（基线）上，这种约束条件即为外极线约束[5]。

1.2 外极线求取

利用外极线进行同名点匹配的关键是求取基本矩阵F 。它是匹配点之间对应关系的数学表示[6]

，包含摄像机的内参和外参信息，可根据以下关系求得：

11w w w x u y S v F z ⎡⎤

⎡⎤⎢⎥

⎢⎥⎢⎥⋅=⋅⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦

⎣⎦

（1） 式中：S 为比例系数；u 、v 为特征点的图像坐标；x w 、y w 、z w 是特征点的世界坐标；F 是3×4的矩阵，可由摄像机标定求得。

计算出基本矩阵后，就可以利用它和一个视图中的特征点计算出另一个视图中匹配点所在的外极线。假设基本矩阵F 在摄像机标定阶段已经求出，根据外极线理论，对于左侧图像中的一点P 1，其对应的右侧图像中的外极线I 2可以表示为：

21I FP = （2） 相应的右侧图像中的一点P 2在左侧图像中的外极线I 1可以表示为：

T 12I F P = （3） 每条外极线用归一化的三个参数a 、b 、c 可以表示为：

0a u b v c ×+×+= （4）

2 基于图像校正与灰度相关性的立体匹配

2.1 图像校正

图2所示为标准外极线几何结构。在标准外极线几何结构中，某一点的外极线就是与该点行坐标相同的直线，左右两幅图像中的同名点只有水平方向的位置差，不存在垂直方向的位置差，对应点的搜索只需沿着图像的水平扫描线进行，搜索耗时极少。然而，实际中将两个摄像机按该几何结构严格对齐是非常困难的，而且镜头成像的畸变不可避免，因此，难以得到标准外极线几何结构。这里通过图像校正方法，将相交光轴的双目视觉几何结构转换为标准外极线几何结构，以加速同名点搜索，提高立体匹配速度。

图2 标准外极线几何结构

为了校正图像，首先将两个新的成像平面放置在同一平面上，变换过程中保持两个投影中心的空间位置不变，即O r 1＝O 1，O r 2＝O 2。然后旋转两个摄像机坐标系使它们的x 轴与基线方向相同。另外，创建两个新的主点C r 1和C r 2，使它们之间的连接向量与基线平行，同时从主点到各自投影中心的向量垂直于基线。转换结果如图3所示。

用于图像校正的转换矩阵是根据系统标定时得