双目视觉的图像立体匹配系统 说明文档

双目视觉的图像立体匹配系统文档

1 引言

计算机视觉技术的发展将光与影的艺术和计算机的逻辑性紧密结合起来，而双目立体视觉技术更将这种结合从平面二次元上升到立体的角度，为我们的生产生活提供了新的技术和工具，例如已经被普遍运用的3D电影技术，研发中的虚拟现实、谷歌视觉眼镜、汽车自动驾驶技术，即将上市的淘宝虚拟实景购物等，不断改变着我们的生活，另外双目立体视觉在军事、医学、工业等领域都有其重要的作用，是机器感知物体几何层级的基础，因此对双目视觉的理论研究成为推动立体视觉乃至计算机视觉技术在各个领域创造更高价值的重要因素。

在双目视觉的研究和运用中，最重要的一个阶段无疑为将平面图像转化为可计算机可识别的立体模型，这里将用到立体匹配技术，目前双目视觉研究领域用到的立体匹配算法及其衍生算法有很多种，算法的效率和匹配精度将直接影响到算法运用的响应时间和准确度[1]，当今各种视觉智能设备的发展需要将立体匹配过程直接嵌入到单片机中，这种场景下，算法的效率和匹配精度将直接决定不同运算性能的嵌入式设备的选择和产品推广后的用户体验度，也将直接决定设备成本，因此研究出更加速度快、精度高的立体匹配算法在各领域都具有划时代的重要意义。

2 系统方案设计

2.1 双目视觉的图像立体匹配系统

说起立体视觉系统，要从人的双眼说起，人眼是一个典型的双目视觉系统，每只眼睛是一个摄像机，两只平行的眼睛是两台平行的摄像机，因为两只眼睛的位置不同，看到的图像是有差异的，这个差异就是立体视觉的基础，视觉信号传入大脑，大脑利用其强大的匹配能力，就可以基本确定图像中的物体的立体信息，或者叫做图像的深度信息。随着人们知识和生产生活的发展，需要通过仿真立体视觉的原理，让计算机获取到图像从2D向3D发展，即获取图像的深度信息，以实现一些和空间视觉有关的需求，这就出现了机器立体视觉技术。

图2.1 立体视觉原理示意图

如图2.1是一张立体视觉原理示意图，O1和O2为两台摄像机，物体上的点p12分别对应左右图像上点p1和p2，通过算法找到图像左右图像上对应的点p1、p2，这个过程则是立体匹配。求解p1、p2、p12构成的三角形，我们就能得到点p12的坐标，也就能得到p12的深度[6]，如图2.2所示。

图2.2 标准双目视觉系统投影成像示意图

其中，点l O 和点r O 分别是左右两个摄像头的光学中心位置，即两个摄像头成像坐标系的光学原点，f 为左右两个摄像头的焦距，在这里，点A （X,Y,Z ）以l O 为坐标中心，左摄像头成像坐标系为坐标系，由相似三角形的性质，有：

Y v Z f X x X Z f Z b b u u l

l l r =-=-=+-,

(2-1)

则

r

l r l l r l l u u bf

Z u u b v Y u u b u X -=

-=-=,,

(2-2)

因此找到点A 在左右图像上对应的

l a 和r a 则是重中之重，一个好的立体匹

配算法对双目视觉系统起到了决定性作用，我们将在本文接下来的章节对最有代表性的算法做具体介绍。

双目立体视觉之间模拟了人眼视觉构造，因此双目视觉在各个领域都具有广泛的运用，比如机器人导航领域，双目视觉可以被运用在汽车自动驾驶，机器人自动导航；在虚拟现实领域，通过对双目视觉的研究，人们可以虚拟出立体视觉，极大丰富了人类生活；在航空航天领域，双目视觉已经运用在飞行器自动导航和飞行器避障；在工业上，双目视觉被运用在机械自动化制造，工业监测等方面。一个完整的双目立体视觉系统通常包括图像获取、摄像机标定、图像矫正、立体匹配和深度恢复五个方面：

（1）图像获取通过模拟双目的方式，利用平行的两台摄像机对左右眼图像进行获取。

（2）立体标定通过图像特征点获取，建立摄像机的几何成像模型

（3）图像矫正把实际中非共面行对准的两幅图像，校正成共面行对准，因为当两个图像平面是完全共面行对准时，计算立体视差是最简单的[7]

（4）立体匹配通过算法对图像进行立体匹配，建立图像的立体模型。 深度恢复通过匹配结果，恢复图像的立体感。

2.2 双目视觉的图像立体匹配系统框图

在进行图像的立体匹配之前，需要得到可匹配的图像，既使得左右双眼图片在平面上完全行对准，这时计算立体视觉差是最简单的，而这种行对准图像是可以通过图像校正完成的，但由于每对摄像机的参数（位置、畸变等）不同，在校正时需要拿到摄像头的标正值，因此在校正前需要对摄像头进行标定。总的流程图如图3.1所示：

图3.1 系统设计框图

通过采集左右摄像头的图像和标定图像进行反复对比标定，得到图像的标定参数，进而进行图像校正，校正后的图像即可通过立体匹配算法进行深度匹配。

3 设备选型及硬件系统详细设计

3.1 设备选型

本系统选用不同型号的两个摄像头作为双目视觉采集摄像机。

3.2 硬件系统设计

系统所用硬件系统配置如下：

PC：四核i5处理器、4Gb内存、显示卡2GRAM

4 软件设计及测试

4.1 开发环境

编译器：VS2015、MATLAB2015B

视觉库：OpenCV3.0

4.2 概要设计

4.2.1 流程图

4.2.2 主要函数及实现功能

4.3 详细设计

4.3.1图像采集

本论文采用MATLAB对双目图像进行采集，摄像机用到是视觉平行的两台摄像头，如图4.1所示：

图4.1图像采集用的双目摄像头

说明：将摄像头使用USB连接线与电脑相连接，使用matlab在同一时间对图像进行采集，为了摄像头标定参数无变化，整个实验过程中需要保持摄像头位置不变，否则实验会不准确。

4.3.2立体标定

在实际拍摄中，有的摄像头会产生畸变，且采集到的图像极线相交，为了降低后续图像匹配的难度，我们需要得到两个摄像头的焦距、主点坐标、倾斜系数、畸变系数以及它们之间的旋转矢量，现多采用张定友棋盘格标定法对摄像头进行标定，他利用了摄像头拍摄的图像与实物间存在线性关系，表达式如下：