双目视觉立体匹配算法研究

ｄｏｅｓ ｎｏｔ ｉｎｃｌｕｄｅ ｔｈｅ ｋｎｏｗｌｅｄｇｅ ｏｆｍａｔｃｈｉｎｇ． Ｔｈｅ ｓｅｃｏｎｄ ｐａｒｔ ｏｆ ｔｈｉｓ ｔｈｅｓｉｓ ｉｎｔｒｏｄｕｃｅｓ ａ ｒｏｂｕｓｔ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｍａｔｃｈｉｎｇ ｔｗｏ
ｕｎｃａｌｉｂｒａｔｅｄ ｉｍａｇｅｓ．Ｔｈｉｓ ａｌｇｏｒｉｔｈｍ ｈａｓ ｂｅｅｎ ｒｅａｌｉｚｅｄ ａｎｄ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔ ｉｓ ｇｉｖｅｎ． Ｍａｔｃｈｉｎｇ ｕｎｃａｌｉｂｒａｔｅｄ ｉｍａｇｅｓ ｉｓ ａｎ ｉｍｐｏｒｔａｎｔ ｓｔｅｐ ｏｆ ｉｍａｇｅ－ｂａｓｅｄ ３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．Ａｔ ｆｉｒｓｔ，
ｆｕｎｄａｍｅｎｔａｌ ｍａｔｒｉｘ ｉｓ ｅｓｔｉｍａｔｅｄ ｕｓｉｎｇ ｔｈｅ ｍａｔｃｈｉｎｇ ｓｅｔｓ．Ｍｏｒｅ ｍａｔｃｈｅｓ ａｒｅ ｅｖｅｎｔｕａｌｌｙ ｆｏｕｎｄ
ｂｙ ｕｓｉｎｇ ｔｈｅ ｒｅｃｏｖｅｒｅｄ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ．
Ｋｅｙ ｗｏｒｄｓ：Ｂｉｎｏｃｕｌａｒ Ｖｉｓｉｏｎ；Ｍａｔｃｈｉｎｇ；Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ；Ｆｕｎｄａｍｅｎｔａｌ Ｍａｔｒｉｘ；Ｅｐｉｐｏｌａｒ
本文由两部分组成，分别对双目视觉的算法和未标定图像的立体匹配进行了研究 和算法的实现。
在本文的第一部分，首先阐述了摄像机标定的基本原理，然后对双目视觉的理论 进行了研究，同时介绍，一个自己实现的位于移动小车上的双目视觉系统。这个双目 视觉系统利用双目视觉的原理实现对小球的实时定位。在此双目视觉系统的实现中涉 及摄像机标定、视频流捕捉、图像处理和坐标系转换等方面内容。
ｃｏｕｌｄ ｂｅ ｕｓｅｄ ｏｎ ａ ｖｅｈｉｃｌｅ ｉｓ ｒｅａｌｉｚｅｄ．Ｔｈｉｓ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｃｏｕｌｄ ｇｅｔ ｔｈｅ
ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ａ ｂａｌｌ ｉｎ ｒｅａｌ ｔｉｍｅ．Ｔｈｉｓ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｉｎｃｌｕｄｅｓ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ， ｖｉｄｅｏ ｃａｐｔｕｒｉｎｇ，ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｔｒａｎｓｆｏｒｍａｔｉｏｎ，ｅｔｃ．Ｂｕｔ ｔｈｉｓ ｐａｒｔ
ｔｈｉｓ ｐａｒｔ ｉｎｔｒｏｄｕｃｅｓ ｓｏｍｅ ｔｈｅｏｒｙ ｋｎｏｗｌｅｄｇｅ ｗｈｉｃｈ ｉｎｃｌｕｄｅｓ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ ａｎｄ ｔｈｅ ｔｈｅｏｒｙ
ｏｆ ｍａｔｃｈｉｎｇ．Ａｎｄ ｔｈｅｎ ａ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｍａｔｃｈｉｎｇ ｔｗｏ ｕｎｃａｌｉｂｒａｔｅｄ ｉｍａｇｅｓ ｉｓ ｉｎｔｒｏｄｕｃｅｄ．Ｔｈｉｓ ａｐｐｒｏａｃｈ ｉｓ ｔｏ ｕｓｅ ｓｏｍｅ ｃｌａｓｓｉｃａｌ ｔｅｃｈｎｉｑｕｅｓ ｔｏ ｆｉｎｄ ａｎ ｉｎｉｔｉａｌ ｓｅｔ ｏｆ ｍａｔｃｈｅｓ，ｍａｄ ｔｈｅｎ
在本文的第二部分，详细介绍了一种未标定图像立体匹配的算法，编程实现了该 算法并进行了试验分析。未标定图像立体匹配是进行基于图像的三维重建的关键一步。 为了介绍未标定图像立体匹配的算法，在这一部分的开始，介绍了相关的理论知识， 包括对极几何和立体匹配的基本理论。在这个对未标定图像进行立体匹配的算法中， 首先是根据传统理论进行初始匹配，然后用匹配的点对估算基础矩阵，进而恢复对极 线约束，最后，再结合对极线约束进行立体匹配。
Ｇｅｏｍｅｔｒｙ；Ｖｉｄｅｏ Ｃａｐｔｕｒｅ
东北大学硕士学位论文
１．１引言
第一章绪论
第一章绪论
计算机视觉是计算机科学与人工智能的一个重要分支，在近三十年有了突飞猛进 的发展。可以预言，这种发展势头还将保持一个相当长的时期。原因很清楚，“百闻不 如一见”，视觉信息在人类活动所涉及的各种信息中所占比重最大，由于它独特的空间 特性和结构特性，不能为其它任何信息所代替【１１。
计算机视觉有几个核心问题，对于单幅图像，核心是分割问题；对于多幅图像核 心是三维重构问题和运动分析。在基于图像的ｉ维重建中，未标定图像的立体匹配是 关键的步骤。
立体视觉是由多幅图像（一般是两幅）获取物体三维几何信息的方法。对生物视 觉系统，人们早就注意到，几乎所有具有视觉的生物都有两个眼睛。用两个眼睛同时 观察物体时，会有深度或远近的感觉。盘体电影之所以有逼真的深度感，也是仿造了
ｃａｍｅｒａ Ｔｈｅ ｆｉｒｓｔ ｐａｒｔ ｏｆ ｔｈｉｓ ｔｈｅｓｉｓ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｂａｓｉｃ ｐｒｉｎｃｉｐｌｅ ｏｆ
ｃａｌｉｂｒａｔｉｏｎ，ａｎｄ
ｔｈｅｎ ｒｅｓｅａｒｃｈｅｓ ｏｎ ｔｈｅ ｔｈｅｏｒｙ ｏｆ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ．Ａｔ ｌａｓｔ，ａ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｗｈｉｃｈ
东北大学硕士学位论文
第一章绪论
立体视觉原理。在立体电影拍摄中，用两个摄像机同时拍摄，而在放映时，将两个摄 像机拍摄的图像同时投影到屏幕上，并利用偏振光的原理，使人的双眼分别看到左右 摄像机拍摄的图像，从而使人感到真实三维场景的立体感Ｉ３１。在计算机立体视觉系统 中，也可以利用摄像机从不同角度获取同一景物的两幅图像，然后利用三维重建原理， 由计算机重建景物的三维形状，恢复出物体的空间位置信息。
东北大学硕士学位论文
第一章绪论
对于表达与算法层次，视觉系统的研究应给出各部分的输入、输出和内部的信息表
达，以及实现计算理论所规定的目标的算法，算法与表达有关，不同的表达方式，完成
同一计算的算法会不同，但Ｍａｒｔ认为，算法与表达是比计算理论低一层次的问题，不
同的表Leabharlann Baidu与算法，在计算理论层次上可以是相同的。
ｍａｔｃｈｉｎｇ ａｒｅ ｔｈｅ ｋｅｙ ｔｅｃｈｎｏｌｏｇｉｅｓ ｏｆｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ，
Ｔｈｉｓ ｔｈｅｓｉｓ ｃｏｎｓｉｓｔｓ ｏｆ ｔｗｏ ｐａｒｔｓ．Ｏｎｅ ｐａｒｔ ｒｅｓｅａｒｃｈｅｓ ｏｎ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｏｆ ｂｉｎｏｃｕｌａｒ
ｖｉｓｉｏｎ ａｎｄ ｔｈｅ ｏｔｈｅｒ ｓｔｕｄｉｅｓ ａ ｒｏｂｕｓｔ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｍａｔｃｈｉｎｇ ｔｗｏ ｕｎｃａｌｉｂｒａｔｅｄ ｉｍａｇｅｓ．
最后一个硬件层次，是要回答“如何用硬件实现以上算法”。
区分以上三个不同层次，对于深刻理解计算机视觉与生物视觉系统以及它们的关系
都是有益的。目前计算机视觉的研究工作主要在前两个层次，即计算理论，表达与算法
层次。对于硬件实现，目前只有比较成熟的部分，如低层次处理中的去噪声和边缘抽取；
对简单二维物体识别及简单场景下的视觉方法，已有专用芯片或其它并行处理体系结构
计算机视觉发展近２０多年来有两大事件，一是二十世纪八十年代的Ｍａｒｒ计算视 觉理论使计算机视觉成为－ｆｌ独立科学；二是二十世纪九十年代提出的摄像机自标定 和分层重建思想使计算机视觉走出了低谷。
计算机视觉的中心任务就是对图像进行理解，其中包括对单幅图像的理解、对多 幅图像的理解和对视频图像的理解，理解的是物体的形状、位置和运动信息。从图像 处理与模式识别发展起来的计算机视觉研究方向主要是如何利用二维投影图像恢复三 维景物世界拉Ｊ。
方面的研究与试验产品；从系统上构造一般的视觉系统，虽有一些尝试，但一般并不成 功。
１．２．２视觉信息处理的三个阶段
Ｍａｒｔ从视觉计算理论出发，将系统分为自下而上的三个阶段，即视觉信息从最初的 原始数据（二维图像数据）到最终对三维环境的表达经历了三个阶段的处理【３１。第一阶 段构成所谓“要素图”或“基元图”（ｐｒｉｍａｒｙ ｓｋｅｔｃｈ），基元图由二维图像中的边缘点、 直线段、曲线、顶点、纹理等基本几何元素或特征组成；第二阶段，Ｍａｒｒ称为对环境的 ２．５维描述，２．５维描述是一种形象的说法，意即部分的、不完整的三维信息描述，用“计 算”的语言来讲，就是重建三维物体在观察者为中心的坐标系下的三维形状与位置。当 人眼或摄像机观察周围环境物体时，观察者对三维物体最初是以自身的坐标系来描述 的；另外，我们只能观察到物体的一部分（另一部分是物体的背面或被其它物体遮挡的 部分）。这样，重建的结果是以观察者坐标系下描述的部分三维物体形状，称为２．５维描 述。这一阶段中存在许多并行的相对独立的模块，如立体视觉、运动分析、由灰度恢复 表面形状等不同处理单元。２．５维捅述是不够的，事实上，从各种不同角度去观察物体， 观察到的形状都是不完整的，不能设想，人脑中存有同一物体所有可能的观察角度看到 的物体形象，以用来与所谓的物体的２．５维描述进行匹配与比较，因此，２．５维描述必须 进一步处理得到物体的完整三维描述，并且必须是物体本身某一固定坐标系下的描述， 这一阶段称为第：：阶段，即三维阶段。
关键词：双目视觉；立体匹配；摄像机标定；基础矩阵；对极几何；视频流捕捉
东北大学硕士学位论文
Ａｂｓｔｒａｃｔ
Ｒｅｓｅａｒｃｈ ｏｎ ｔｈｅ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ
Ａｂｓｔｒａｃｔ
Ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ ｉｓ ａｌｌ ｉｍｐｏｒｔａｎｔ ｐａｒｔ ｏｆ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ．Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ａｎｄ
东北大学 硕士学位论文 双目视觉立体匹配算法研究 姓名：唐麟 申请学位级别：硕士 专业：模式识别与智能系统 指导教师：徐心和
20060201
东北大学硕士学位论文
双目视觉立体匹配算法研究
摘要
摘要
双日视觉是计算机视觉领域的一个重要组成部分。双目视觉研究中的关键技术摄 像机标定和立体匹配一直是研究的热点。
计算机视觉使用的理论方法主要是基于几何、概率、运动学与三维重构的视觉计 算理论，它的理论基础包括射影几何学、刚体运动力学、概率与随机过程、图像处理、 人工智能等。计算机视觉要达到的最终目的是实现计算机对三维景物世界的理解，即 实现人类视觉系统的某些功能。
为了达到计算机视觉的目的，通常有两种技术途径可以利用【２１。第一种是仿生学 方法，即从分析人类视觉入手，利用大自然提供给我们的最好参考系——人类视觉系 统，建立视觉过程的计算模型，然后利用计算机系统予以实现。第二种是工程方法， 即脱离人类视觉系统框架的约束，利用一切可行的和实用的技术手段实现视觉功能。 由于仿生学方法的进展缓慢，现在计算机视觉的研究大多使用工程方法。
１．２ Ｍａｒｔ的计算视觉理论框架
二十世纪八十年代初，Ｍａｒｃ首次从信息处理的角度综合了图像处理、心理物理学、 神经物理学及临床神经病学的研究成果，提出了第一个较为完善的视觉系统框架，这一 框架虽然在细节甚至在主导思想方面尚存在大量不完备的方面，许多方面还有许多争 议，但至今仍是广大计算机视觉工作者接受的基本框架。计算机视觉这门学科的形成， 应该说与这一理论框架有密切的关系【３１。
是什么，之间的关系是什么变换或具有什么约束。Ｍａｒｔ对视觉系统总的输入输出关系规 定了一个总的目标，即输入是二维图像，输出是由二维图像“重建”（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）出 来的三维物体的位置与形状。Ｍａｒｔ认为，视觉系统的任务是对环境中三维物体进行识别、 定位与运动分析，但这仅仅是～种对视觉行为（ｂｅｈａｖｉｏｒ）的目的性定义，而不是从计 算理论层次上的目的性定义。三维物体千差万别，应存在一种计算层次上的一般性目的 描述，达到了这一“甘的”，则不管是什么具体的物体，视觉任务均可完成。Ｍａｒｒ认为， 这１“目的”，就是要通过视觉系统，重建三维物体的形状、位置，而且，如果在每。 时刻，部能做到这’＋点，则运动钉析也可以做剑。对视觉系统的各个层次与模块，Ｍａｒｒ 也仞步给出了计算ｆ里论层次ｔ：的｝｛杯，
ＭａｌＴ计算视觉理论有两个核心论点：
（１）人类视觉的主体是重构可见表面的几何形状： （２）人类视觉的重构过程是可以通过计算的方式完成的。 下面从几个方面来描述这一理论框架。
１．２．１视觉系统研究的三个层次 Ｍａｒｔ从信息处理系统的角度出发，认为对此系统的研究应分为三个层次，即计算理
论层次、表达（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）与算法层次、硬件实现层次ｌ…。 计算理论层次要回答系统各个部分的计算目的与计算策略，亦即各部分的输入输出