双目立体视觉中的三维重建毕业设计论文

西安邮电大学
毕业设计（论文）题目：双目立体视觉中的三维重建
诚信声明书
本人声明：我将提交的毕业论文《双目立体视觉中的三维重建》是我在指导教师指导下独立研究、写作的成果，论文中所引用他人的无论以何种方式发布的文字、研究成果，均在论文中加以说明：有关教师、同学和其他人员对本文的写作、修订提出过并为我再论文中加以采纳的意见、建议，均已在我的致谢中加以说明并深致谢意。

论文作者时间：2012年6 月7 日
指导教师已阅时间：年月日
西安邮电大学
毕业设计(论文)任务书
学生姓名指导教师职称讲师
院别自动化学院专业测控0802
题目双目立体视觉中的三维重建
任务与要求
本题目要求在搭建双目立体视觉平台的基础上，通过OpenGL和MATLAB联合编程实现三维重建功能。

具体任务分解如下：
1．查找文献，学习和掌握三维重建方法；
2．完成三维重建的MATLAB编程，并对实验数据进行相关分析；3．通过OpenGL，实例编程实现三维重建；
4．通过OpenGL和MATLAB联合编程，完成三维重建；
开始日期2011年12月10日完成日期2012年6月25日
院长(签字) 2012 年12 月日
西安邮电大学
毕业设计 (论文) 工作计划
学生姓名___指导教师__ __职称__讲师_
院别____自动化学院____专业____测控0802___
题目_____ 双目立体视觉中的三维重建
工作进程
论文(设计)过程中教师的指导安排
1.每周定时交流和集中答疑；
2.有问题及时E-mail联络；
3.定期解答讨论群的提问。

对计划的说明
西安邮电大学
毕业设计(论文)开题报告自动化学院测控技术与仪器专业2008级02 班课题名称：双目立体视觉中的三维重建
学生姓名：学号：06082042
指导教师：
报告日期：2012年3月18日
图1 平行双目立体视觉
平行双目立体视觉获取三维信息采用的是视差测距量原理。

）三维重建方法的研究
空间直线和空间曲线也是组成空间图形的主要基元。

根据空间直线射影变换前后仍是直线的性质，以此来分析空间直线与图像中的直线之间的关系。

空间直线在上的成像可以这样认为，空间直线与摄像机光心构成的平面与成像平面的交
西安邮电大学毕业设计(论文)成绩评定表
西安邮电大学毕业论文(设计)成绩评定表(续表)
毕业设计（论文）原创性声明和使用授权说明
原创性声明
本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。

尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。

对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。

作者签名：日期：
指导教师签名：日期：
使用授权说明
本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。

作者签名：日期：
学位论文原创性声明
本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。

除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。

对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。

本人完全意识到本声明的法律后果由本人承担。

作者签名：日期：年月日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

本人授权大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

涉密论文按学校规定处理。

作者签名：日期：年月日
导师签名：日期：年月日
指导教师评阅书
评阅教师评阅书
教研室（或答辩小组）及教学系意见
摘要
本文研究了针对不同的视点对同一个场景观测的两幅图像，基于双目立体视觉，通过提取相关的特征点，对像点进行匹配，从而获取相应的基础矩阵，本文主要采用了FTT 傅里叶变换的相关理论，从而实现双目立体视觉中的三维立体重建。

在论文开头，我们需要介绍一些计算机的立体视觉系统的相关理论。

关于双目立体视觉中的三维重建，我们先对双目立体视觉的应用，以及国内外近几十年对双目立体视觉的研究方法，研究成果，研究理论，进行了回顾与展望。

以便于我们对双目立体视觉中的三维重建的研究内容、研究方法以及研究方向可以进行充分的了解，为后续的编程，思想分析等做出相关的背景知识补充。

对于双目立体视觉的基本原理，我们首先介绍了双目立体视觉，三维重建这些名词背后的意义，以及其基本理论和原理。

由于该技术可以通过像点的匹配来获取相关基础矩阵，从而实现三维立体系统的重建，但是同时有关图像立体匹配的内容也是相关研究中最难以彻底清查解决的问题。

并且，由于不同方法有不同的优缺点，故选取合适的方法，是该实验成败的关键性因素，不可不注意。

本论文的相关图像匹配均采用的是以特征点匹配为基础，进而采用小波变换来提取图像相关突变特征点的方法来实现的。

本方法与传统的采用角点匹配的方法在性能和结果上截然不同。

在双目立体视觉的匹配方面，引进了一种相对其他方法比较好的特征点提取与特征点匹配的方法。

首先我们采用视差的方法和区域支持的方法来求取相关的初始匹配，在候选匹配的原则下，卓有成效的提高了相关的匹配精确性，从而可以得到相关的初始匹配点对的集合。

并在此基础上，利用相关的基础矩阵对匹配点对的集合不断进行优化，从而，一方面可以不断来去除误差相对较大或不合逻辑的匹配点对，另一方面我们也得到了精确且有效的相关基础矩阵。

最后，我们应用MatLab、OpenGL,以及联合编程去完成双目立体视觉中的三维重建程序实现。

并且给出了相关的实验结果和分析，并对部分匹配点对进行了三维重建的分析。

关键词：立体匹配；FFT；MatLab；OpenGL；特征点的提取；三维重建
Abstract
This paper studies the observation of two different perspectives on the same scene image, based on binocular stereo vision, through the extraction of feature points, like point matching, in order to obtain the corresponding fundamental matrix, this paper uses a FTT Fu Fourier transform theory, in order to achieve three-dimensional reconstruction of binocular stereo vision.
In the paper at the beginning, we need to introduce some of the theory of computer stereo vision system. Three-dimensional reconstruction of the binocular stereo vision, binocular stereo vision applications, as well as domestic and foreign binocular stereo vision research in recent decades, research results, research theory and conduct Retrospect and Prospect. Binocular stereo vision, 3D reconstruction research, research methods and research in order to fully understand, and follow-up programming, thought and analysis to make the relevant background knowledge added.
The basic principles of binocular stereo vision, we first introduced the binocular stereo vision, three-dimensional reconstruction of the meaning behind these terms, as well as its basic theory and principles. Because the technology can match point to obtain the underlying matrix in order to achieve the reconstruction of three-dimensional system, but at the same time related to the contents of the image matching is related research in the most difficult to completely inventory to solve the problem. And, due to different methods have different advantages and disadvantages, so select the appropriate method is the key to the success of the experiment, we should never overlook.
Of this paper are related to image matching is the feature point matching based on, and then using the wavelet transform to extract the feature points of image mutations. This method and the traditional corner matching method is very different in terms of performance and results. Binocular stereo vision matching, the introduction of other methods in a relatively good feature point extraction and feature point matching method. First, we use the parallax method and regional
support to strike the initial match, the principle of matching candidate, effectively improve the matching accuracy, which can be related to the initial matching point pairs. On this basis, the use of the basis matrix to match point pairs continue to be optimized, thus, on the one hand, can continue to remove the error or illogical match point, on the other hand we also get a precise and effective the underlying matrix.
Finally, we apply the MatLab, OpenGL, and joint programming to complete the binocular stereo vision, 3D reconstruction program. And gives experimental results and analysis, and part of the match point on a three-dimensional reconstruction analysis.
Keywords：three-dimensional matching；FFT；MatLab；the OpenGL；feature point extraction ；three-dimensional reconstruction
目录
摘要 (1)
Abstract (IV)
第一章三维重建的应用与发展 (1)
1.1课题选择原因 (1)
1.2双目立体视觉的研究价值 (2)
1.3立体视觉和三维重建的国外研究现状 (2)
1.4基于双目立体视觉研究存在的问题 (4)
1.5论文的内容安排 (5)
第二章双目立体视觉与三维重建实现原理 (7)
2.1双目立体视觉平台的构建原理 (7)
2.2三维重建方法及原理 (9)
2.3三维重建的计算机编程思路 (11)
2.4本章总结 (12)
第三章双目立体视觉与三维重建三种编程方法及实现结果 (13)
3.1基于MatLab对三维重建的实现 (13)
3.2基于OpenGL对三维重建的实现 (17)
3.2.1 OpenGL 的特点及功能 (17)
3.2.2Windows 下的OpenGL 编程 (18)
3.3 Matlab与VC++的结合方式 (21)
3.4本章总结 (23)
第四章总结和展望 (25)
4.1三维图像过程总结 (25)
4.2 未来研究展望 (26)
4.3本章总结 (27)
致谢 (28)
参考文献 (29)
第一章三维重建的应用与发展
1.1课题选择原因
由于我们大家生活在三维几何空间的世界中，对外界的一切感性认识最初是建立在我们对各种三维物体的几何形体与三维几何深度信息的获取上的。

它们是构成我们生活中最重要的也是最基本的信息获取方式与处理内容。

它们也同样是与几何处理及其显示等相关的学科相互联系的一个庞大的学科群：一方面，我们研究是从主观的实物构思到我们生成相关的模型或模拟出客观世界中显示的正向的过程，主要代表包括计算机图形学和CAD ；另一方面，我们的研究可以从客观的物质世界中进行实物原始数据采集，从而最终实现实物分析和建模的完全逆向的过程，主要代表包括计算机视觉的相关方向、数字图像和视频处理的相关方形以及模式识别的相关方向等。

其中的逆向过程由于它需要从二维图像信息中来求取三维图像中的相关信息，因而该方法存在着多义和多解的技术漏洞，需要我们进行除此之外的大量的智能性分析和推理过程方可避免，所以这种方法较之正向的过程其难度相对会翻番，同时它的处理过程也相对的复杂度翻番。

但是，如果我们能够取得逆向的处理识别重构技术能够持续性向前发展，那么我们必将促进整个几何处理与显示以及相关学科的大学科群的质的飞跃。

计算机视觉是在对影像的重构技术的基础上发展起来的，该学科具有可以进行非接触型测量，并且实施非常简单的特点，因而该学科具有相当广阔的应用前景，并且也是有待于我们进行进一步开拓的领域。

（1）图像的理解技术目前发展前景十分的广阔。

从二维的平面图像到三维立体环境的重建工作更是图像理解中根本不可能跳跃过去的一个台阶。

从总的原则上来说，双目立体视觉的图形分析以及三维信息重建的理论和方法又可以推广至多目视觉系统中。

这样便能够使我们更好的获取研究目标的一些深度的信息，以便于我们来实现三维图形的重建。

（2）随着我们对相关系统的自动化的程度及其智能化的水平不断的提高，
许多的实际应用系统都开始希望可以增加机器再实际环境中应用功能，来提高市场占有率。

近来几十年，随着我们推动数字化技术和CCD 光电输入的不断向前进步和发展，以及数码摄像机与数码相机的在普通民众中普及，还有就是相关硬件设备等的价格的不断降低和计算机自身性能的不断升级，也为计算机视觉技术的应用与发展提供了良好的前提条件，从而使得计算机视觉的相关技术更加普及以及应用范围进一步扩大。

1.2双目立体视觉的研究价值
1）三维重建自始至终一直是计算机视觉的一个不可或缺的研究领域。

近年来，我们对三维重建技术的研究屡屡取得重要突破，新技术和新方法此起彼伏。

其中常用的三维重建的方法主要有以下几种：立体视觉的方法、光度立体学方法、运动图像序列法和纹理恢复形状法。

这些三维重建的方法的理论基础均大致相同，只是在尺寸、精度以及系统价格等方面存在一些的明显差异，因此它们各自适用的应用领域也各不相同。

在立体视觉法中，由于它根本不需要我们亲自来设置相关辐射源，只要在场景中又自然光照，就可以用二维图像来重建物体的三维图像，所以该方法实现手发灵活、具有适应性强以及制造价格低廉等一系列优点，是目前我们研究的最多、应用的范围最广的技术之一。

2）双目立体视觉方法主要是采用两台摄像机来模拟我们的双眼观察实物的方法。

它主要是从两个不同的视点来观察同一个场景，从而获得同一个目标物在不同的观察角度下的一对图像，然后通过两张图片之间的匹配点，就可以恢复出场景中的目标物体的位置和几何形状等三维信息。

该项技术在非接触自动在线检测、机器人视觉、多自由度机械装置的控制、车辆自主驾驶等领域均占有一席之地。

1.3立体视觉和三维重建的国外研究现状
国外对双目立体视觉的研究远远早于我国，因而发展速度也比我们快很多，对应的应用也相应的广泛。

立体视觉的基本条件是通过对两幅图像进行对应的匹配基元的相互配对，也就是立体匹配，然后用三角测量的原理来最终取得景物最终的深度信息。

根据它们各自约束方式的特点，M. Z. Brown把该匹
配算法主要分为两大类，一种是其中的扫描线是对整个图像行进行约束的全方位匹配的方法，如：本征曲线法、图切法、动态规划法等；另一种则是对像素点周围的小区域进行有约束的局部匹配方法，如：相位匹配法、特征匹配法、灰度匹配法等。

这两种方法相比较而言，特征匹配具有匹配速度快、稳定性好、定位精准等优点，是目前在实际应用中被广为使用的方法之一，其中他所包括的两个主要问题分别是特征的提取与特征的匹配。

1)常用的匹配特征的方法有两大类：点特征与线特征。

线特征主要指的是图像边缘的处理。

Haralick提出使用离散的正交多项式来对原始的图像中的每一个像素领域都做其对应曲面拟合求最优值，即：在拟合的曲面上求取每个点二阶方向导数的零交叉方法。

Canny于1986提出了Canny边缘最佳检测算子法。

点特征主要包括角点和零交叉点等。

Smith提出了其著名的SUSAN角点检测算子法，该方法中首先对像素周围的区域进行最小化处理，之后用统计特性来最终确定该像素的属性。

Rosenfeld和Kitchen共同提出的角点检测器利用了通过求取灰度沿边界轮廓梯度方向的最大值的性质，来进行特征匹配。

Nobel 试图用微分几何来推算出角点检测的一些理论公式，并且还归纳出了在Piessey 算法下的一些检测原则。

1988年Stephens和Harris对Plessey角点检测方法进行一系列的改进，共同提出了Harris算子。

2)特征匹配使以灰度得相似性为基础，同时以极线几何约束及其它约束为辅助条件来进行搜索。

Zisserman和Pritchett等共同提出利用单位矩阵(Homography)来取代传统中的极线约束和灰度相似性作为其匹配的准则，他们近似的认为那些对应匹配点对之间应该近似的满足单应矩阵的关系。

Beardsley 等通过提取图像角点作为其特征点，通过运用相关性来进行相关匹配，最终将匹配的结果通过用奇异值分解来求取其相关基础矩阵。

LongQuan和Lhuillier 等共同提出了一种基于稠密匹配的新方法，在该方法中综合了以对极几何约束为代表的全局约束和以单位矩阵和灰度相似为代表的局部约束条件，因而其对十纹理稠密的图像处理特别有效，唯一的缺点是精度过低。

在国外的理论技术不断向前进行发展的同时，也同时出现了很多有关立体视觉的系统。

Zisserman等构建的视觉导航系统中充分利用了分层重建的原理，即首先进行对图像的序列的射影重建，其次将射影重建的结果逐步的提升到仿
射重建和欧氏重建中去。

Bhanu提出了一个用于对实际三维物体形状进行匹配的三维实物分析的系统，该系统用深度图像输入。

对物体的描述是由进行数据来进行驱动的，可自动完成结果的计算，不足之处就在于其对多边形面产生算法的输出一致性的过渡依赖，致使它使用的表面数目过于庞大，如果相应条件比较苛刻，那么其将要求获取高精度深度数据。

PMF系统是通过用立体视觉的局部视差来度量的，通过使物体从二维图像到2.5维简图再到物体的三维表面的描述以至于最终实现实时处理物体识别的方法。

同样国内在双目立体视觉的理论和算法实现方面也进行了一系列的探索与研究。

浙江大学可以通过利用透视成像的原理，采用双目立体视觉的方法可以对多自由度机械装置的动态实现精确位置与姿态的定位，而仅仅只需要从两幅对应图像中抽取一些必要的特征点的三维坐标信息，其由于处理速度快，信息量少，因而特别适用于动态情况。

ASVS系统则是由北方交通研制的通过使用立体视觉技术来进行三维数据的采集、摄像机的定标、物体识别以及最终的定位系统。

由于摄像机可以检测运动物体，并且也不需知道任何被测物的运动时的限制条件于先验知识，从而大大有利于检测精度的提高。

机器人可以通过双目协调技术同时对多个有效目标进行捕捉，通过数据的融合来观测相同目标时，也同样有利于测量精度的提高。

1.4基于双目立体视觉研究存在的问题
立体视觉虽然已经经过20多年的发展，但是现有的立体视觉技术，无论从生理视觉角度，还是从实际应用角度来看，还完全处在不成熟的阶段。

这不仅仅由于技术层面不够纯熟，更主要的原因是我们对我们自身视觉机制还了解不足，时至今日我们没有清晰的认识我们自身的视觉系统。

计算机视觉的问题本质上都是视觉系统逆问题，受到物体的材料表面性质特征、颜色、几何形状特征、摄像机参数以及环境光照等多种综合性因素的影响，往往没有线性的问题，所求得的解不唯一，并且其对离散量化或噪声引起的误差非常敏感，所以计算机视觉本身就存在先天性缺陷。

尽管双目立体视觉的三维重建技术仍然在一些核心算法上存在这样或那样的问题。

例如：如何在立体匹配中去合理的选择匹配特征，从而去克服恢复
视差全面性与匹配的准确性之间的矛盾；如何去选择有效的算法结构和匹配准则，从而去解决所存在的几何畸变、灰度失真、遮挡景物及噪声干扰等最终匹配问题；如何去更加有效的建立立体视觉模型和图像表达形式，从而更充分地去获取景物的一些本质属性，使匹配获得提供更多的信息，从而降低匹配的难度。

虽然许多三维重建的数学模型和方案在理论上是可行的，但仍不能应用于条件复杂的现实系统中，比如价格贵贱、处理过程复杂度和设备精密程度的高低等，从而不能应用于实际工程中。

因此，如何既能简化操作的过程，又能使处理结果满意，是目前三维重建研究的核心工程。

如何更好地去利用软、硬件结合方法来实现在实际应用中的一些实时处理是目前噬待解决的问题。

软件方面：可以通过减少冗余计算，设计合理算法流程，，恰当的使用约束条件，从而使立体视觉匹配在通用平台上快速有效的实现，最终完成三维重建。

在硬件方面，通过利用一些专门的硬件来实现算法加速，如数字信号处理器DSP，可编程逻辑器件PLC，可重构器件FPGA以及一系列的专用芯片等。

1.5论文的内容安排
本文的内容共分为四章，内容安排如下：
第一章在介绍三维重建的背景的前提下，介绍三维重建应用和发展，分析它们的优点和不足，以及三维重建的未来发展趋势，总结本文研究三维重建的重要意义和研究目的。

第二章介绍三维重建的基础理论知识，视图是如何形成的以如何进行二维的视图投影；关于三维形体是如何构成的，三维重建的基本原理和存在的问题，以及计算机实现三维重建的方法。

第三章分别利用MatLab,OpenGL ,以及MatLab和OpenGL的混合编程来实现从二维图形到三维图形的转换其中，其中重点通过对MatLab的编程及程序讲解，使人明白具体的二维到三维的转化过程。

最后呈现转化结果以及一些自我见解。

其中对于OpenGL，由于之前的不熟悉，将会对其作出概念性的解说，而联合编程方面，则只进行MatLab与OpenGL的接口介绍。

第四章总结和展望。

总结本文的研究成果和创新点以及不足之处，对未来的三维重建的研究进行展望。

1.6本章总结
在本章中通过对三维重建的起源、发展、应用范围，国内外研究现状以及存在问题的分析，清晰勾勒出三维重建的实现意义与研究价值，说明该课题的选择方向。

第二章双目立体视觉与三维重建实现原理
立体视觉三维重建的基本原理是通过从两个视点去观察同一景物，以获取同一物体在不同视角下的图像，通过使用三角测量原理来计算获取图像像素间的位置偏差(即视差)进一步通过计算测量来获得实物的三维信息，这一过程与我们视觉的立体感知过程相似。

2.1双目立体视觉平台的构建原理
理想的平行放置的双目视觉模型是最简单的双目视觉模型。

当两台照相机完完全全相同时，沿x轴相距为b的位置上并列放置，并且具有互相平行的光轴，并且x轴相互重合。

xy平面与图像平面平行，设摄像机光轴在z轴方向上，如图1所示。

图1 平行双目立体视觉
运用视差测距量原理可以获取平行双目立体视觉的三维信息。

原理如下图：。