基于SIFT特征点的双目视觉定位
基于特征匹配算法的双目视觉测距_邵暖
燕山大学学报 Journal of Yanshan University
文章编号：1007-791X (2012) 01-0057-05
Vol. 36 No. 1 Jan. 2012
基于特征匹配算法的双目视觉测距
邵 暖，李惠光*，刘 乐
（燕山大学 电气工程学院，河北 秦皇岛 066004）
第1期
邵 暖 等 基于特征匹配算法的双目视觉测距
59
图 3 尺度空间极值提取
Fig. 3 Extreme extraction in scale-space
以每个局部特征点为中心，在其邻域取 16×16
的窗口，划分为 4×4 的像素块，在每个像素块上计
算 8 个方向的梯度直方图分属 8 个区间，每个区间
由式 (6) ~ (8) 可见，该模型的距离测量值主 要取决于空间物点在左右摄像机下的像素坐标值， 所以双目视觉的匹配精度是本文所提测距方法的 前提。
2 改进的 SIFT 特征匹配算法
SIFT 算子是 David G Lowe 在 2004 年提出的 一种基于尺度空间的局部特征描述子。该算法首先 建立图像的尺度空间表示，然后在尺度空间中搜索 图像的极值点，建立特征描述向量，是一种具有放 缩、旋转和仿射不变性的特征检测描述方法 。 [12]
作者简介：邵 暖（1985-），女，天津人，博士研究生，主要研究方向为机器视觉、模式识别；*通信作者：李惠光（1947-），男， 黑龙江齐齐哈尔人，教授，博士生导师，主要研究方向为机器人视觉伺服控制和采样系统理论，Email：ydlhg@。
58
相同，成像模型如图 1 所示。
燕山大学学报
2
2
170.30)， , = (73.73, 173.37)。将以上数据
基于改进SIFT算法的双目视觉SLAM研究
基于改进SIFT算法的双目视觉SLAM研究朱代先;王晓华【期刊名称】《计算机工程与应用》【年(卷),期】2011(047)014【摘要】SIFT算法通常用于移动机器人视觉S LAM中.但其算法复杂、计算时间长,影响视觉SLAM的性能.在两方面对SIFT 改进:一是用街区距离与棋盘距离的线性组合作为相似性度量;二是采用部分特征方法完成快速匹配.应用扩展卡尔曼滤波器融合SIFT特征信息与机器人位姿信息完成SLAM.仿真实验表明,在未知室内环境下,该算法运行时间短,定位精度高.%Scale Invariant Feature Transform(SIFT) algorithm is used in mobile robot Simultaneous Localization and Mapping (SLAM) based on visual information.but this algorithm is complicated and computation time is long.Two improvements are introduced to optimize its performance. The linear combination of cityblock distance and chessboard distance is comparability measurement;Some partial features are used to matching. SLAM is completed by fusing the information of SIFT features and robot information with EKF. The simulation experiment indicate that the proposed method reduce computational complexity,and with high localization precision in indoor environments.【总页数】4页(P170-173)【作者】朱代先;王晓华【作者单位】西安科技大学通信与信息工程学院,西安710054;西安工程大学电信学院,西安710048【正文语种】中文【中图分类】TP911【相关文献】1.基于SIFT算法的单目视觉SLAM路标观测研究 [J], 王世浩;倪建军;王康;吴榴迎2.基于改进SIFT算法的双目视觉距离测量 [J], 李奇敏;李扬宇3.基于改进SIFT算法的单目SLAM图像匹配方法 [J], 胡为;刘兴雨4.基于双目视觉SLAM三维信息的建立与问题研究 [J], 张宇廷; 朱敏玲; 郑治伟5.基于新型多传感器融合策略的移动端双目视觉惯性SLAM闭环算法研究 [J], 任金伟;郑鑫;李昱辰;朱建科因版权原因，仅展示原文概要，查看原文内容请购买。
基于点线综合特征的双目视觉slam方法
基于点线综合特征的双目视觉SLAM方法引言双目视觉SLAM（Simultaneous Localization and Mapping）是一种利用双目相机获取场景信息，并同时估计相机的位姿和场景三维结构的技术。
其中，点线综合特征是一种基于点和线的特征表示方法，可以用来描述场景中的结构信息。
本文将详细介绍基于点线综合特征的双目视觉SLAM方法。
点线综合特征的定义与表示点线综合特征是一种将点和线进行综合描述的特征表示方法。
在双目视觉SLAM中，可以通过将双目图像中的点和线提取出来，并将它们进行组合，从而得到点线综合特征。
点线综合特征的定义包括以下几个方面：1.点特征（Point Feature）：双目相机可以通过立体匹配算法得到一组对应的左右图像点对，这些点对被称为点特征。
点特征可以用来计算相机的位姿，同时也可以用来重建场景的三维结构。
2.线特征（Line Feature）：双目相机还可以通过线检测算法得到一组左右图像中的线段，这些线段被称为线特征。
线特征具有一定的尺度和方向信息，可以提供额外的视觉约束，有助于提高SLAM系统的精度和鲁棒性。
3.综合特征（Composite Feature）：将点特征和线特征进行综合，可以得到点线综合特征。
综合特征能够更全面、准确地描述场景中的结构信息，为SLAM系统提供更可靠的视觉约束。
基于点线综合特征的双目视觉SLAM方法框架基于点线综合特征的双目视觉SLAM方法主要分为以下几个步骤：1. 双目图像预处理首先需要对双目图像进行预处理，包括图像去畸变、图像配准、图像增强等操作。
去畸变可以校正由于镜头畸变引起的图像失真，提高图像的几何精度。
图像配准可以将左右图像进行对齐，使得它们在立体匹配时更加准确。
图像增强可以提高图像的对比度和清晰度，以便更好地进行特征提取和跟踪。
2. 点特征提取与匹配利用特征点提取算法（如FAST、SIFT、SURF等），从左右图像中提取点特征。
双目定位算法python
双目定位算法是一种基于双目视觉原理的计算机视觉方法，通过比较左右图像中的特征点，计算出特征点在三维空间中的坐标。
在Python 中实现双目定位算法，可以使用OpenCV 库和相关的双目视觉工具。
以下是一个简单的双目定位算法实现步骤：1. 安装依赖库首先，确保已安装以下依赖库：```pip install opencv-pythonpip install matplotlib```2. 导入所需库```pythonimport cv2import numpy as npimport matplotlib.pyplot as plt```3. 读取左右图像```pythonleft_image = cv2.imread('left_image.jpg', 0)right_image = cv2.imread('right_image.jpg', 0)```4. 预处理图像```pythonleft_gray = cv2.cvtColor(left_image, cv2.COLOR_BGR2GRAY)right_gray = cv2.cvtColor(right_image, cv2.COLOR_BGR2GRAY)```5. 寻找特征点使用SIFT 算法寻找左右图像中的特征点。
首先需要在左右图像上创建SIFT 对象，然后检测特征点：```pythonsift = cv2.xfeatures2d.SIFT_create()kp1, des1 = sift.detectAndCompute(left_gray, None)kp2, des2 = sift.detectAndCompute(right_gray, None)```6. 匹配特征点使用暴力匹配方法（Brute-Force Matcher）匹配左右图像中的特征点：```pythonbf_matcher = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)matches = bf_matcher.match(des1, des2)matches = sorted(matches, key=lambda x: x.distance)```7. 绘制匹配点将匹配点绘制到左右图像上：```pythondef draw_matches(img1, kp1, img2, kp2, matches):matched_points = [(kp1[m.queryIdx], kp2[m.trainIdx]) for m in matches]img = cv2.drawMatches(img1, kp1, img2, kp2, matched_points, None, flags=2)return imgdraw_matches(left_image, kp1, right_image, kp2, matches)```8. 计算三维坐标根据匹配点，使用三角测量方法计算特征点在三维空间中的坐标。
双目视觉特征点的三维坐标计算
双目视觉特征点的三维坐标计算双目视觉是一种通过使用两个相机模拟人眼视觉的技术。
它可以通过计算两个相机之间的视差（即相同物体在两个相机中的像素差）来估计物体的深度，并计算出特征点的三维坐标。
双目视觉在机器人领域、计算机视觉和三维重建等方面有广泛应用。
下面将简要介绍双目视觉特征点的三维坐标计算的基本原理。
双目视觉系统由两个相机组成，分别称为主相机和从相机。
主相机通常放在一个固定位置，而从相机可以相对于主相机移动，以改变观察角度。
双目视觉的原理是基于视差的计算。
当一个物体位于不同相机的视野中时，由于视野的不同，物体在两个相机中的图像位置会有所偏移，这个偏移量称为视差。
首先，应该通过一些校准步骤来确定相机的内参矩阵和外参矩阵。
内参矩阵包括相机的焦距、主点坐标和畸变系数等参数，它们可以通过标定来测量得到。
外参矩阵包括相机的位置和姿态，可以通过对相机进行定位来获得。
双目视觉的主要步骤如下：1.特征点提取：在主相机和从相机的图像中提取特征点，例如角点或SIFT特征点等。
这些特征点在两个相机中的像素位置可以很容易地匹配。
2.特征点匹配：对于主相机和从相机中的每个特征点，需要找到在另一个相机中与之匹配的特征点。
匹配可以通过计算特征描述子之间的相似度来实现。
3.视差计算：对于每对匹配的特征点，可以通过计算它们在两个相机中的像素位置差来计算视差。
视差计算可以采用最小二乘法或其他深度推测算法。
4.深度计算：有了视差信息，可以根据相机基线和三角测量原理来计算特征点的相对深度。
根据特定的相机配置，可以通过相机内参和外参来计算特征点的三维坐标。
总的来说，双目视觉特征点的三维坐标计算可以通过特征点提取、特征点匹配、视差计算和深度计算来实现。
这些步骤需要对相机进行校准，并根据相机配置和参数来计算特征点的三维坐标。
双目视觉在计算机视觉领域有着广泛的应用，例如三维重建、目标跟踪、立体匹配和位姿估计等。
特征点的三维坐标计算是实现这些应用的关键步骤之一、它可以通过将双目相机与其他传感器（如激光雷达）结合使用来提高测量精度和准确性。
基于改进SIFT的无人机双目目标识别与定位
基于改进SIFT的无人机双目目标识别与定位
姚艺;黄卫华;章政;陈阳;张子然
【期刊名称】《组合机床与自动化加工技术》
【年(卷),期】2022()6
【摘要】对无人机自主着陆系统中双目视觉采集到的地标图像进行了研究,在分析地标图像中存在模糊噪声以及大量背景干扰问题,提出一种基于改进SIFT算法的无人机双目视觉目标识别与定位方法。
首先,采用基于OTSU与HSV的ROI算法对无人机双目图像进行目标识别与分割预处理操作,将目标准确识别;其次,针对双目视觉获取三维信息效率慢的问题,采用基于改进的SIFT算法对已识别的地标进行特征提取,生成二进制描述符,并采用局部敏感哈希算法对特征点进行稀疏匹配,提高目标特征匹配准确度及效率;最后,采用相似三角形原理计算每个特征匹配点的三维距离,获得无人机与目标之间的平均三维距离。
实验结果表明所设计的算法相较于传统的SIFT算法更具有可行性和有效性。
【总页数】5页(P49-53)
【作者】姚艺;黄卫华;章政;陈阳;张子然
【作者单位】武汉科技大学信息科学与工程学院
【正文语种】中文
【中图分类】TH166;TG659
【相关文献】
1.基于改进的SIFT特征点的双目定位
2.基于SIFT特征点的双目视觉定位
3.基于Harris-SIFT算法的双目立体视觉定位
4.基于视差和SIFT的双目视觉移动目标识别和追踪的研究
5.基于YOLOv3的无人机目标识别与双目测距应用研究
因版权原因，仅展示原文概要，查看原文内容请购买。
基于Harris_SIFT算法的双目立体视觉定位_李耀云
J］ ． 电视技术， 2013， 37（ 9） ． 【本文献信息】 李耀云， 贾敏智 . 基于 Harris－SIFT 算法的双目立体视觉定位［
基于 Harris－SIFT 算法的双目立体视觉定位
李耀云， 贾敏智
( 太原理工大学 信息工程学院， 山西 太原 030024)
【Abstract】The object location technique for binocular stereo vision has some problems of the poor real－time performance and the mismatching based on the SIFT algorithm of the scale space to image keep invariance． A method of the object location technique for binocular stereo vision developed based on adopting new Harris－SIFT algorithm to the Harris－SIFT algorithm is presented． Through the introduction of the binocular stereo vision model principle， get the camera image form the two detection target， and for matching the feature points of the target， according to the target object coordinate calibration two images of the two images． Through the calculation can get the depth of the object distance， reducing the 3d information． The experiments improve the real－time performance and the accuracy distance based on the Harris－SIFT algorithm． 【Key words】Harris－SIFT algorithm； binocular stereo vision； matching； location
基于SIFT算法的双目立体视觉测距系统
基于SIFT算法的双目立体视觉测距系统作者：潘庆甫潘庆茹来源：《卷宗》2018年第31期摘要：针对双目立体视觉中的特征点提取与匹配时计算复杂度大、图像匹配时间较长的问题，提出用SIFT算法进行特征点的提取与匹配。
利用张正友标定法确定摄像机的内外参数，利用Bouguet算法进行图像的立体矫正。
建立以图像获取、立体矫正、目标检测与特征提取、立体匹配与三维重建为主要步骤的双目立体视觉测距。
实验表明，在保持原有匹配率的前提下，一定程度上提高了运算速度。
关键词：双目立体视觉测距，SIFT算法，图像匹配一个完整的双目立体视觉系统一般由摄像机标定、图像获取、图像预处理、目标检测与特征提取、立体匹配和三维测距组成。
与普通图像配准不同的是，立体像对之间的差异是由拍摄点的不同一起的，而不是由被拍摄图像的变换或运动引起的。
1 四个坐标系的转换如图1所示，图中有四个坐标系分别为世界坐标系（Ow-XwYwZw），摄像机坐标系（Oc-XcYcZc），像素坐标系（O0-uv）和图像坐标系（O1-xy）。
其中O1为摄像机光轴与图像平面的交点，称为主点，该点的坐标为O1（u0，v0），dx和dy分别为每一个像素在x轴和y轴上的尺寸，则图像中任意一点的像素在两个坐标系下的关系可以表示成：dx、dy、u0、v0其实都是我们假设出来的参数，dx、dy表示感光芯片上像素的实际大小，u0、v0是图像平面中心，最终是要我们求的内外参数。
设空间一点P在摄像机坐标系Oc-XcYcZc下的坐标为，在世界坐标系Ow-XwYwZw下的坐标为，该点在图像坐标系下的成像点为p，p点的图像坐标和像素坐标分别为和R为旋转矩阵，T为平移向量：其中，称为u轴上的尺度因子，称为v轴上的尺度因子，M1称为摄像机的内部参数，M2称为摄像机的外部参数，确定内外参数的过程称为摄像机的标定。
2 双目立体视觉的测距模型简易的双目立体视觉测距模型如图2所示，假设两摄像头的光轴平行，Ol和Or分别为左右摄像头的光心，两摄像头的光心之间的距离为b，P为目标点，根据图1建立的坐标模型可知P到两摄像头之间的距离可看作Z轴上的坐标即为Z，P在左右摄像头的成像点分别为Xl和Xr，因此，可建立以X-Z的平面模型。
双目立体视觉系统分类
双目立体视觉系统分类一、引言双目立体视觉系统是一种通过模拟人类双眼来感知物体深度的计算机视觉技术。
它模仿了人类的双眼视觉系统，并利用两个相机采集不同视角的图像，通过计算两个图像之间的视差（视点之间的差异），从而获取物体的三维信息。
本文将对双目立体视觉系统的分类进行全面、详细、完整且深入地探讨。
二、传统方法传统的双目立体视觉系统主要包括以下几种分类：1. 匹配算法匹配算法是双目立体视觉系统的核心算法之一。
它通过比较两个图像中对应的像素点（称为对极约束），找到它们之间的匹配关系，在此基础上计算视差。
常见的匹配算法包括：•基于灰度的匹配算法：使用像素灰度值进行匹配，如SAD（Sum of Absolute Differences）和SSD（Sum of Squared Differences）等。
•基于特征点的匹配算法：使用特征点提取算法，如SIFT（Scale-Invariant Feature Transform）和SURF（Speeded Up Robust Features）等，进行匹配。
2. 深度计算深度计算是双目立体视觉系统的另一个重要任务。
它通过视差计算得到每个像素点的深度信息。
常见的深度计算方法包括：•三角测量法：利用成像几何关系，利用相机的内外参，计算出像素点的三维坐标，从而得到深度信息。
•基于视差图的深度计算：根据视差图，通过一定的数学模型和滤波方法，计算出每个像素点的深度。
3. 重建方法重建方法是将双目立体视觉系统获取的二维图像信息转换为三维点云或三维模型的过程。
常见的重建方法包括：•点云重建：利用深度信息，将每个像素点转化为三维空间中的点，并通过点云生成算法，生成完整的点云模型。
•三维模型重建：利用深度信息，将每个像素点转换为三维空间中的点，并通过三维模型重建算法（如表面重建算法），生成连续的三维模型。
三、深度学习方法随着深度学习的发展，越来越多的研究者开始探索使用深度学习方法解决双目立体视觉任务。
基于改进SIFT特征的双目图像匹配算法
基于改进SIFT特征的双目图像匹配算法王民;刘伟光【期刊名称】《计算机工程与应用》【年(卷),期】2013(049)002【摘要】针对SIFT(尺度不变特征变换)算法无法准确定位物体形状特征的问题,提出了一种结合了Harris角点和SIFT算法的立体匹配方法.在DOG尺度空间提取Harris算子作为图像的特征点并为每个特征点定义主方向,计算出特征点的32维特征向量描述子并用BBF算法检索同名特征点之间的欧式距离进行匹配.在降低SIFT 算法的时间复杂度的同时提高了算法提取特征点的形状意义,在双目图像匹配实验中取得了较好的结果.%The SIFT (Scale Invariant Feature Transform) algorithm can not locate the object shape features accurately. To solve the problem, a stereo matching method based on both Harris corner and SIFT algorithm is proposed. The algorithm extracts image feature points using Harris operator and defines the main directions for each feature point. It calculates the 32-dimensional feature vectors of each feature point descriptor and uses Best Bin First (BBF) algorithm to calculate the Euclidean distance to match. The new algorithm reduces the SIFT algorithm' s time complexity and improves the real-time performance. Experimental results of image matching in binocular stereo vision demonstrate that the new algorithm has better performance than previously reported in the literature.【总页数】4页(P203-206)【作者】王民;刘伟光【作者单位】西安建筑科技大学信息与控制工程学院,西安710055;西安建筑科技大学信息与控制工程学院,西安710055【正文语种】中文【中图分类】TP391【相关文献】1.一种基于改进SIFT特征的图像匹配算法 [J], 龙文峰2.基于改进SIFT特征和图转换匹配的图像匹配算法 [J], 张官亮;邹焕新;秦先祥;林小平3.一种基于改进SIFT特征的图像匹配算法 [J], 龙文峰;4.基于改进的SIFT特征的图像匹配算法研究 [J], 胡柳;邓杰;肖瑶星;卢艳芝;曾蒸5.基于改进的SIFT特征的图像匹配算法研究 [J], 胡柳;邓杰;肖瑶星;卢艳芝;曾蒸因版权原因，仅展示原文概要，查看原文内容请购买。
双目标定 自动校正原理
双目标定是指对双目相机系统进行标定，以获取相机内外参数的过程。
自动校正是指通过算法自动计算和校正双目相机系统的内外参数，以提高视觉测量的准确性和稳定性。
双目相机系统由左右两个相机组成，每个相机都有自己的内参和外参。
内参包括相机的焦距、主点偏移和畸变参数等，外参包括相机的旋转矩阵和平移向量等。
自动校正双目相机系统的原理如下：
1. 特征点提取：首先从双目图像中提取一组共同的特征点，可以使用角点检测等方法。
2. 特征匹配：将左右相机图像中的特征点进行匹配，可以使用基于特征描述子的匹配算法，如SIFT、SURF等。
3. 构建对应关系：通过特征点的匹配，建立左右相机图像的对应关系。
对应关系可以表示为像素坐标之间的对应或三维空间点之间的对应。
4. 三维重建：根据对应关系，利用三角化或立体视觉方法计算左右相机之间的相对位置关系，即旋转矩阵和平移向量。
5. 内外参数计算：利用三维重建结果，通过最小化重投影误差的方法，计算相机的内参和外参。
具体方法可以使用非线性优化算法，如Levenberg-Marquardt算法等。
6. 参数校正：根据计算得到的相机内外参数，对双目图像进行畸变校正和立体校正，以消除畸变和对齐左右相机的视点。
通过以上步骤，可以自动计算和校正双目相机系统的内外参数，从而提高双目视觉测量的准确性和稳定性。
需要注意的是，自动校正双目相机系统的精度和稳定性受到特征提取和匹配的影响，因此在实际应用中需要选择合适的特征提取和匹配算法，并对其进行优化和调试。
《2024年基于双目立体视觉定位和识别技术的研究》范文
《基于双目立体视觉定位和识别技术的研究》篇一一、引言随着科技的飞速发展，计算机视觉技术在众多领域中得到了广泛的应用。
其中，双目立体视觉定位和识别技术以其高精度、高效率的特点，在机器人导航、三维重建、无人驾驶等领域中发挥着重要作用。
本文旨在研究基于双目立体视觉的定位和识别技术，探讨其原理、方法及应用。
二、双目立体视觉的基本原理双目立体视觉技术基于人类双眼的视觉原理，通过模拟人眼成像机制，利用两个相机从不同角度获取目标物体的图像信息。
通过计算左右相机获取的图像之间的视差信息，实现目标的深度信息提取和三维定位。
三、双目立体视觉定位技术双目立体视觉定位技术主要依赖于图像处理和计算机视觉算法。
首先，通过相机标定获取相机的内外参数，然后对左右相机获取的图像进行校正，消除镜头畸变和视差造成的图像偏移。
接着，利用特征提取和匹配算法，如SIFT、SURF等，找到左右图像中的对应点。
最后，通过计算视差图，实现目标的深度信息提取和三维定位。
四、双目立体视觉识别技术双目立体视觉识别技术主要依赖于深度学习和机器学习算法。
首先，通过训练深度学习模型，如卷积神经网络（CNN），实现对目标物体的分类和识别。
然后，结合双目立体视觉定位技术，可以在三维空间中准确地识别目标物体的位置和姿态。
此外，还可以通过多模态融合技术，将双目立体视觉与其他传感器信息进行融合，提高识别的准确性和鲁棒性。
五、应用领域双目立体视觉定位和识别技术在众多领域中有着广泛的应用。
在机器人导航领域，可以通过双目立体视觉实现机器人的自主导航和避障。
在三维重建领域，可以利用双目立体视觉技术对建筑物、地形等进行高精度三维重建。
在无人驾驶领域，双目立体视觉技术可以实现车辆的自主驾驶和障碍物识别。
此外，该技术还广泛应用于医疗、安防、无人机等领域。
六、研究现状与展望目前，双目立体视觉定位和识别技术已经取得了显著的进展。
然而，仍存在一些挑战和问题需要解决。
例如，如何提高算法的鲁棒性和实时性，以适应复杂多变的环境；如何降低系统成本，以便更广泛地应用于各个领域等。
基于SIFT算子的双目视觉立体匹配算法研究
西安电子科技大学硕士学位论文基于SIFT算子的双目视觉立体匹配算法研究姓名:李岩琪申请学位级别:硕士专业:计算机系统结构指导教师:曹伯燕20100101摘要双目立体视觉技术是根据两幅不同角度拍摄的图像,获取图像中物体三维几何信息的技术。
该技术近年来发展迅速,在军事和民事的各个领域都得到了广泛的应用。
图像匹配技术又是双目视觉领域中最为关键的技术,一个好的匹配方法,要同时达到速度快、精度高的要求,从而满足实时性和实用性。
但是图像匹配强依赖于图像本身,因此,图像匹配技术也是双目视觉发展中最难彻底解决的问题,该技术一直在不断发展与完善之中。
本文阐述了双目立体视觉技术的原理和具体内容,对立体匹配技术作了深入的研究。
重点分析了基于SIFT(Scale Invariant Feature Transform尺度不变特征变换算子的立体匹配算法,该算法基于尺度空间的图像特征进行匹配。
SIFT算子对特征点进行检测和描述,对图像变换和噪声具有很好的鲁棒性。
为提高该算法匹配的精度,本文针对其算子设计进行了改进,提出了改进算法并编程实现。
通过对不同类型图像的匹配验证实验,证明改进算法的结果可以定性的反映出图像中物体真实的三维形状和相对位置关系,视差效果好,匹配率较高且稳定。
关键词:双目视觉立体匹配视差SIFT特征值AbstractBinocular stereo vision is a technique on how to possible understand and perceive the objective world by computer rather than human beings. It can require the three-dimensional (3D geometry information of objects form two images that shooting from two different angles. This technique has a rapidly development these years, it has been successfully used in many fields of civil and martial.Image stereo matching is the most significant part in binocular stereo vision technique. A perfect matching algorithm is fast and accurately, it should have good practicability. But image matching algorithm strongly depends on image itself, that is, every stereo image stereo matching algorithm is proposed aiming at matching certain type of images, there is no such a stereo matching algorithm can process any type of images nowadays, so it is difficult to solve this problem completely. Sometimes, the matching algorithm even can not reach the requirement of applications, so this issue has always been developed and improved.This paper introduces and analyzes theory of binocular stereo vision technique detailedly, then makes a deep research on image matching algorithm. The focus on this paper is an image feature matching algorithm based on scale invariant features transform (SIFT operator. The principle of SIFT matching algorithm is researched. In this algorithm, SIFT operator is used to detect the feature points, and each feature point is assigned a feature descriptor. It is accurate and robust towards image distortion and noise. In orderto improve the matching rate of SIFT algorithm, an improved SIFT matching algorithm is proposed and implemented. Taking many different types of images as experiment images, with the improved algorithm, the shape character and relative position of objects in the image can be shown well, the method is stable and fast, the matching rate is improved.Keyword:Binocular stereo vision Image matching SIFT Feature point西安电子科技大学学位论文创新性声明秉承学校严谨的学风和优良的科学道德,本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对于选定的图像局部特征点，利用特征点邻域 像素的梯度方向分布特性为每个特征点指定其方向 参数，使得ＳＩＦＴ算子具有旋转不变性．
以特征点为中心取８×８的窗口，在每４×４的 小块上计算８个方向的梯度方向直方图，绘制每个 梯度方向的累加值，即可形成一个种子点，每个种子 点有８个方向向量信息．Ｌｏｗｅ建议对每个特征点使 用４ ｘ４共１６个种子点来描述，这样对于一个特征 点就可以产生１２８个数据，即最终形成１２８维的 ＳＩＦＴ特征向量． １．１．２ ＳＩＦＴ特征向量匹配
第３０卷第６期 ２００９年６月
哈尔滨工程大学学报 Ｊｏｕｒｎａｌ ｏｆ Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ
ｄｏｉ：１０．３６９／ｊ．ｉｓｓｎ．１００６－７０４３．２００９．０６．０１ １
Ｖ０１．３０№．６ Ｊｕｎ．２００９
基于ＳＩＦＴ特征点的双目视觉定位
孟 浩，程康
（哈尔滨工程大学自动化学院，黑龙江哈尔滨１５０００１）
Ａｂｓｔｒａｃｔ：Ａｎ ｏｂｊｅｃｔ ｌｏｃａｔｉｏｎ ｍｅｔｈｏｄ ｗａｓ ｄｅｖｅｌｏｐｅｄ ｂａｓｅｄ ｏｎ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｔｈａｔ ｉｓ ｕｓｅｆｕｌ ｆｏｒ ｄｉｇｉｔａｌ ｉｍａｇｅ ｂａｓｅｄ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ．Ｆｉｒｓｔ，ｔｈｅ ＳＩＦＴ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ Ｗａｓ ｉｎｔｒｏｄｕｃｅｄ，ａｓ ｉｔ ｈａｓ
４ 目标定位实验
实验中采用ＤＦ－２０２ＴＺ针孔摄像机，组成平行双目 视觉系统，基线长度为１００ ｍｍ．焦距为３．８８ ｎｌｍ，１／３英 寸ＣＣＤ，ＣＣＤ的面积为３，２ ｍｉｌｌ×２，４ ｈｉｍ，采集图片的 尺寸为７６８ ｘ５７６像素．实验以墙壁插座为目标．
首先获取插座模板图片及左右两侧摄像机采集 的图片，如图２所示．
２）对特征点对集合Ｓ．进行验证，将左右两幅图 像利用ＳＩＦ＇ｒ特征匹配算法匹配，生成特征点对集合 ｓ伍Ｒ，将集合Ｓ．中的元素在集合ｓ Ｌ＆。中进行搜索， 如果搜索到相同元素则表示该特征点对在左、右图 片间也符合匹配，称之为空间匹配点，将其保留．最 后生成了空间匹配点对的集合Ｓ。．
由上述方法获得的空间匹配点对的集合Ｓ。中 的特征点，可以很好的保证对应于目标实物中的相 同位置，具有良好的空间位置匹配性． ２．２标定点坐标计算
２ 目标标定点选取
对于移动机器人目标定位，如要获取目标物体 的三维信息，需采集２幅不同位置的目标图像，利用 视差原理对２幅图像中目标物体上的同一点进行三 维信息的恢复，这里将该点称为目标物体的标定点． ２幅图像中标定点位置的相匹配程度决定了目标定 位的精确度．利用ｓｗｒ特征匹配算法可以在２幅图 像中获取一些ＳＩＦｒｒ特征点．由于２幅图像拍摄环境 的差异，２幅图像中获得的Ｓｉｌ，ｌ’特征点在空间位置 上不具有一致性，即这些特征点不全对应于目标上 相同位置上的点，需要进行选取才能获得具有空间 一致性的标定点．这里提出了一种完整的标定点获 取方法，该方法分为空间匹配点选取、标定点计算两 步． ２．１空间匹配点选择
ｇｏｏｄ ｒｏｂｕｓｔｎｅｓｓ ｔｏ ｃｈａｎｇｅｓ ｓｕｃｈ ａｓ ｓｃａｌｉｎｇ，ｒｏｔａｔｉｏｎ ａｎｄ ｖｉｓｕａｌ ａｎｇｌｅｓ．Ｂｙ ｔｈｅ ｕｓｅ ｏｆ ＳＩＦＴ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ ｍａｔｃｈｉｎｇ，
ｏｂｊｅｃｔｓ ｗｈｉｃｈ ｈａｄ ｂｅｅｎ ｃｏｌｌｅｃｔｅｄ ｂｙ ａ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｗｅｒｅ ｄｅｔｅｃｔｅｄ ｉｎ ｂｏｔｈ ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｉｍａｇｅｓ，
／＼．
乞ｌ。
｝ｌ ‘ ｑ．｛／
Ｉ／
‘％
矿丐 ●
一ｒ
／
ｔ． ｔ１
０ｃ１
一
ｄ
ｏｄ
ｉｄ
●
图１平行双目视觉系统
Ｆｉｇ．Ｉ Ｐａｒａｌｌｅｌ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍ
空间点Ｐ在摄像机坐标系Ｘ。。ｋ。Ｚ。。０ａ中的三 维坐标（‰。，％。，：Ｆ。）可以写为
双目视觉系统中最为简便常用的是和人眼构造 一致的平行等高双目视觉系统．该双目视觉系统两 个相同的摄像机平行摆放，摄像机前端平齐且高度 一致．摄像机在坐标系中横坐标重合，坐标原点相距 ｂ，将距离ｂ称为基线．如图１所示．
（算。，门）、（算：，Ｙ：）分别为空间点Ｐ在２个摄像 机成像面上的物理坐标，可以由在图像中的像素坐 标通过已知的摄像机内部参数计算而得．依据上述 公式，可以通过获取目标点在２幅图像中的位置，在 摄像机坐标系中标定目标点的三维坐标．
随着机器人自主化的不断深入，对机器人自主 能力最重要的机器人视觉技术的要求也不断提高， 具有获取深度信息能力的双目立体视觉技术已经成 为了自主机器人技术的关键组成部分¨引．如何在 背景环境中正确获取目标位置，如何在左、右摄像机 采集的图片中选取具有空间位置一致性的目标标定 点一直是双目立体视觉技术的难点和关键．通常的 方法依靠目标的形状、颜色等特征检测目标，并以物 体的形心等作为标定点［３－５ Ｊ．该文将ＳＩＦＩ＂特征匹配 算法用于目标检测，可以在较复杂环境下，从待测图 片中匹配出模板目标，并提出了一种基于ｓＩＶｒ特征 点的目标标定点选择方法，用于双目立体视觉中左、
标以外的特征．
使用ＳＩｌＴ特征提取算法获得模板图片和待测
万方数据
图片的ＳＩＩｉＴ特征向量，模板图片中的ｓＩＦｒ特征向 量几乎全为目标的特征向量，待测图片生成的ＳＩＦｒ 特征向量包括目标与背景．这些特征向量具有很好 的位置、尺度、旋转不变性．将模板图片与待测图片 的ＳＩＦＴ特征向量进行匹配，可以匹配出待测图片中 目标物体的ＳＩｆ＇Ｆ特征向量，这些ＳＩＦＴ特征向量的 位置点称为ＳＩｌＴ特征点，当匹配出的特征点达到一 定数量，表明在图片中检测出了目标物体．
设空间匹配点集中元素总数为ｎ，（名ｉ，Ｙｉ）为点
第６期
盂浩，等：基于ＳＩＦＴ特征点的双目视觉定位
·６５ｌ·
集中的坐标，则该点集中心坐标为
ｎ １
孑＝÷∑铂
（３）
。。ｉ＝ｌ
●
ｎ
一＝÷∑Ｙ ２ ｉ上·Ｙ１．
（‘４４）Ｊ
。’‘＝ｌ
将中心坐标取整后作为标定点图像坐标．
３ 双目视觉标定点计算
双目立体视觉¨叫１１是对人双眼的模拟，人的双 眼从稍有不同的２个角度去观察三维世界的景物。 由于几何光学的投影，像点在左右两眼视网膜处在 不同的位置上．这种两眼视网膜上的位置差就称为 双目视差（简称视差），它反映了客观景物的深度． 双目立体视觉正是基于视差理论，用２个摄像机在 不同位置对同一物体成像，获取同一点的视差，再利 用视差测距原理计算深度信息．
ｓＩＦｒ特征向量的匹配主要就是对２幅待匹配 图像的ＳＩＦｔ特征向量进行相似性度量，计算第１幅 图像的每个局部特征点在待匹配图像的特征点集中 的最邻近匹配．这里使用欧氏距离作为特征点的相
似性度量．特征点ａ，ｂ间的欧氏距离叱表示如下：
％＝＾／乏（口‘一ｂｉ）２，ｉ∈（１，２，…，ｎ）．（１）
式中：ｎ为特征向量的维数． 为了排除因为图像遮挡和背景混乱而产生的无
匹配关系的特征点，Ｌｏｗｅ提出了通过比较最邻近距
离和次邻近距离来消除错配．
昔＜尺，
。＜尺“
（２）
式中：“ｉ。为最邻近距离，“为次邻近距离，当他们
的比值小于距离比例阈值Ｒ时判定为正确匹配，否
则为错误匹配． １．２ 目标检测
可以利用ＳＩｌＴ特征匹配算法在待测图片中检
测出目标物体的前提是，拥有目标物体的模板图片． 该模板要求目标具有明显的特征，并且模板图片中 背景的特征尽可能少，即在模板图片中尽量去除目
万方数据
·６５０·
哈尔滨工程大学学报
第３０卷
１．１．１ ＳＩＦｒ特征向量的生成 ＳＩｌＴｒ特征向量的生成，包括检测尺度空间极值
点、精确定位极值点、指定特征点方向参数和生成特 征向量等步骤．
ＳＩｌ７ｒ特征匹配算法中尺度空间极值检测的主 要过程是：在尺度空间内，利用唯一的线性 核＂别——高斯核建立高斯金字塔；构建ＤＯＧ金字 塔；在ＤＯＧ金字塔内进行极值检测．最后可以初步 确定特征点的位置及所在尺度．
ｏｂｉｅｃｔ ｌｏｃａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｂａｓｅｄ ｏｎ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ
ＭＥＮＧ Ｈａｏ，ＣＨＥＮＧ Ｋａｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ａｕｔｏｍａｔｉｏｎ，Ｈａｒｂｉｎ Ｅｎｓｉｎｅｅｆｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ １５０００１，Ｃｈｉｎａ）
ａｎｄ ｔｈｕｓ ｓｕｉｔａｂｌｅ ＳＩＦＩ＂ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｗｅｒｅ ｆｏｕｎｄ．Ｔｈｅｎ，ｂｙ ｃｈｏｏｓｉｎｇ ｍａｔｃｈｉｎｇ ｐｏｉｎｔｓ，ｃｏｍｐｕｔｉｎｇ ｔｈｅ ｃａｌｉｂｒａｔｅｄ
ｐｏｉｎｔｇ ｃｏｏｒｄｉｎａｔｅｓ，ａｎｄ ＳＯ ｏｎ，ｔｈｅ ｃａｌｉｂｒａｔｉｏｎ ｐｏｉｎｔｓ ｏｆ ｔｈｅ ｏｂｊｅｃｔ ｃｏｕｌｄ ｂｅ ｄｅｔｅｒｍｉｎｅｄ．Ｔｈｅｓｅ ｃａｌｉｂｒａｔｉｏｎ ｐｏｉｎｔｓ ｄｅ— ｓｃｒｉｂｅ ｔｈｅ ｓａｍｅ ｓｐａｔｉａｌ ｌｏｃａｔｉｏｎｓ ｏｆ ｏｂｊｅｃｔｓ ｉｎ ｔｈｅ ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｉｍａｇｅｓ．Ｆｉｎａｌｌｙ，ｔｈｅ ｔｈｒｅｅ—ｄｉｍｅｎｓｉｏｎａｌ ｃｏｏｒｄｉｎａｔｅｓ ｏｆ ｔｈｅ ｃａｌｉｂｒａｔｉｏｎ ｐｏｉｎｔｓ ｗｅｒｅ ｒｅｂｕｉｌｔ ｉｎ ｔｈｅ ｃａｍｅｒａｓ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ．Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｍｅｔｈｏｄ ｄｉｓｃｕｓｓｅｄ ｈａｓ ｇｏｏｄ ｒｏｂｕｓｔｎｅｓｓ ａｎｄ ｐｒａｃｔｉｃａｂｉｌｉｔｙ． Ｋｅｙｗｏｒｄｓ：ｓｉｖｒ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ；ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ；ｏｂｊｅｃｔ ｌｏｃａｔｉｏｎ；ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇ