单目摄像头实时视觉定位

III
上海交通大学硕士学位论文
landmarks in the scene. In addition, we have fully considered the intrinsic connections between the three modules, and introduce the concept of parallel computing to maximize the run-time performance. Next, we propose our Harris-SIFT feature detector, including principles, merits and improvement compared with SIFT. After that, we details the Harris-SIFT based recognition system, which is composed of a visual landmark database, feature detector, approximate nearest neighbor searching, consistency checking, and evaluation of recognition results. Experiment shows that this recognition system is quite robust and fast, working well in dynamic natural environment. Then we move to the tracking and localization algorithm, analyze the possibility and suitability of the combination of recognition and tracking algorithm, and illustrate the idea and implementation details of the parallel computing structure. In the following, we introduce the pose estimation algorithm, named POSIT, and explain the mechanism of the whole localization algorithm. Besides, since the perspective camera model is used to compute the 3D coordinates of features extracted from coplanar landmarks, we also briefly review Zhang’s camera calibration method. Finally, a serial of experiments is presented to test and verify the performance of our algorithms. Some of the experiments, say, comparison of Harris-SIFT with its several peers, image retrieval in large image
上海交通大学 硕士学位论文 单目摄像头实时视觉定位 姓名：徐宁 申请学位级别：硕士 专业：控制理论与控制工程 指导教师：陈卫东 20080201
上海交通大学硕士学位论文
单目摄像头实时视觉定位算法
摘 要
基于视觉信息的移动机器人自定位是机器人自主导航的关键技术之一，其 难点在于如何提高视觉系统的鲁棒性，以适应变化的自然环境，如何从单个摄 像头准确恢复深度信息，以确定机器人自身位姿，以及如何提高算法实时性， 以满足机器人自身运动的快速性和灵活性。本文对该问题进行了深入研究，旨 在构建一个完整的视觉定位系统，使用单个摄像头采集场景图像，并实时计算 相机相对参考路标的三维姿态。 首先，本文回顾和总结了现有的视觉定位和导航算法，提出了单目摄像头 实时定位算法的体系结构。该结构从视觉和图像处理的角度出发，结合了基于 不变特征的目标识别、特征跟踪和位姿估计算法。算法先识别场景中的视觉路 标，接着实时跟踪已识别路标，同时计算摄像头相对路标的三维位姿。此外， 算法充分考虑了三个模块之间的内在联系，通过并行计算，最大限度提高了实 时性。 其次，本文提出了 Harris-SIFT 特征提取算子，分析了算法原理，指出了它 相对 SIFT 的性能改进和优点。接着，本文详细介绍了基于 Harris-SIFT 的目标 识别系统，包括数据库的建立、特征提取、近似最近邻居匹配、一致性检验、 识别评估。该目标识别系统具有较好的鲁棒性、准确性和实时性，是视觉定位 的核心，保证定位可以在变化的自然环境中可靠运行。 然后，本文对跟踪和定位算法进行了研究，分析了识别和跟踪相结合的可 行性和意义，阐述了双线程并行计算的设计思想和具体的实现细节。而后，本 文介绍了共面 POSIT 位姿估计算法的原理，以及与跟踪、识别算法的结合。其
Keyword: Visual localization, Harris-SIFT, Object recognition, Pose estimation
V
上海交通大学硕士学位论文
上海交通大学 学位论文原创性声明
本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本 人承担。
பைடு நூலகம்
I
上海交通大学硕士学位论文
中，为了得到参考物体特征点的三维坐标，本文设计并使用了逆透视成像模型， 需要对摄像机进行标定。 最后，在上述研究的基础上，本文通过多个实验验证了算法的性能，包括 Harris-SIFT 与同类特征提取算子的比较，自然环境下的目标识别和图像检索， 这些实验表明基于 Harris-SIFT 的目标识别算法鲁棒性较强，准确性较高，实时 性较好。此外，本文使用单个手持 USB 摄像头采集实时视频流，并运行视觉定 位算法，检验定位性能。结果表明，该算法可以同时快速识别场景中的多个自 然路标，并实时输出相机相对跟踪的 3D 位姿，且在定位精度较为可靠，圆满 实现了设计要求。
IV
上海交通大学硕士学位论文
gallery, multiple object recognition in natural environment, illustrate the high robustness, accuracy, and real-time performance of Harris-SIFT based recognition system. In the visual localization experiment, we successfully restored the relative 3D pose of a hand-held camera, which could movie rapidly and arbitrarily in the space. It could be concluded from all these experiments that our visual localization algorithm is quite promising for the application of visual localization with only a single camera.
学位论文作者签名：徐宁
日期： 2008 年 2 月 18 日
上海交通大学硕士学位论文
上海交通大学 学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
保密□，在 本学位论文属于 不保密√。 （请在以上方框内打“√”）
年解密后适用本授权书。
学位论文作者签名：徐宁 日期： 2008 年 2 月 18 日
指导教师签名：陈卫东 日期： 2008 年 2 月 18 日
上海交通大学硕士学位论文
第一章 绪论
1.1 引言
移动机器人的研究始于20世纪 60年代末期，美国斯坦福大学在1972 年制造 了名为 Shakey的自主移动机器人 [1]，以研究应用在复杂环境下机器人系统的自 主控制和规划。近几年，移动机器人技术得到了飞速发展。眼下，世界各地的 机器人公司和科研机构正加紧开发研制各种智能自主移动服务机器人应用到各 种危险或者极端环境下代替人类工作。自主移动机器人是指在完全未知环境中， 集环境感知、动态决策与规划、行为控制与执行等功能于一体的具有高度自动 化程度的智能化装置。其自主性主要体现在对环境的感知和理解、行为自主规 划以及自我学习和自我适应的能力方面。作为一种复杂的智能系统，自主移动 机器人的研究涉及计算机视觉、模式识别、传感器及多传感器感知与信息融合 技术、人工智能、自动控制等诸多学科的理论和技术，集中体现了计算机技术 和人工智能的最新成果，在军事和民用方面显示出越来越广泛的应用价值。 导航是自主移动机器人的关键技术之一，即机器人依靠自身传感器，检测 和分析环境信息，结合特定任务，规划自身运动轨迹。比如无人驾驭车辆需要 通过视觉或激光传感器识别道路和障碍物，并根据自身位置以及目的地方位， 规划运行路径，实现自动驾驭。在导航过程中，机器人需要精确知道自身当前 位置，以完成局部避障或是全局规划，这就是定位问题。具体的说，就是利用 先验环境地图信息、机器人位姿的当前估计以及传感器的观测值等输入信息， 经过一定的处理和变换，产生更加准确的对机器人当前位姿的估计。 自主移动机器人定位系统已有广泛研究，一般应用传感器感知的信息实现 可靠的定位。近年来越来越多的定位系统使用了视觉传感器[2,3]，这是因为视觉 图像包含了目标的丰富信息，如颜色、纹理、形状，并且视觉系统价格低廉， 使用方便，应用广泛。借助计算机视觉理论，视觉系统可以通过图像分析、目 标识别等手段，理解环境信息，进而估计自身位姿。因此视觉定位系统对于自 主移动机器人有着重要的研究意义和应用价值。 本文就视觉定位技术进行了针对性研究，主要解决单个摄像机实时定位问 题，即通过单个摄像机采集视频流，并实时计算相机的三维姿态，估计6个自由
关键词：视觉定位，Harris-SIFT，目标识别，特征跟踪，位姿估计
II
上海交通大学硕士学位论文
REAL-TIME VISION LOCALIZATION WITH A SINGLE CAMERA
ABSTRACT
While vision-based self-localization has been the core method for autonomous navigation for mobile robots, this approach suffers from three major difficulties, that are, how to design a robust vision system that could be applied in dynamic natural environment, how to restore the depth information with a single camera in order to estimate the 3D pose of the robot, and how to achieve real-time performance in order to catch up with the high speed and smartness of the moving robots. In this paper, we study deep into this research topic, and present a visual recognition system that could real-timely calculate the relative 3D pose of a handheld camera with respect to coplanar visual landmarks. Firstly, we review the state of arts of current vision localization and navigation algorithms, then present the framework of our real-time visual localization algorithm, which combines object recognition with local invariant features, feature tracking and pose estimation. Firstly it detects features from live video stream, finds objects previously learned off-line, then real-timely tracks the recognized targets across video frames, and at the same time, calculates the 3D pose of the camera with respect to