基于FPGA的单目视觉目标跟踪系统的设计与实现

基于FPGA的单目视觉目标跟踪系统的设计与实现
哈尔滨工业大学工学硕士学位论文
目录
摘
要 (I)
ABSTRACT ......................................................................................................... ....... II 第1章绪论. (1)
1.1课题来源 (1)
1.2课题研究的目的及意义 (1)
1.3国内外相关技术发展现状 (2)
1.3.1目标识别技术研究现状 (3)
1.3.2目标跟踪技术研究现状 (4)
1.3.3单目视觉定位技术研究现状 (5)
1.4本文的主要研究内容 (5)
第2章基于颜色的目标跟踪系统的方案选择 (7)
2.1引言 (7)
2.2板级系统架构 (7)
2.2.1图像采集 (7)
2.2.2FPGA选型 (10)
2.2.3目标跟踪 (10)
2.2.4图像显示模块 (10)
2.3IP核级系统架构 (11)
2.3.1时钟管理模块 (12)
2.3.2视频帧缓存控制器 (12)
2.4本章小结 (13)
第3章相机标定与畸变校正 (14)
3.1引言 (14)
3.2相机标定 (14)
3.2.1坐标系的建立 (14)
3.2.2针孔成像模型 (16)
3.3相机畸变 (18)
3.4相机标定实验 (19)
3.5相机畸变校正实验 (20)
3.5.1畸变校正原理 (20)
哈尔滨工业大学工学硕士学位论文
3.5.2实时畸变校正FPGA实现方法 (22)
3.6本章小结 (25)
第4章基于HSV色彩空间的目标识别与跟踪 (26) 4.1引言 (26)
4.2图像预处理 (26)
4.2.1Bayer转RGB (27)
4.2.2滤波 (29)
4.2.3RGB转HSV (30)
4.2.4目标特征二值化 (33)
4.2.5形态学滤波 (34)
4.3基于BLOB的目标识别方法 (36)
4.3.1行程编码 (36)
4.3.2目标检测 (38)
4.3.3物体融合 (39)
4.4利用状态机实现BLOB算法 (41)
4.4.1基于FPGA的状态机实现 (41)
4.4.2BLOB算法的状态机实现 (42)
4.5基于BLOB的目标跟踪算法 (42)
4.5.1形心计算 (43)
4.5.2舵机位姿信息的读取 (43)
4.5.3目标跟踪的实现 (46)
4.6基于单目视觉的定位算法 (46)
4.6.1单目视觉定位模型 (46)
4.6.2CORDIC算法 (48)
4.6.3基于单目视觉定位仿真 (50)
4.7本章小结 (50)
第5章基于HSV色彩空间的跟踪算法的FPGA实现 (52)
5.1引言 (52)
5.2实验平台搭建 (52)
5.3目标跟踪系统在PC上验证 (53)
5.3.1基于PC的目标跟踪算法实现 (53)
5.3.2基于PC的单目视觉定位算法验证 (53)
5.4目标跟踪的FPGA实现 (55)
哈尔滨工业大学工学硕士学位论文
5.5本章小结 (56)
结论 (57)
参考文献 (58)
攻读硕士学位期间发表的论文及其它成果 (63)
哈尔滨工业大学学位论文原创性声明和使用权限 (64)
致谢 (65)
哈尔滨工业大学工学硕士学位论文
第1章绪论
1.1课题来源
本课题来源于深圳市孔雀团队项目。

本课题主要研究实时地实现目标的识别、跟踪和基于单目视觉的定位。

1.2课题研究的目的及意义
目标跟踪是许多机器视觉应用中的关键部分，从工程领域到军事领域。

目标识别是目标跟踪技术的前提。

目标跟踪是所有机器视觉应用中的基石。

其主要的挑战就是目标跟踪应用的速度、精度以及处理大数据流的能力。

通过利用FPGA 的可重构设计和并行架构的特点来实现这些算法，我们可以克服很多问题。

目标跟踪技术涉及到从摄像头中获取到视频流来检测到目标物体，并进行实时跟踪。

目标跟踪技术是许多监测系统、交通控制、医学成像和安防系统的关键部分，是
机器人的人工智能部分的关键组成部分，也是将计算机视觉应用像人类视觉一样智能的一种尝试[1]。

一般计算机视觉技术中使用的视觉传感器有单目、双目以及全景视觉传感器。

双目视觉一般容易获得深度信息并且其精度相对也比较高。

但是双目视觉对图像的匹配有很高的精度方面的要求，且其标定过程也比较复杂，对处理器的运行速度要求较高，所以其效率相对较低[2]。

而全景视觉具有大视场，一般可提供更全面的场景信息，但是其制作成本高，并且存在较大的畸变，特征匹配的工作很难完成，由于全景视觉信息量较多，所以其算法复杂度会比较高，实时性较差[3]。

单目视觉系统结构较为简单，成本较低。

虽然若单独使用单目视觉较难获得三维信息，但是如果基于一些约束条件则可以较为轻易的获得深度信息[4]。

在机器人系统中，使用激光测距仪[5]、超声波传感器[6]或者通信网络[7]来进行相对距离的测量和定位是当前比较常用的。

激光测距仪和超声波传感器使用了TOF（Time-of-Flight）的概念来测量两机器人之间的相对距离。

在通信网络领域，距离的测量需要一些布线时间以及接收无线电信号强弱的指标。

机器人能够根据相邻两物体之间的无线信号的强弱来测距[8]。

尽管这些传感器在测量范围内是可以用来测量的，但是得到的信息内容却是有限的，例如，它们可能。