OV7620摄像头的视觉导航智能车设计和控制算法研究

第一章 绪 论
1.1 机器人视觉导航研究背景
机器视觉的研究是从 20 世纪 60 年代中期美国学者 L.R.罗伯兹关于理解多 面体组成的积木世界研究开始的。当时运用的预处理、边缘检测、轮廓线构成、 对象建模、匹配等技术，后来一直在机器视觉中应用。70 年代，机器视觉主要 形成几个重要研究分支：目标制导的图像处理、图像处理和分析的并行算法、从 二维图像提取三维信息、序列图像分析和运动参量求值、视觉知识表示、视觉系 统的知识库等。本文的研究范围属于目标制导的图像处理。 “导航是指运动体按照预先给定的任务命令，根据已知的地图信息做出全局 路径规划，并在行进过程中，不断感知周围的局部环境信息，做出各种决策，随 时调整自身的姿态与位置，引导自身安全行驶，直至目标位置” 目前常见的导航方法有：惯性导航、电磁导航、卫星导航、激光导航、红外 导航、无线电导航、视觉导航及各种方式的组合导航等。视觉导航是采用 （CCD/COMS）摄像头拍摄路面图像，进行图像处理，运用机器视觉理论识别路 径，实现自主导航的方法。视觉导航设备简单、成本低、应用范围广，在理论上 比其他导航控制柔性更好，因此近些年来发展非常迅速。已经从单一的一维图像 发展到立体视觉技术， 立体视觉技术又分为双目立体视觉和多目立体视觉。视觉 导航技术的发展带动了图像处理技术的进步， 扩展了更多性能优良的智能算法的 应用，如模糊逻辑、人工神经网络和遗传算法等。
水平线为摄像头的视场上界，使之基本与地平线齐平，所以理论上可以采集 到无穷远处的图像。考虑到远处图像稳定性和有用性不强。所以只采集 5cm~150cm 之间的图像。实际为 240 行（半场）的前 200 行。 并且考虑到采集完一副图像后都要进行处理，处理时间较长。所以并非每行 都采集， 可以进行采集完一行后留下几行的时间进行数据处理。所以实际采集行 数小于 200 行。 对于行内像素采集，由于默认 PCLK 的周期是 74ns，使用一般中断无法采集 到，所以我们选用 DMA 传送的方式。另外，行内像素也不必要全部采集。所以 没有必要让 PCLK 时间短到只有 74ns。 OV7620 可以使用 SCCB 设置摄像头的参数。 这里我们将 PCLK 频率降为 4MHZ。实际采得列数为 200 列。 下图分别为原图和经简化数据后的图像：
基于 OV7620 摄像头的视觉导航智能车设计 和控制算法研究
汪兵、鲁华 安徽大学江淮学院 2013 年 4 月
摘要
随着计算机以及电子行业的快速发展， 微处理器的处理能力大 大提高，图像处理技术也随之迅速发展，其中基于这一技术的计算机 视觉导航技术现以逐步成为国内外机器人领域广泛研究的热点。 本文以基于路径识别的机器人视觉导航为研究背景，建立了基于 OV7620 摄像头的路径识别智能车实验平台，并初步研究基于这一实 验平台下的控制算法实现，内容包括： 首先对机器人视觉导航系统这一研究领域的发展和现状作出了简 要描述。对机器人视觉导航所需要的图像处理技术进行了分析，利用 动态阀值计算、3*3 均值滤波、灰度直方图计算、Hough 变换原理对 图像进行了去噪、边缘提取、分析纹理、和阀值计算，提取出图像中 的导航线、曲率等有用信息。使用 PID 算法对智能车的驱动单元电机 和转向单元舵机的控制进行了闭环控制，进行路径跟踪实验。最终使 用上位机将图像的有用信息实时发送到计算机端， 完成了机器人视觉 导航系统的实验平台建设，以及数据采集处理。
然而，为了最大限度的简化数据，通常我们不用采集整个图像。OV7620 最 高支持 664(H)X492(V)个像素的图像采集，缺省有效像素为 640(H)X480(V)。为了 简化数据， 通常我们根据摄像头所采集到的图像内是否足够可以表达路径的信息， 来减少图像的行列数。方法一般有下面几种： 1、 只采集一帧里的半场中的某些有用行 2、 在一列中只采集若干有用列 3、 用 SCCB 修改 OV7620 默认设置，降低 PCLK 频率 其中第一种方法为了减小行数，第二和第三种方法为了减小列数。例如：我 们的摄像头如下图所示放置：
1997 年 7 月 4 号美国航空航天局（NASA）研制了火星探测车“索杰纳”号， 首次登上火星。三个月内共行驶了 90 多米，分析了岩石成分，拍摄了 500 多幅 照片。之后 NASA 又发射了“勇气号”、“机遇号”等。
2004 年和 2005 年美国国防高级研究计划局（DARPA）举办了两次 Grand challenge 智能车辆越野比赛。比赛在环境恶劣的荒漠环境中进行。阿富汗战争 和伊拉克战争期间， 美国军用智能车在侦察和排爆等方面大显神威，减少了不必 要的战争伤亡。2011 年，日本福岛核电站泄露，美国向日本提供的军用智能车 辆在处理核污染方面也起到了巨大的作用。 世界著名浏览器公司谷歌（Google）在 2010 年 10 月 9 日，通过官方博客对 外宣布正式开发自动驾驶汽车， 目标是改变汽车的基本使用方式，协助减少交通 事故。2011 年 10 月谷歌在内华达州和加州的莫哈维沙漠作为实验场地对汽车进 行了测试，同年，美国内华达立法机关允许自动驾驶车辆上路。2012 年 4 月， 谷歌汽车已经行驶了 20 万公里。
2.1.1 基于 OV7620 的图像采集系统
使用像数码相机、录像机、手机摄像机拍摄照片的过程就是一种图像采集。 进行图像采集之前我们需要选择一个采集图像的器件， 在选择上我们需要进行一 些考量。如体积、重量、图像的行列数量，图片制式等。本文将介绍使用 OV7620 摄像机进行图像采集系统的搭建。 OV7620 是一款 CMOS 摄像头，由美国的 Omnivision 公司设计制造。OV7620 是 1/3''的 CMOS 彩色/黑白图像传感器。支持连续和逐行两种扫描方式；VGA 和 QVGA 两种图像格式；最高像素 664X492；帧速为 30fps。数据格式包括 YUV/YCrCb/RGB 三种。 图像采集系统采用 ARM Cortex M4 内核的飞思卡尔 Kinetis K60 系列微控制器。 它带有 DMA 控制器。完成一次 DMA 传送的时间小于默认的 PCLK 的周期 74ns， 可以胜任 30fps 的图像采集系统。而且成本较 CPLD/FPGA 设计的系统要低。
1.2
国内外研究现状
基于视觉导航的自主式地面车辆，又叫 ALV（Autonomous Land Vehicle）。 最早开始于 1983 年，由美国国防部预研规划局资助，由陆军工程兵局地形实验 室研制。计划从 1983 年开始，直到 1985 年 5 月底在马丁· 玛丽埃塔公司的跑道 上对自主式地面车辆技术表演试验车进行了试验。该车高 3.05m、重 6.8t，是 1 台设备齐全的机动试验台架车，它以 4.8km/h 的速度沿道路中央自主地行驶了 0.96km。它的视觉系统是 1 台电视摄像机，每隔 2.4s 向前看 1 次，所得的图像 传给车载计算机系统。
1.3
本文主要研究内容
视觉导航的图像处理技术和视觉导航智能车平台的建立是本文的研究重点。 使用 OV7620 作为图像传感器，采集路面二维黑白图像信息。使用图像处理技术 对图像进行预处理和特征值提取。采用玩具模型车作为实验平台，建立 PID 闭环 电机控制系统进行道路巡线，主要利用实验平台验证路径跟踪算法。 图像预处理及特征值处理，主要研究视觉导航系统中图像噪声的去除，研究 了两种去噪方法， 进行了具体的分析。对大津法取得图像阈值的方法进行了理论 研究和实际论证。 讨论了使用游戏算法中的图像边缘线采集方法进行道路中心位 置提取， 和提出一种新型的多预估值有限领域内变步长算法进行快速的图像边缘 线提取，提高了边缘采集的速度，并对该算法进行了理论分析和实际验证。 实验平台的建立，主要从机械角度，优化车体结构以获得更高的响应速度， 力求突破小车速度瓶颈。从控制角度采用了自动控制领域最优化的 PID 调节器， 对速度实行闭环控制。有效的柔化了小车行驶的跟线体系。
关键词：视觉导航
路径识别
图像处理
PID 闭环控制
目 录
摘要 目录 第一章 绪 论 1.1 机器人视觉导航研究背景 1.2 国内外研究现状 1.3 本文主要研究内容 第二章 视觉导航中的图像处理技术 2.1 图像预处理 2.1.1 基于 OV7620 的图像采集系统 2.1.2 图像去噪 2.2 图像的信息提取 2.2.1 图像的动态阀值计算 2.2.2 图像导航线的提取 2.3 本章总结 第三章 基于路径识别的智能车设计 3.1 硬件平台 3.1.1 智能车车体结构 3.1.2 智能车控制电路板设计 3.2 PID 闭环控制系统 3.3.1 PID 控制原理 3.3.2 电机的 PID 闭环控制系统 3.3.3 舵机的 PID 控制 3.3 路径跟踪实验 3.4.1 直行实验 3.4.2 弯道实验 3.4.3 交叉路口实验 3.4.4 实验结果和分析 3.4 本章总结 第四章 总结与展望 参考文献
第二章 视觉导航中的图像处理技术
图像处理技术最早出现于 20 世纪 50 年代。 常用的图像处理技术有灰度变换、 去除噪声、 图像增强等。 图像处理技术首次获得成功的应用是美国喷气推进实验 室（JPL）。他们对航天探测器徘徊者 7 号在 1964 年发回的几千张月球表面照片 使用了图像处理技术， 并考虑了太阳位置和月球环境的影响，由计算机成功绘制 出了月球表面的地形图，彩色图及全景镶嵌图，获得了巨大的成功。 图像处理技术的迅速发展是视觉导航的研究取得突破的催化剂。数字摄像机 作为图像处理的数据采集器， 为机器人提供了视觉环境。机器人视觉即为机器人 安装上一个摄像头， 如同人类的眼睛一样， 利用其采集到的图像信息， 进行处理， 得到物体的位置，方向等状态。
欧Fra Baidu bibliotek各国对 ALV 的研究也取得了巨大的成果， 法国 INRIA 公司研制出了 Cycab 智能汽车， 它的全球定位系统， 只要设定好路线， Cycab 就能够自主到达目的地。
德国，汉堡一家公司制造了一台 Lux 无人驾驶汽车，使用先进的激光导航系统， 能够在复杂的城市环境中行驶。 日本对机器人的研究起步很早， 在 20 世纪 60 年代就开始开展智能车的研究， 2003 年研制成功了一台能够自行调节方向盘、车速以及车身在车道上位置的超 级智能车。这种汽车的车头上装有雷达，可自动检测与前车之间的车距，并将数 据传送到电脑分析，再把计算出来的合适车速向引擎发出指令。 我国对这方面研究起步较晚，20 世纪 80 年代，国家“863 计划”开始立项 研究智能机器人，开始了防核化侦察车研究。1995 年，哈尔滨工业大学、国防 科技大学和沈阳自动化研究所等高校和科研单位研制成功。1995 年 12 月，由清 华大学、 北京理工大学、 南京理工大学等几所高校共同研制开发的 7B8 智能车通 过验收。直线跟踪速度 20Km/h。壁障速度 5~10Km/h。 清华大学开发的 THMR 智能车由 BJ1022 面包车改制，集成了二维彩色摄像 机、 磁罗盘光码盘定位、 GPS、 超声等传感器， 目前 THMR-V 已经能够达到 100Km/h 的平均跟踪速度，最高时速达 154Km/h。 自 2006 年起，清华大学主办了 8 届“飞思卡尔杯”智能汽车竞赛，目前发 展成 30 多个省事 200 多所高校参加的大学生智能车竞赛。该智能车研究的重点 就是路径跟踪技术。
2.1 图像预处理
在日常生活中，我们人眼所能够观察到的视野范围内包含各种各样的信息， 而我们的可以自动的去滤除一些我们不必关心的信息。 视觉导航系统的图像预处 理便与此类似。 光学系统所呈现的二维图像中除了我们需要处理的有用信息之外 还包含着噪声、干扰、多余的一些信息。在我们进行提取导航信息之前，为了能 够得到最正确，最有用的图像信息，我们首先需要对原始图像进行预处理，以便 得到正确的判断。 图像的预处理实际只是进行特征值抽取之前的一步提纯的操作，并没有从中 得到什么有用信息， 即使那些被滤除的信息也有可能很重要，但是对于决策来说 没有必要。所以为了消除图像中无关的信息，恢复有用的真实信息，增强有关信 息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识 别的可靠性，预处理过程一般有数字化、几何变换、归一化、平滑、复原和增强 等步骤。 本文所讨论的预处理有：图像的采集、平滑（去噪）处理。