基于图像的车道线检测与跟踪

\
2013届毕业生毕业设计说明书
题目: 基于图像的车道线检测与跟踪系统
院系名称：信息学院专业班级：计科0905班学生姓名：王曌盟学号： ************ 指导教师：于俊伟教师职称：讲师
2013年5月28日
基于图像的车道线检测与跟踪系统
摘要
随着我国经济的不断发展和科学技术的不断进步以及生活水平的不断提高，汽车正逐步成为大众的交通工具。

随着汽车的不断普及以及汽车行车速度的不断提高，交通事故的数量也随之上升。

每年的交通事故给国家的经济，人民的生命和财产造成了巨大的损失。

由于疲劳驾驶和注意力不集中，引起车辆偏离车道线从而造成交通事故的数量约占所有交通事故的三分之一左右。

在车道偏离预警系统中，整个系统的关键是车道线的正确提取与识别。

车道线的提取主要完成从图像中检测并识别出车道线，并且确定车辆在道路上的安全可行区域和定位车道线相对于车辆的位置，以便监测车辆行进的实时情况。

当车辆发生偏离时，能够提醒驾驶员及时调整车辆的状态，从而避免交通事故的发生。

本文提出了一种实现对图像中的车道线进行识别，得出完整的车道线信息和检测两条车道线夹角的图像处理方法。

本文主要研究的内容有：
第一、对采集的道路图像进行预处理，主要包括图像的滤波、图像的阈值分割，联通域标记，边缘提取等操作。

第二、给出了基于感兴趣区域和Hough变换的车道检测算法，完成对车道线的检测。

第三、对检测出来的车道线建立高斯混合模型，从而预测以后车道线检测的可靠性，并将检测结果与高斯混合模型的预测结果结合得到最接近真实情况的结果。

关键词：车道线检测， Hough变换，高斯混合模型
The detection and tracking of the lane line
based on the image
Abstract
With the continuous development of China's economy and the continuous progress of science and technology as well as the continuous improvement of living standards, the car is gradually becoming a public transport. With the growing popularity of the automobile, as well as the continuous improvement of automobile traffic speed, the number of traffic accidents also increased. Annual traffic accidents caused huge losses to the national economy and people's lives and property.Causing the vehicle deviates from the lane line resulting in the number of traffic accidents accounted for about one-third of all traffic accidents due to driver fatigue and inattention.
In the lane departure warning system, the key to the whole system is the extraction and recognition of the right of the lane line. Lane line extraction completed to detect and identify the lane line from the image, and determines the feasible region of the vehicle on a road safety and positioning of the lane line position relative to the vehicle, in order to monitor the vehicles traveling in real-time situation. When the vehicle deviates able to alert the driver to adjust the state of the vehicles in a timely manner, so as to avoid traffic accidents.
The paper presents an implementation of the lane mark in the image recognition, to draw the complete information of the lane mark and the image processing method of detecting the angle between two lane line. This paper studies the content:
First, on the acquisition of road image preprocessing, including image filtering, image thresholding segmentation the Unicom domain mark, edge extraction operation.
Second, given the lane detection algorithm, to complete the detection of the lane line based on the region of interest and Hough transform.
Detected lane lines to establish Gaussian mixture model in order to predict the
reliability of the lane detection after, and the test results and the predicted results of the Gaussian mixture model combined the results of the closest to the real situation.
Keywords: lane detection, Hough transform, Gaussian mixture model
目录
第1章绪论 (1)
1.1 课题研究的背景和意义 (1)
1.2 国内外的研究现状 (2)
1.2.1 国外研究和应用现状 (3)
1.2.2 国内研究现状 (3)
1.3 本文研究内容和组织结构 (4)
第2章道路图像预处理方法研究 (5)
2.1 图像去噪中的滤波技术 (5)
2.2 图像分割的算法研究 (6)
2.2.1 简单的阈值分割 (6)
2.2.2 基于最大类间方差法(OTSU)的图像分割 (7)
2.3 连通域标记 (8)
2.4 图像的边缘提取 (10)
第3章基于Hough变换的车行道检测 (11)
3.1 Hough变换基本原理 (11)
3.2改进的Hough变换 (12)
3.2.1极角约束区域的建立 (12)
3.2.2 动态感兴趣区域ROI的建立 (13)
第4章车道线的高斯混合模型建立 (15)
4.1单高斯背景建模 (15)
4.2混合高斯背景建模 (16)
4.2.1 背景模型的建立 (16)
4.2.2 背景模型的判定 (17)
4.2.3 背景模型的更新 (17)
第5章车道线检测与跟踪系统的实现 (19)
5.1 多线程实现技术 (19)
5.1.1 线程的概念 (19)
5.1.2线程的同步 (20)
5.1.3 Win32对多线程的支持 (20)
5.2 OpenCV的图像预处理实现 (22)
5.2.1 图像的读取和显示 (22)
5.2.2 预处理的实现 (23)
5.3高斯混合在车道线检测中的实现 (25)
5.4 计算车道线夹角 (28)
第6章总结 (30)
参考文献 (31)
致谢 (33)
附录：程序代码 (34)
第1章绪论
1.1 课题研究的背景和意义
随着我国经济的不断发展和科学技术的不断进步以及生活水平的不断提高，汽车正逐步成为大众的交通工具。

根据德国研究机构最新研究结果显示，全球汽车保有量接近10亿，到2015年还将增加20%。

随着汽车的不断普及以及汽车行车速度的不断提高，交通事故的数量也随之上升。

每年的交通事故给国家的经济，人民的生命和财产造成了巨大的损失。

随着交通安全问题日益严重，交通安全己经成为人类必须认真对待的重大问题。

据世界卫生组织报告，每年全球死于车祸的人数达到120万人，另有大概5000万人每年在交通事故中受伤。

根据我国交通部统计，我国每年因交通事故而死亡的人数在10万左右，占全球交通事故死亡人数的五分之一，位居世界第一。

2010年1月9日交通部通报，当年全国一共发生交通事故238351起，其中造成67759人死亡，另有275125人受伤，直接经济损失9.1亿元。

表1.1统计了我国4年来的交通事故数量和经济损失[1]。

表1.1：交通事故统计情况
由于疲劳驾驶和注意力不集中，引起车辆偏离车道线从而造成交通事故的数量约占所有交通事故的三分之一左右。

国外研究机构分析研究显示，五分之一的驾驶司机都经历过因偏离行车道而引发的交通事故。

虽然目前国内没有该方面的统计数据，但因车辆偏离行驶车道而造成的交通事故也屡见不鲜。

智能交通系统(ITS)得到了各个发达国家的重视，智能车辆的研究应用是的重要组成部分，其中车辆行道线的检测与跟踪作为智能交通系统的重要部分得到了高度的
重视，吸引着越来越多的研究机构和汽车生产厂商的兴趣。

智能车辆可分为自主导航和安全保障两个方面。

由于车辆的自主导航应用依赖于完整的ITS系统的建立，短期内难以全面实施并普及，而安全保障技术可以短期内应用在驾驶员辅助驾驶系统中并取得较好的实验效果，从而为解决因驾驶员主观因素而发生的交通事故提供了有力的技术支持。

针对以上问题，各国都加强了在车辆安全保障技术领域的研究。

在车道偏离预警系统中，整个系统的关键是车道线的正确提取与识别。

车道线的提取主要完成从图像中检测并识别出车道线，并且确定车辆在道路上的安全可行区域和定位车道线相对于车辆的位置，以便监测车辆行进的实时情况。

当车辆发生偏离时，能够提醒驾驶员及时调整车辆的状态，从而避免交通事故的发生[2,3]。

1.2 国内外的研究现状
车行线的检测是智能交通中重要而基础的组成部分，它不仅可以为车辆的导航提供参照和依据，还可以应用于运动目标的检测，比如车辆检测。

目前，很多国家对开发车辆偏离车道线的预警系统高度重视，并进行了深入的研究。

欧洲智能交通是整个系统研发的先驱，紧随其后的是日本和美国。

这些国家都己经成功研制出一些各具特色的车道偏离预警系统。

比如美国卡内梅隆大学(CMU)研发的AURORA系统，这也是所有系统中最具代表性的。

我国在此领域的研究较晚，但也有一定的成果了。

许多国家的学者已经提出了多种车道标识线检测方法，他们利用不同的道路模型和不同的边缘提取技术来实现车道线的检测，并利用Kalman 滤波技术、高斯混合模型(GMM)，动态感兴趣区域(ROI)等方法进行车道线的预测跟踪。

由于光照和天气的变化对摄像头采集的图像会产生较大的影响，且单一的图像处理和边缘提取算法都有其适用的范围，很难找到可以适应各种环境的普适算法，在一定程度上影响了车道行驶线识别的鲁棒性。

此外，基于Hough 变换的直线提取方法是整个检测过程中最为耗时的一部分，影响了车道线检测的实时性[4]。

1.2.1 国外研究和应用现状
AURORA系统是由美国卡内基梅隆大学(CMU)机器人实验室于1997年研制的。

该系统主要由以下几个部分组成：多功能彩色摄像机、嵌入式移动处理中心、数字转换器以及其它外部设备。

由于多功能彩色摄像机安装在车厢的一侧，因此它可以采集1.5—1.6m视野范围内的信息。

采集到的信息通过数字转换器转化并输入到移动处理中心。

嵌入式移动处理中心具有车道偏离报警、行道线检测以及车辆横向位置估计的功能。

美国Iteris公司研制的AutoVue预警系统是由摄像机，计算机硬件系统以及软件系统共同组成的集成单元。

该系统通过机器视觉实时检测道路标记线并和车辆的速度信息进行融合，当车辆偏离安全驾驶车道线时能够发出警报。

德国Daimlerchrysler公司的车道线预警系统利用后视镜上两个摄像头实时监测当前车道与邻近车道之间的距离来判断车辆是否偏离车道。

荷兰Mobileye公司研制的Mobileye_AWS系统利用安装在挡风玻璃上的摄像机监测车道标识线。

日本三菱汽车公司提出和设计055系统，该系统利用角度传感器和加速度传感器获得车辆状态，并将其结合驾驶员行为习惯来实现偏离预警[5]。

1.2.2 国内研究现状
我国因研究较晚，同时由于基础设施和经济的多方面限制，车道线检测系统的研究相对于发达国家有一定的差距，到目前为止，还没有商业化的产品问世。

随着我国经济和生活水平的不断提高，同时汽车数量不断的增加，一些研究所、高校和公司意识到车道线检测系统对于安全驾驶的重要性，并逐步开始研究车道线检测。

具有代表性的车道线检测系统有吉林大学的JLUV A-1 系统、东南大学的基于DSP 的报警系统、清华大学智能技术与系统国家重点实验室“移动机器人课题组”研制的
THMR-V智能车。

国内研发的这些系统使用摄像头拍摄道路图像，然后采用机载处理器处理图像，获得道路信息，从而判断车辆是否发生偏离，并对驾驶员给予相应的提示。

这些系统
仍然是实验阶段，没有大规模的商业运用。

随着市场发展的需求不断增加，车道线检测系统必将大量投入商业应用。

虽然我国的智能交通系统研究起步较晚，但是己经从上世纪90年代开始关注国际上智能交通系统(ITS)的发展，交通部将智能交通系统(ITS)列入“九五”科技发展计划和2010年长期规划中。

进入“十五”一会后，国家将智能交通系统(ITS)及关键技术的研究与应用列为重点攻关项目，随着我国科学技术与经济的逐步发展，智能交通系统(ITS)必在不久的未来得到飞速的发展[6]。

1.3 本文研究内容和组织结构
本文主要实现对图像中的车道线进行识别，识别的车道线包括实线和虚线，最终得出完整的车道线信息，并将其用直线标记出来，同时把检测出来的这两条线的夹角大致求出。

车行道检测软件以MFC作为软件开发平台，结合多线程技术和模块化设计，实现了车行道的检测要求，检测过程以OPENCV库为基础，调用相应的接口程序。

本文拟采用的技术和图像处理流程，以及章节结构大致如下：
第一章绪论介绍了本课题的研究背景和意义、对车道线检测技术的发展历程和应用做了详细的阐述；
第二章介绍了道路图像的预处理技术，主要包括图像的滤波、图像的阈值分割，联通域标记，边缘提取等操作；
第三章介绍了车道线检测方法，给出了基于感兴趣区域和Hough变换的车道检测算法，完成对车道线的检测；
第四章给出了车道线跟踪方法，对检测出来的车道线建立高斯混合模型，从而预测以后车道线检测的可靠性，并将检测结果与高斯混合模型的预测结果结合得到最接近真实情况的结果；
第五章给出了车道线检测算法的实现；
第2章 道路图像预处理方法研究
图像在采集和传输的过程中，图像质量必然会有一定的程度的降低，比如噪声的增加等。

本文研究的车道线检测，其道路图像在采集过程中受到外界光照强度，障碍物遮挡和摄像头抖动等各种因素的影响。

对采集的道路图像在检测之前进行预处理可以提高车道线的检测率。

现实图像预处理方法中，没有哪一种算法可以适用于所有图像，每一种算法都有自己的适用环境和局限性。

因此在实际应用中，需要结合外界环境因素，做大量实验，并结合实际系统的需要，选取适合该系统的算法。

本文中道路图像预处理方法主要包括：彩色道路图像转换为灰度图像；对灰度图像进行滤波，提高信噪比，衰减或者消除外界的干扰；然后对图像进行阈值分割，并二值化图像，将行道线感兴趣的区域从道路图像中分割出来，便于下一步行道线的提取。

最后提取出车道线的边缘图像。

2.1 图像去噪中的滤波技术
为了提高图像中车道线信息的可识别性，降低车道线识别算法的复杂度，需要对采集到的图像进行滤波处理，去除图像中的噪声。

图像去噪处理多采用平滑技术，主要包括频域滤波和空域滤波两大类。

频域滤波需要将信号从空间域转换到频率域，计算量很大，很难满足系统的实时性要求。

空域滤波是在空间域内对图像像素的灰度值进行处理，是常用的滤波算法，一般常用的空间域滤波方法有：中值滤波。

中值滤波是一种在去除噪声的同时又能保护目标边界信息，不使其边缘变得模糊的非线性处理技术。

它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。

所以其对汽车抖动引起的边缘毛刺，以及汽车刹车对车道标识线的损伤和孤立等噪声有较好的滤波效果。

中值滤波的数学表达式如式2-1所示：
()(){},,f i j f i j median S =
(2-1)
其中，(i , j)S f 是当前点(i , j)f 的邻域。

图像的绝大部分能量一般位于信号的低频部分，噪声位于高频部分，而图像中的
一些边缘和细节信息也位于高频部分，采用中值滤波的好处就是既滤除高频的噪声干扰，又能很好的保留边缘信息。

道路图像经过灰度变化和滤波后的图像如图2-1所示：
图2-1： 原始图和灰度化中值滤波后的图像
2.2 图像分割的算法研究
道路图像经过滤波处理后，包含大量的背景干扰信号。

为了提取出感兴趣的车道线区域，提高车道线检测的实时性和准确性，需要从道路图像中将车道线区域分割出来，即所谓的图像分割处理。

图像分割即为选择一个合理的阈值，将图像划分为目标区域和背景区域[6,7]。

2.2.1 简单的阈值分割
阈值分割是基于区域的图像分割技术，其基本原理是：设定不同的阈值，把像素点分成若干类。

假设原始图像的像素值为f(x ，y)，按照一定的准则找到阈值T ，将图像分割为两部分，分割后的图像像素值为
()()()⎩⎨⎧≥<=.,1.,0,t y x f t y x f y x g
（2-2） 当图像中某点灰度值大于阈值T 时，则把该点置为255（白色），反之则置为0
（黑色）。

2.2.2 基于最大类间方差法(OTSU)的图像分割
最大类间方差法由日本学者大津展之于1979年提出，又称大津算法(OTSU)。

大津算法(OTSU)是一种全局阈值选取法，它在判别式分析最小二乘原理的基础上推导得出，因其算法简单，所以是被广泛使用的图像分割算法。

在图像中，方差是灰度分布是否均匀的度量之一。

方差越大，说明图像中的背景和目标的差别就越大。

当一些背景区域错误划分为目标或者一些目标区域错误划成背景时，背景和目标的差别就会变小。

因此采用类间方差最大的图像分割，其错分的概率就最小[8]。

假设图像的目标和背景的分割阈值为T ，且前景像素点数占图像的比例为
1ω，其平均灰度为
1μ；背景像素点占图像的比例为2ω，平均灰度为2μ；图像的平均灰度记为μ，类间方差记为g 。

M N ⨯大小的图像中像素的灰度值小于阈值T 的像素个数记作1N ，像素灰度大于阈值T 的像素个数记作2N ，则有：
1
1N M N ω=⨯ (2-3)
2
2N M N ω=⨯
(2-4) 12N N M N +=⨯
(2-5) 121ωω+=
(2-6) 1122μμωμω=⨯+⨯
(2-7) 221122()()g ωμμωμμ=⨯-+⨯- (2-8)
将式(2-7)代入式(2-8)，得到等价公式：
21212()g ωωμμ=⨯⨯-
当方差g 最大的时候，就是目标和背景的差异最大的时候，此时得到的灰度值就是最佳阈值。

可以得到大津算法(OTSU)计算最佳阈值T 的公式：
()()()min 200arg max ()maX g t g B g T dist u t u t w t w t <<==-
在min max <<g t g 中穷举每一个t 值，使得dist 取得最大值的t 即为要求的阈值。

大津算法(OTSU)二值化的图像如图2-2所示：
图2-2： 大津算法(OTSU)二值化的图像
2.3 连通域标记
二值化的图像有许多信息是我们不需要的，为了突出车道线信息，可以对二值化的图像进行连通域标记，将白色像素点数量太多和太少的白色区域去除掉，以提取我们感兴趣的车道线区域。

连通域标记就是把连续区域作同一个标记，常见的算法有四邻域标记算法和八邻域标记算法[9]。

下面分别介绍一下这两种方法。

四邻域标记算法：
1． 判断此点四邻域中的最左，最上有没有点，如果都没有点，则表示一个新的区域的开始。

2．如果此点四邻域中的最左有点，最上没有点，则标记此点为最左点的值；如果此点四邻域中的最左没有点，最上有点，则标记此点为最上点的值。

3．如果此点四邻域中的最左有点，最上都有点，则标记此点为这两个中的最小的标记点，并修改大标记为小标记。

八邻域标记算法：
1．判断此点八邻域中的最左，左上，最上，上右点的情况。

如果都没有点，则表示一个新的区域的开始。

2．如果此点八邻域中的最左有点，上右都有点，则标记此点为这两个中的最小的标记点，并修改大标记为小标记。

3．如果此点八邻域中的左上有点，上右都有点，则标记此点为这两个中的最小的标记点，并修改大标记为小标记。

4．否则按照最左，左上，最上，上右的顺序，标记此点为四个中的一个。

连通域标记处理后的二值图像如2-3所示：
图2-3：连通域标记处理后的二值图像
2.4 图像的边缘提取
图像的边缘是图像的基本特征，常存在于目标与背景之间。

边缘点附近的像素灰度通常存在阶跃变换或屋顶状变换。

边缘提取方法分为两类：一类是基于图像边缘拟合算子的提取方法；另一类是基于微分算子求得图像边缘，滤波器模板在这类算法中大量使用。

边缘提取是图像处理中基础而重要的步骤，是图像识别的基础。

道路图像中的车道线边缘是车道线和路面之间像素灰度有屋顶变化或阶跃变化的像素集合，是车道线的基本特征之一。

常用的边缘提取算子有Roberts 算子、Sobel算子、Laplace算子、Krisch 算子、Prewitt 算子和Canny 算子。

Canny算子是高斯函数的一阶微分，能在噪声抑制和边缘检测之间取得较好的平衡。

Canny算子提取的图像边缘如图2-4所示：
图2-4：边缘提取后的图像
第3章 基于Hough 变换的车行道检测
在智能交通系统(ITS)中，车道线检测主要是为了以后估计车辆在道路中的行驶位置和其行驶方向，以便控制车辆的正常行驶。

同时，车道线检测确定了障碍物检测的搜索范围，为后续的目标检测提供了较大的方便。

图像经过预处理后，车道线的检测便成为我们要解决的主要问题。

基于Hough 变换的车道线检测是目前应用最为广泛的车道识别方法之一，它完成从图像中识别特定的几何形状。

利用 Hough 变换可以获得车道线所在直线的参数值，准确定位车道线的位置。

Hough 变换最大的缺点就是计算量复杂[10,11]。

3.1 Hough 变换基本原理
霍夫变换于1468年由Paul Hough 提出，是一种依据图像全局统计特性的目标检测方法，霍夫变换利用两个不同坐标系之间的变换来检测图像中的直线和曲线。

它将图像空间中的直线映射到参数空间的一个点，然后对该点进行累计投票，这样便可得到参数空间中的峰值。

经过霍夫变换后，直线的检测问题便转换成了参数空间峰值的统计问题，提取出的峰值经过反变换拟合出所需的直线方程。

一般的直线用斜率k 和截距b 来表示，即以方程y=kx+b 表示。

如果检测直线的N 个边缘表示为：
00(x , y )、11(x , y )、…-1-1(x , y )n n
假设直线的方程表达式为y=kx+b ，于是可以得到n 个方程式：
00=+y kx b 、11=+y kx b 、…-1-1=+n n y kx b
用计数器num[k][b]记录每一可能直线的值， num 中的最大值对应的直线y=kx+b 即为待求直线的最佳解。

鉴于上述方法很难确定斜率(k)的取值范围，如果斜率k 取值太细，计算量大，反过来k 取值太粗的话，又会造成所求直线的准确率不够。

图像空间中的任一直线均可用极坐标表示，如式3-1所示：
cos sin x y ρθθ=+ (3-1)
其中ρ为直线l 相对于坐标原点的距离，θ为直线l 与x 轴的夹角。

图3-1： Hough 变换图
如图3-1所示，直角坐标空间上的一点转换到极坐标空间上，则是一条正弦曲线，直角坐标空间上的同一条直线上的各点在极坐标空间对应的曲线均相交于一点。

3.2 改进的Hough 变换
图像经过滤波、二值化、感兴趣区域提取和边缘提取等预处理后，便可以通过Hough 变换就得车道线，但是传统的Hough 变换计算量大，难以满足实时要求。

本文采用改进的Hough 变换，改进后的变换计算量大大减少，检测效果也很好。

3.2.1极角约束区域的建立
一般车道线分布在道路图像的左右两侧， 经过大量实验测试得出：左车道线1θ的值在20-70度之间，右车道线2θ的值在120-170度之间，我们称这一区域为极角约束区域。

所以在对图像进行处理和Hough 变换时，只用考虑极角约束区域。

如图3-2所示图像的极角约束区域。

图3-2：极角约束区域
极角约束区域的建立，可以大大减少噪声直线的信号，增加车道线检测的准确率。

传统的Hough变换对图像空间中的边缘点在(0-180)度内进行变换，然后在参数空间对应的直线投票累加，参数空间累加的峰值点即为车道线的直线方程。

要提高Hough变换的计算速度，可以减小边缘点个数、减小θ变换范围。

极角约束区域的限制正好减小了θ变换范围，所以加快了变换的运算速度。

3.2.2 动态感兴趣区域ROI的建立
车道线信息一般在图像的下半部分，或者摄像头视角区域的下半部分。

感兴趣区域(ROI)的建立是在空间直角坐标系下确定车道线可能存在的区域范围，这样会缩短车道线检测的时间，提高了检测速率和实时性。

对图像建立直角坐标系，坐标原点在图像中心，则距离坐标原点X宽度的左右两侧分别有一个宽度为W的矩形区域。

这两个矩形区域就是我们建立的ROI，如图3-3所示：
ROI ROI
图3-3：图像中ROI区域。