交通道路标志牌检测与识别综述.

交通道路标志牌检测与识别综述一、背景综述随着社会科技不断发展和进步，车辆已经普及到国内大部分家庭。

汽车的普及极大方便了人们的出行、生活和工作，同时也不可避免的产生了很多的交通问题。

据公安部交通管理局统计，2014年1月至10月，全国共发生道路交通事故426378起，造成87218人死亡、391752人受伤，直接财产损失20.2亿元。

交通安全问题成为人们日常生活中最常见的问题之一，受到了政府、科研机构以及汽车生产厂家的高度重视。

解决交通安全问题的途径之一是准确、有效地设立道路交通标志，为驾驶员提供丰富的禁令、警告、指示等信息，从而起到减少交通事故的作用。

为了确保交通标志的信息能够及时、准确地传达，交通标志自动识别系统(Traffic Sign Recognition,TSR)受到了各国学者的关注，其主要功能表现在以下几个方面：(1)用于驾驶辅助。

交通标志识别的概念最早就是作为驾驶辅助工具被提出的。

TSR系统在识别出交通标志后，可对驾驶员进行语音或视频等方式的提醒，甚至可以在必要的时候对车辆驾驶系统直接做出控制，从而确保驾驶安全。

(2)用于交通标志维护。

由于交通标志通常放置于室外环境中，受自然环境(如风吹雨淋)及人为因素(如涂抹)影响，难免出现褪色、变形甚至坠落失踪现象，需要进行定期检查维护。

通常，这一工作需安排专人专岗，工作量巨大且很难保证实时性和准确性。

显然，一个有效的TSR系统是完成这一工作的理想方案。

(3)用于无人驾驶技术。

无人驾驶汽车在近年来受到了越来越多的关注。

从上世纪90年代起，国内外相继研发出了一系列无人驾驶汽车，其智能化逐渐提高，能够自动规划路线，避让障碍物等。

使无人驾驶汽车具备辨认交通标志的能力显然是使其实用化的一个重要步骤。

TSR在计算机领域中是一个非常重要的分支研究领域，而图像检测以及处理是其主要手段，这是一个难度比较大的实景图形识别问题。

在车载视觉系统中，如何有效地识别道路交通标志是一个非常重要的研究课题。

TSR包括三个重要模块：图像复原、标志检测、标志分类。

交通标志的外观受天气条件的影响很大，如在有雾的天气条件下，标志会变得比正常情况下的亮度更高、颜色更淡，而在沙尘天气下，交通标志会变得比正常颜色更黄。

图像复原模块根据恶劣天气条件的生成模型，对输入的降质图像进行逆变换，得到相对清晰的图像，以使后续的标志检测、分类更加准确；标志检测模块负责找出输入图像中类似交通标志的区域，通常被称作感兴趣区域(Region of Interest,RO I)，并将这些区域送入标志分类模块；标志分类模块对每个ROI进行分析，判断出其中所包含标志的具体类别，最后输出结果。

如下图所示，为TSR的总体框图。

图1-1 TSR的总体框图二、交通标志简介交通标志是一种图形与文字相结合的公共标识，用图形符号和文字传递特定信息，用以管理交通、指示行车方向以保证道路畅通与行车安全的设施。

有很显著的颜色和形状特征,起到指示、示和警示等作用。

适用于公路、城市道路以及一切专用公路，具有法令的性质，车辆、行人都必须遵守。

我国的交通标志有警告标志、禁令标志、指示标志、指路标志、旅游区标志、作业区标志、告示标志、辅助标志8种。

下文对禁令标志、警告标志、指示标志三类标志进行简明扼要的介绍。

（1）禁令标志：起到禁止某种行为的作用。

共有43种。

禁止或限制车辆、行人交通行为的标志。

除个别标志外，颜色为白底，红圈，红杠，黑图案，图案压杠；形状为圆形、八角形、顶角朝下的等边三角形。

设置在需要禁止或限制车辆、行人交通行为的路段或交叉口附近。

如图2-1所示的禁令标志，红色在自然环境下比较少见，故以红色作为特征颜色检测禁令标志通常具有较好的效果。

图2-2 我国的交通禁令标志（2）警告标志：起警告作用。

共有49种。

警告车辆、行人注意危险地点的标志。

颜色为黄底、黑边、黑图案，形状为顶角朝上的等边三角形。

如图2-2所示的警告标志，由于外沿与图案的颜色均为黑色，某些图案面积较大的标志与外沿几乎相连，给检测带来一定困难。

图2-3 我国的交通警告标志（3）指示标志：起指示作用。

共有29类。

指示车辆、行人行进的标志。

颜色为蓝底、白图案；形状分为圆形、长方形和正方形；设置在需要指示车辆、行人行进的路段或交叉口附近。

指示标志没有特定的外沿颜色，某些标志的图案几乎将蓝底分为了几个部分，给检测带来一定困难。

图2-4 我国的指示标志其他国家的交通标志与中国的标志非常类似，只是警告标志的颜色与中国不同，通常为红色外沿、白底、黑色图案。

三、图像复原算法研究现状常见的恶劣天气条件主要有雾、霾、沙尘、雨雪等几种。

雨和雪由于颗粒较大，且比较稀疏，对交通标志的影响主要表现为遮挡，相当于在交通标志上加入了噪声干扰，因此可以简单地对图像进行边缘保持的滤波，如中值滤波、双边滤波(Bilateral Filter)等，一般可较好地复原图像。

而雾、霾、沙尘颗粒小且浓密，光线通过有雾或沙尘的大气时，会产生较明显的折射和散射作用，使交通标志的颜色发生变化。

因此，简单的滤波类算法很难较好地复原雾和沙尘图像。

以下着重分析雾和沙尘图像复原算法的研究现状。

由于有雾或沙尘的图像对比度下降，因此用图像增强算法恢复这类图像是一种比较直观的想法。

Land根据人类视觉系统从不同光照条件下提取彩色信息的原理提出色彩不变性模型Retinex，具有压缩图像动态范围，保持色彩不变的特点，可有效增强因光照不均匀形成的低对比度图像[1]。

Chen和芮义斌分别用单分辨率Retinex(Single-Scale Retinex,SSR)和多分辨率Retinex(Multi-Scale Retinex,MSR)对有雾图像进行增强，取得了一定的去雾效果[2][3]。

直方图均衡化是一种有效提升图像对比度的方法，北京航空航天大学艾明晶等提出采用块部分重叠的直方图均衡化方法复原雾天图像[4]，能够有效突出图像的局部细节信息，从而起到去雾效果。

该方法速度较快，能够满足实时处理的要求。

曲波变换是一种在小波变换基础上发展起来的新的多尺度分析方法[5]，由于它特别适合于各向异性特征的信号处理，因此是对小波变换在图像边缘增强方面局限性的一个很好弥补。

Brian Eriksson利用曲波变换这一特点，通过检测曲波的消失点实现了图像的去雾[6]。

图像增强算法虽然能够增强有雾或沙尘图像的对比度，却不能保证真实地还原出图像色彩，在特定条件下易出现明显的颜色失真[7]。

因此，人们对雾或沙尘图像的成像原理进行了研究，建立了相应的物理模型。

根据图像的特定特征估算出模型的参数，并对降质图像进行逆变换，以期得到更加真实的复原图像。

董涛、王挥等认为雾天图像的降质是由于大气湍流和气溶胶引起的[8][9]。

通过分别估计湍流传递函数和气溶胶传递函数，并用二者的乘积作为总的大气调制传递函数，之后在频域内根据大气调制传递函数对降质图像进行复原，并对降质过程引起的衰减进行补偿，取得了一定的复原效果。

Tarel提出了一种快速的基于单图像的去雾算法[10]。

该算法也基于物理模型，但没有采用全局最优化方法，大大提高了处理速度，可以接近满足实时处理要求。

但该算法的处理效果比暗通道假设算法略差。

综上，对现有的较具代表性的雾天、沙尘图像复原算法总结于表3-1。

表3-1 现有雾天、沙尘图像复原算法的特点现有的雾天、沙尘图像复原算法均存在一定局限性。

从去雾效果的角度比较，最大化对比度与暗通道假设算法处于现有算法中的领先地位，但速度较慢，无法用于驾驶辅助等高实时性应用场合。

而Tarel的算法虽然速度较快，但以牺牲去雾效果为代价。

其他算法或处理效果不够真实，或受限于实施难度大，均不适合驾驶辅助场合。

四、交通标志检测的研究现状一般来说，交通标志识别系统包括路标检测和路标分类两个阶段。

在路标检测阶段，系统会在图像中搜索路标。

在各类文献中，图像分割被广泛应用于路标检测阶段中。

这里主要有三种办法来实现对路标的分割：1)对灰度图像进行边缘检测，然后进行分析2)直方图阈值法3)特征提取和聚类在分类阶段，系统会对检测阶段发现的区域进行分析，然后辨别出路标。

常见的分类方法如下：1)神经网络(NN)2)最近邻分类器3)支持向量机(SVM)4)遗传算法(GA)5)基于相关的模式匹配在处理灰度图像时，是基于形状的特点进行对路标搜索，计算量是十分庞大的。

对于实现快速检测路标，一些方法是基于形状识别发展的，是因为作者们认为基于颜色分割的检测是不可靠的（比如，距离、天气、灰尘和路标使用的时间都会对路标的色彩产生变化和影响）。

比如，Barnes等人提出了一种使用后验概率(posterior probability)的路标检测算法，它是基于路标的位置和角度信息的[11]。

文献[12]使用了自组织神经网络( self-organization map,SOM)的方法提取轮廓线，然后识别路标的形状。

文献[13]应用了图像的梯度方向的几何模型识别三角形路标。

Loy和Barnes实现了一种基于快速辐射对称(fast radial symmetry)的算法，它使用边缘方向的模式检测三角形、正方形和六边形的路标[14]。

然后，基于梯度的特征检测办法对于噪点处理不佳，很多形状检测器在计算超大图像时速度很慢。

在直方图阈值法中，有两种方法。

即，使用标准颜色空间和进行更加彻底颜色空间的研究。

文献[15]提出了使用RGB分量之间的差别来进行路标的分割。

文献[16][17]在RGB空间上直接进行二值化，然后进行形状分析来检测路标，使用神经网络进行分类。

对于禁令标志、警告标志和指示标志的检测，Kang-Hyun使用RGB颜色分割，使用形状分析来识别[18]。

近几年以来，在物体检测中被广为接受并且使用的方法之一就是图像特征聚类。

Bahlmann等人[19]使用一系列对颜色敏感的哈尔小波特征来检测路标，这些特征是从AdaBoost训练和时态信息传播过程中得到的。

Gome z等基于一套完整的交通标志检测和分类系统，对各种颜色空间下的最终识别结果进行了比较，认为归一化RGB空间和HSV空间的检测结果相似，优于其他颜色空间。

在颜色提取之后，通常需要将颜色相同，位置临近的点合并为感兴趣区域。

Escalera等采用角点检测的方法在相近颜色点组成的二值图像中寻找感兴趣区域，但无法克服遮挡问题。

区域生长是一种使用较多的方法，一些算法利用区域生长的方式将相近颜色点连成区域，得到一系列连通域，而后判断各连通域的大小和纵横比，从而快速排除部分虚警情况。

经过大小、纵横比等简单判据筛选后，通常仍存在大量虚警情况，若直接输出为感兴趣区域，则给后级的分类模块带来很大负担。

因此，众多算法通过判断连通域的形状实现进一步筛选。