复杂背景中基于纹理和颜色的车牌定位研究

复杂背景中基于纹理和颜色的车牌定位研究
万燕;徐勤燕;黄蒙蒙
【摘要】提出一种将车牌纹理和颜色相结合的车牌定位方法，即基于纹理粗定位得到车牌候选区域后，运用改进的自主确定聚类数和聚类中心的RGB空间k-means聚类算法，而不是定义颜色范围来分割车牌。

该方法的优越性在于首先利用纹理排除了颜色干扰区域，其次利用颜色聚类去除了纹理干扰区域，又克服了量化定义颜色适应性不强、稳定性差的缺点。

实验表明，该方法可以准确定位复杂背景中任意方向和不同光照下的车牌，具有很强的稳定性和鲁棒性。

%In this paper we present a vehicle license plate location method which combines the texture and colour of the license plate,that is,after roughly locating based on texture the candidate region of license plate,the modified k-means clustering algorithm in RGB colour space,which allows the number of cluster and the clustering centres to be determined autonomously,is used to segment the license plate instead of defining the colour range.The advantages of this method are that first it rules out the colour interference area with texture,then it rules out the texture interference area using colour clustering,and also overcomes the instability and weak adaptability of quantified definition of colour.Experiment demonstrates that this method can accurately detect the license plates in complex background with arbitrary orientations and different illumination.It has strong stability and robustness.
【期刊名称】《计算机应用与软件》
【年(卷),期】2013(000)010
【总页数】5页(P259-262,316)
【关键词】车牌定位;复杂背景;纹理特性;颜色k-means聚类;句法特征
【作者】万燕;徐勤燕;黄蒙蒙
【作者单位】东华大学计算机科学与技术学院上海201620;东华大学计算机科学
与技术学院上海201620;东华大学计算机科学与技术学院上海201620
【正文语种】中文
【中图分类】TP391.4
车牌识别系统是现代智能交通系统中的一项重要研究与应用，一般主要有三个步骤：车牌定位、字符分割和字符识别［1－3］。

车牌定位是车牌识别系统的首要步骤，是进行后续分割和识别的先决条件，它的准确率和稳定性极大地影响了整个系统的准确率和稳定性［4，5］。

目前车牌定位技术主要分为两大类：一是基于车牌纹理特征的定位方法，二是基于车牌颜色特征的定位方法。

近十几年来，针对前者的研究已相对成熟，主要方法有：基于灰度特性方法［6，7］、基于遗传算法方法、基于神经网络方法［8］、基于数学形态学方法［9］和基于小波变换方法［10］等。

这些方法在不同光照条件下可以快速定位车牌。

但在复杂背景中，如车牌区域周围有文字广告或车灯时（如图1（a）、（b）、（c）所示），干扰区域的纹理与车牌纹理及其相似；车牌有污
迹或字符缺失或严重倾斜时（如图1（d）、（g）所示），车牌区域的句法特征
改变。

这些情况下，仅利用纹理特征将车牌从复杂背景中精确定位出来是存在较大困难的。

机动车牌照具有固定的颜色搭配，而且颜色本身就是强有力的描绘因子，能提供更多的视觉信息。

因此，近年来基于颜色特征的车牌定位方法受到越来越多关注。

例如王义兴［11］、Vahid Abolghasemi等［12］提出了检测车牌边缘颜色对的定位方法，这对于颜色对比度强的车牌定位效果良好，但当车身跟车牌颜色相近（如图 1（e）、（f）所示）或车牌变色（如图 1（g）、（h）所示）时，定位往往失效。

上海交通大学樊孝宏等［13］利用区域生成算法判定车牌颜色，山东大学聂
洪印等［14］采用多级灰度标记不同颜色定位车牌，他们利用颜色作用于整幅图
像来定位相对较小的车牌区域，效率显然不高。

郑成勇［15］提出的基于不包含
亮度信息的颜色特征的车牌提取方法，尽管适应了不同光照条件，但忽略亮度来判断颜色相似性是不准确的。

颜色的HSI／V三个属性互相制约，一个颜色的某一个属性发生改变，那么相应的颜色必然要发生改变。

目前，由于背景复杂和车牌颜色定量不准确等难点，车牌定位尚未有一种有效的解决方案。

为此，本文提出一种将车牌纹理和颜色相结合的车牌定位方法。

基于纹理粗定位可以有效提取车牌等纹理信息较强的候选区域，并排除车身颜色可能对精定位产生的干扰，提高了定位效率和准确率。

综合RGB三通道基于颜色聚类分割精
定位可以充分利用颜色信息，不用定量颜色范围，即可将属于同一种颜色的区域聚为一类，剔除纹理类似的区域，精确分割出车牌。

1.1 量化定义颜色不准确的问题
当天气、光照等客观条件良好，车牌颜色鲜艳，根据上述文献中的算法定义颜色范围，能够准确定位车牌区域。

但是颜色范围的测定往往运用多次测量的平均值来代替真实值，具有测不准性［16］。

而且，我国车牌虽然有固定颜色搭配，但现实
中不同地区和时间派发的牌照即使是同一种颜色，也存在色差（如图1（e）、（f）所示）。

另一方面，由于车牌使用时间、光照明暗、天气情况、环境多样和摄像硬件等客观条件影响，图像中的车牌颜色或变化或模糊（如图1（g）、（h）所
示）。

所以，通过统计和数学变换 R＼G＼B或 H＼S＼I三分量，定义一个明确的颜色范围来定位车牌在理论上是可行的，但在现实中是有难度的。

图1（e）、（f）两张图中车牌都是蓝底白字，且车牌和车身同色。

将图1（e）、（f）中车牌和车身分别随机取21×18个蓝色像素点，以R→X，G→Y，B→Z的方式映射到三维空间中。

映射结果如图2（a）所示，其中蓝色和粉红色，绿色和红色四种点集分别
表示图1（e）车牌和车身，图1（f）车牌和车身区域中的蓝色像素集。

同样，将图1（e）、（f）、（g）、（h）四图中的车牌底色映射到三维空间，如图2（b）所示，其中蓝、绿、黄和红四种不同点集分别表示四个车牌区域中的不同蓝色像素集。

如图2（a）所示，车身与车牌的点集（如蓝色和粉红色点集）存在不少重合。

车
身和车牌同色时，车身就是强干扰，通过定义RGB取值范围定位出的车牌区域往
往超越车牌边框。

如图2（b）所示，相同标记色的点集明显形成独立的堆，不同
标记色的点集间重合点很少。

这四种车牌虽然都是蓝色，但存在很大的差异性，很难定义统一的RGB取值范围来覆盖。

因此，在RGB颜色模型下，企图用定量颜
色范围的方法来定位复杂背景图像中的车牌存在较大误差。

在HSI／V颜色模型下也是如此。

1.2 本文算法思想
针对上述复杂背景中存在广告文字、车灯等纹理干扰，同色车身等颜色干扰和量化颜色不准确等车牌定位问题，本文提出了一种综合纹理粗定位和颜色聚类分割精定位的车牌定位方法。

车牌粗定位算法中首先采用去背景增强法，对车牌灰度图像进行预处理，然后使用Sobel算子对预处理后的车牌图像进行垂直边缘检测，分析
和提取出纹理密集的区域，使用行列扫描及形态学方法处理后得到车牌候选区域。

精定位算法中，提出了综合利用RGB三通道在空间的密度作为颜色的相似性度量，基于该度量运用改进的k-means聚类算法处理候选区域，将聚为一类的区域视为
具有相同颜色的区域。

最后基于车牌句法特征筛选精定位后的区域，得到精确的车牌。

算法流程如图3所示。

1.3 车牌粗定位
由于车牌区域通常只占图像的一小部分，而且同色背景区域可能带来干扰，直接基于颜色处理整幅图像效率和准确率都不高。

故本文首先进行车牌粗定位，利用车牌丰富的垂直边缘信息和字符纹理信息，从图像中提取车牌候选区域。

复杂背景中，车牌图像干扰较多，通过预处理过滤干扰性纹理并增强车牌纹理是必要的。

我们发现，通过开运算处理图像可以消除小物体纹理，并在纤细处分离物体与平滑较大物体边缘。

因此，本文首先将原始彩色车牌图像（如图1（a）所示）转变成灰度图像（如图4（a）所示），然后将灰度图像进行开运算得到背景图像（如图4（b）所示），运用灰度图像去除背景图像得到增强图像（如图4（c）所示）。

从车牌增强图像的效果可以看出，不明显的车灯、车身表面的铆钉等干扰信息已经消除，而车牌区域纹理和广告牌等某些干扰性纹理都被增强了。

观察分析可知，即使背景复杂，车牌区域的垂直边缘仍是相对稳定的纹理特征。

因此，本文在图像去噪增强的基础上，使用Sobel垂直边缘检测算子提取边缘（如图4（d）所示）。

利用与车牌尺寸相适应的掩模矩阵E对边缘图像进行卷积，根据阈值T提取纹理密集区域（如图4（e）所示）。

其中掩模矩阵E、阈值T的参数设置是根据图像分辨率决定的。

而本文实验的车牌图像（除图1（d）外）都是从某一收费站的视频中获取，这些参数值的设定都是统一的经验值。

然后通过行、列扫描连接水平和垂直边缘，并对连通区域进行闭运算和填充孔洞处理，得到完整的连通区域（如图4（f）所示）。

再在原始彩色图像中提取这些候选区域，如图5所示。

由图5可知复杂背景中，基于纹理的粗定位结果并不精确，存在很多纹理丰富的
强干扰区域。

车牌区域和广告文字区域更是由于位置接近而被分割到同一个区域中，但颜色存在很大差异。

本文将利用车牌颜色特征进一步定位。

1.4 车牌精定位
为了去除相似纹理强干扰区域和改进量化定义颜色不准确导致车牌定位不稳定的问题，本文提出将RGB三通道映射到三维空间，利用其密度作为相似性度量来进行
改进的k-means聚类。

将聚为一类的区域视为具有相同颜色特征的一类，无需判定车牌颜色，实现车牌与周边干扰区域的分离。

k-means聚类算法是一种迭代式的无监督算法，以确定的聚类数目K和选定的K
个初始聚类中心为前提，根据数据相异性度量，不断调整聚类中心，最终将对象划分为局部最优的K个类。

这使得同一类内的相似度最大、差异性最小，而不同类
间的相似度最小、差异性最大。

其优点是简单易行，数据量不大时效率很高。

但是该算法存在如下缺点：1）聚类数目K需要预先给定；2）算法对聚类中心初始值
敏感，易陷入局部极小；3）当数据量非常大时，算法的时间开销非常大［17－19］。

k-means聚类算法要求事先给定K值，但在实际中由于缺乏经验，K值一般难以
确定。

而对于不同的初始聚类中心的选择，可能会导致不同的聚类结果，即聚类不稳定。

为了避免这两大缺点，有动态确定K值和确定适当的聚类初始中心两种途径。

本文利用RGB三通道在空间的密度作为颜色的相似性度量，改进k-means
聚类算法。

其具体步骤如下：
1）将候选区域各像素点的RGB三通道映射到三维空间：
2）计算空间所有点之间的距离：
3）计算每个点t-邻域内包含点的个数P，满足最小数目不超过Pt时，将其加入高密度区域集合D中；
4）将集合D中的点按P值降序排列后得到序列｛k1，k2，k3｝，将k1加入到初
始聚类中心集合C；
5）若k1和k2的距离大于集合D中各点之间的平均距离，则将k1加入到初始聚类中心集合C；
6）继续从集合D中找出聚类中心，最后得到K个初始聚类中心；
7）从这K个初始聚类中心出发，k-means聚类分割车牌候选区域。

上述步骤基于车牌区域RGB三通道的空间密度动态确定了聚类数K值和初始聚类中心值。

例如，粗定位得到带有车牌的候选区域大小为244像素×26像素，经过步骤1）－6）处理后，得到聚类数目和K个初始聚类中心点：再从这5个初始聚类中心出发，运用k-means算法得到的聚类效果如图6所示，5个聚类区域分别用5种颜色标记。

由图6可知黄色标记区为要提取的目标区域。

按外接矩形提取区域后得到精确的车牌区域（如图7（a）所示）和伪区域（如图7（b）所示）。

1.5 车牌筛选
精定位能得到精确的车牌区域，但干扰性强的伪区域也较多，直接进行字符分割和识别效率不高，所以高效筛选车牌区域和剔除伪区域是必要的。

车牌有特定的句法特征，它由7个字符组成，每个字符的高度和宽度都相等。

故本文首先结合全局阈值法和局部阈值法提出一种改进的自适应二值化算法，使之能够对复杂背景中定位得到的各区域，特别是车牌区域，准确二值化（如图8（a）、（b）所示）。

选取二值图中的连通区域，满足车牌句法特征，则为车牌区域；否则为伪区域。

剔除伪区域后就得到有效精确定位的车牌（如图8（b）所示）。

本文算法在2.0GHz CPU，1G内存，Win XP系统平台下实现，采用VC＋＋6.0和Matlab.R2008b联合编程。

为了验证其有效性和准确率，分别对某收费站视频中获取的1130张低质量图像（图像分辨率为720像素×288像素，车牌分辨率低于120像素×40像素，光照条件差）和相机采集的104张高质量图像（图像为1
600像素×1 200像素，车牌分辨率高于300像素×100像素，光照条件较好）进行实验。

实验结果如表1所示，对于这些低质量图像的平均定位准确率达到
99.646%，每张平均定位时间为0.179s；对于高质量图像的平均定位准确率达到98.077%（样本量较少），每张平均定位时间为0.921s。

已有基于纹理的定位算法［7］，虽然剔除伪区域效果很好，但无法将纹理相似的广告文字和距离过近的车灯与车牌分离（如图 9（b）、（d）所示）；基于定量
颜色范围的定位算法［15］虽然适应不同光照条件下的车牌，但稳定性和鲁棒性
不强，车牌和车身同色时定位不精确（如图9（f）所示），车牌颜色变化模糊时
无法定位。

不同算法定位效果对比如图9所示，不同算法准确率对比如表2所示。

比较可知本文算法准确率高，且具有很强的稳定性和鲁棒性。

图1各具有强干扰
的车牌图像都能准确定位（如图10（a）所示）。

从复杂背景图像中定位得到的各种蓝色、黄色与白色车牌（如图10（b）所示），可以很直观地反映这些蓝色与
黄色存在很大色差，难以量化定义。

本文利用车牌纹理特征和颜色空间聚类相结合，提出了一种创新的车牌定位算法，有效地解决了目前定位算法，如车牌垂直投影、定义颜色范围等，在复杂背景中鲁棒性差、量化不准确等问题。

实验数据表明本文车牌定位结果精确且稳定，在处理复杂背景中的车牌图像时具有很高的鲁棒性和自适应性。

本文算法结合了车牌纹理和颜色特征，复杂度较高，而且k-means聚类算法是一种迭代式的算法，当数据量大时，算法的时间开销较大，所以如何改进算法高效定位车牌是待研究的。

【相关文献】
［1］Qian Gao，XinnianWang，Gongfu Xie.License Plate Recognition Based On Prior Knowledge［C］／／Proceedings of the IEEE International Conference on Automation and Logistics August18-21，2007：2964-2968.
［2］Roomi SM M，Anitha M，BhargaviR.Accurate License Plate Localization
［C］.Communication and Electrical Technology，International Conference on 2011：92-97.
［3］Nathan V S L，Ramkumar J，Kamakshi Priya S.New approaches for license plate recognition system［C］.Intelligent Sensing and Information Processing，
2004.Proceedings of International Conference on 2004：149-152.
［4］Kwa nicka H，Wawrzyniak B.License plate localization and recognition in camera pictures［J］.Artificial Intelligence Methods.2002，11：13-15.
［5］Wenjing Jia，Huaifeng Zhang，Xiangjian He.Region-based license plate detection ［J］.Journal of Network and Computer Applications.2007，30：1324-1333.
［6］杨卫平，李吉成，沈振康.车牌目标的自动定位技术［J］.中国图象图形学报：A版，2002，
7（8）：835-839.
［7］刘漾，吴成东，樊玉泉，等.复杂背景图像中的车牌定位算法［J］.中国图象图形学报，2010，15（9）：1357-1362.
［8］ARAúJO V P D，Maia R D，D’Angelo N F SV，et al.Automatic Plate Detection Using Genetic Algorithm［C］.Speech and Image Processing.2006：43-48.
［9］刘广起，郑晓势，张晓波.基于图像纹理特征提取的车牌定位算法［J］.中国图象图形学报，2005，10（11）：1419-1422.
［10］Yuhrau Wang，Wehung Lin，Shijinn Horng.A slidingwindow technique for efficient license plate localization based on discrete wavelet transform［J］.Expert Systems with Applications.2011，38：3142-3146.
［11］王义兴，黄凤岗，韩金玉，等.基于颜色搭配与纹理特征的车牌定位方法［J］.中国图象图形学报，2009，14（2）：303-308.
［12］Vahid Abolghasemi，Alireza Ahmadyfard.An edge-based color-aided method for license plate detection［J］.Image and Vision Computing，2009，27：1134-1142.
［13］樊孝宏，戚飞虎.一种基于纹理和颜色综合特征的车牌定位新方法［J］.计算机工程，2004，30（13）：125-127.
［14］聂洪印，周卫东，刘辉.多颜色模型和综合特征下的车牌定位新方法［J］.计算机工程与应用，2010，46（12）：221-223.
［15］郑成勇.一种RGB颜色空间中的车牌定位新方法［J］.中国图象图形学报，2010，15（11）：1623-1328.
［16］邓小玖，肖苏.光场衍射的量子理论［J］.量子光学学报，2001，7（1）：12-13.
［17］汪中，刘贵全，陈恩红.一种优化初始中心点的K-means算法［J］.模式识别与人工智能，2009，22（2）：299-304.
［18］刘艳丽，刘希云.一种基于密度的K-均值算法［J］.计算机工程与应用，2007，43（32）：153-155.
［19］傅德胜，周辰.基于密度的改进K均值算法及实现［J］.计算机应用，2011，31（2）：432-434.。