【方法】车牌自动识别系统中字符分割方法研究

【关键字】方法
1 绪论
1.1问题的提出和研究背景
车辆牌自动识别(Automated License Plate Recognition,ALPR)技术作为交通管理自动化的重要手段，其任务是分析、处理汽车监控图像，自动识别汽牌照号，并进行相关智能化数据库管理。

ALPR 系统可以广泛应用于高速公路电子收费站、出入控制、公路流量监控、失窃车辆查询、停车场车辆管理、公路稽查入监测黑牌机动车、监控违章车辆的电子警察等需要牌照认证的重要场合。

尤其在高速公路收费系统中，实现不停车收费技术可提高公路系统的运行效率。

人们一般将车牌识别系统划分为三大部分[1],首先将车牌从经过预处理的图像中定位出来,然后对车牌中的字符进行准确的切分,最后对分割好的字符进行识别"如何从复杂图像中将待识别的信息进行准确有效的定位与分割就是自动识别的关键
1.2 ALPR系统简介
车辆牌自动识别系统，总体来说是图像处理技术与牌照本身特点的有机结合，也包括小波分析、神经网络、数学形态学、模糊理论等数学知识的有效运用。

一个车牌自动识别系统基本包括:图像预处理、牌照定位、牌照校正、牌照字符分割、字符识别及结果输出等。

图1-1为系统的流程框图：
图1-1 车辆牌照自动识别流程
1.3 ALPR关键技术：
1.图像采集：
用一个摄像机摄取车辆前视图或后视图。

2.图像处理：
对采集到的图像进行增强，恢复，变换。

目的是突出车牌的特征，以便更好的提取车牌。

3.车牌定位：
在采样的图像中找到车牌的位置。

4.车牌字符分割：
对获得的车牌分离出单个字符（包括汉字、字母和数字等）
5.字符识别：对分割得到的字符进行归一化处理，转化为文本存入到数据库或直接显示出来。

由此可见，车牌识别系统在硬件上一般包含一台PC机，摄像头，图像采集设备，相应的图像处理软件，以及汽车到来的检测装置。

1.4国内外研究现状和发展趋势
牌照识别技术自1988年以来，人们就对它进行了广泛的研究，目前国内外己经有众多的算法，一些实用的ALPR技术也开始用于车流监控、出入控制、电子收费、移动稽查等场合。

然而，无论是ALPR算法还是ALPR产品几乎都存在一定的局限性，都需要适应新的要求而不断完善，以适应全天候复杂环境的要求。

图象识别是车牌自动识别系统中的关键环节。

图象识别子系统的性能好坏决定了整个系统的性能好坏。

图象识别子系统包含车牌图象的定位和字符分割与车牌字符识别两部分。

车牌图象定位和分割算法从大量的图象数据中取出仅有车牌字符图象给神经网络识别和分类。

由于车牌字符识别有成熟的OCR算法，使得定位和分割算法的优劣尤为重要。

它影响着整个系统的实时性能、正确性能及其鲁棒性。

我查看了许多文献和资料，以期获得是否有好的问题处理方法和启发。

但由于自然光下车牌图像定位的研究是针对一种实际应用—单位出入车辆管理，其车牌自动系统对实时性、鲁棒性和正确性能的要求都较高：系统在一秒内做出响应；能在各种光照条件下工作；尽量减少拒识率。

因为它是一特
定应用领域的图像识别问题，许多文献和资料提供的处理方法都有一定的局限性。

这些方法简介如下：文献[2]介绍了一种利用中值滤波[3]和直方图均衡化处理技术[4]进行图像预处理，然后进行边缘检测和边缘跟踪，得到车型特征。

此方法适合大范围目标图像拓扑结构的识别。

文献[5]的处理方法是首先提高目标图像的灰度层次，并进行局部滤波，消除噪声干扰和加强细胞边缘轮廓，其二值化闺值通过内插的方法得到。

图像分析采用了形状解析，用以对细胞记数。

此方法适合对多个同类目标图像粗略分割。

文献[6]采用了基于对边缘图像进行形态学运算的分割方法，然而单纯的火车车厢背景和一定严格条件下的图像获取手段是图像分割识别的前提。

文献[7]通过全局二值化闽值与图像明暗度的关系来获得全局二值化阂值。

但其研究的具体对象—票据中的字符背景也较单纯。

文献[8]介绍了一种投影字符分割的方法。

它适合实验室条件下光学字符识别（OCR）。

文献[9]提出了一种快速一维投影模板匹配的算法，对二维的目标图像先进行一维投影，再进行匹配识别。

它适合与背景简单、目标与背景的反差大的情况。

文献[10]介绍了一种从信封上快速定位地址块和邮政号码的方法。

而信封的光照条件可以人为控制，并且信封的背景简单，使得高频滤波的分割方法有好的效果。

由于以上方法的局限性，自行开发定位算法和字符切割算法来解决处理这一特定问题，这也是我们进行在自然光下车牌图像定位和字符分割研究的目的。

车牌图像定位和分割算法的研究意义不仅在于解决针对车牌识别系统这一特别的应用对象，它还提供了在复杂图像中进行图像识别的研究思路。

由此可知，ALPR主要分为两大关键技术:一是牌照的定位;二是牌照字符的分割以及识别。

论文研究的内容集中在牌照字符分割以及识别，以下就所研究的内容的当前现状和发展趋势分别阐述。

牌照定位技术研究现状及发展趋势
牌照定位的方法多种多样，它可以是先前方法的改进，也可以是独辟蹊径的创新，也可以是新老方法的结合。

但总的来说，牌照的定位依据主要是牌照区别于背景的各种特征。

如纹理特征、能量特征、几何形状特征、色彩特征、或者多种综合特征等等。

以下分类对各种方法加以介绍:
1.利用牌照纹理特征的定位方法
车辆牌照由于含有若干排列有序的字符，在图像内往往形成明显区别于背景的纹理特征。

一般表现为牌照区域灰度的有规律的频繁跳变。

根据这种特征，J.Barroso噢等提出的基于水平线搜寻的定位方法[11];Charl Coetzee提出了基于Niblack二值化算法及自适应边界搜索算法的定位方法[12].国内一些文献提出了基于牌照文字变化特征的自动扫描识别方法[13][14 ]；
2.利用牌照几何形态特征的定位方法
车辆牌照外形都为规则的矩形，有固定的长宽比，同时有明显的矩形边框。

一些文献提出了在图像中搜索满足一定条件矩形的方法来定位牌照，如基于样本线搜索和霍夫变换的区域定位方法[15]；
3.利用牌照能量特征的定位方法
牌照的能量特征实际上是牌照纹理特征在频域内的一种另一种表现。

该方法主要根据牌照在水平方向上能量高且集中的特点，在图像的频域内进行低通滤波处理来寻找牌照。

如R.Parisi等提出的基于DFT变换的频域分析方法[16];文献[17]提出的基于自适应能量滤波的快速牌照定位方法；
4.利用牌照色彩特征的定位方法
对于国内的标准车辆牌照，它们都具有固定的底色及字符颜色。

通过在一定色彩模型中对图像的色彩信息进行分析.可以设计有效的方法对彩色图像中的牌照进行分割提取。

文献[18]提出了一种采用色彩分割及多级混合集成分类器的牌照自动识别方法;文献[19]提出了一种彩色边缘检测算子ColorPrewitt和彩色边缘检测与区域生长相结合的牌照定位方法;
利用牌照综合特征的定位方法
5.利用牌照综合特征的定位方法
对两种或两种以上的牌照特征加以综合考虑及利用，可以很大程度上避免因背景复杂造成目标区域过多，从而引起定位失败的情况。

这种方法一般先利用牌照的某种特征进行初定位处理:再在初定位基础上根据另一种或多种特征进行伪牌照的逐步过滤，以达到正确定位的目的。

例如文献[20]提出的基于颜色和纹理分析的牌照分析牌照定位方法:文献[21]提出的基于纹理和几何特征的牌照定位方法等;
上述方法中，利用牌照的个别特征来研究牌照的定位与识别，具有很大的针对性和局限性。

当背景出现与牌照特征基本符合的情况下往往会搜索出多个目标，干扰了正确牌照的定位;利用牌照的综合特征进行定位，理论上讲可以将牌照定位的准确率提高到较为理想的程度。

但由于牌照识别系统大多是利用摄像机室外拍摄汽车图像，往往存在许多客观因素的干扰，如天气、背景、牌照磨损、牌照图像倾斜等。

为了在各种条件下都有较理想的定位准确率，多个特征的适当选取是个关键的因素。

目前提出的基于综合特征的定位方法中，对复杂背景的适应性仍然有待提高。

例如文献[20]在初始色彩分割后通过纹理投影来定位牌照，忽略了牌照的几何形态特征，在背景纹理复杂时容易对非牌照区域产生错误定位，或容易定位出过大的牌照区域;文献[21]忽略了牌照的颜色特征，同样在背景纹理复杂情况下对非牌照区域产生错误定位。

除了保证定位的准确性，整个系统的实现复杂度和实时性能也要加以综合权衡考虑。

因此寻找一种适应性和准确性更好的定位方法仍然是我们研究的重要目标。

由于利用牌照的综合特征进行牌照定位能够有效地消除各种客观因素对定位造成的干扰，使定位准确率得到显著提高，因此基于综合特征的牌照定位方法将是未来研究的主要发展方向。

此外，数学形态学、神经网络、小波分析和变换、遗传算法、模糊理论等各种图像处理技术和数学工具在新方法中的应用也是将来研究的热点。

牌照字符的分割包括牌照图像的预处理技术及预处理后的字符切分技术。

总的来说牌照字符分割包括牌照图像的二值化算法、倾斜牌照的(水平及笔直)角度校正、非牌照区域的过滤、牌照内非牌照字符区域的过滤、牌照字符的切分以及伪牌照字符的过滤等技术。

目前对牌照字符分割技术的研究主要集中在牌照图像的二值化算法、倾斜牌照的笔直角度校正及牌照字符的切分技术上：
1.对于牌照图像的二值化算法，文献[22]提出了一种基于空间分布的最大类间方差牌照图像二值化算法，对各种灰度变化较大的牌照图像有比较好的效果，并有很快的运算速度;文献[23]提出了一种应用简单统计法及Robert边缘检测算子的二值化方法;文献[24]提出了一种二维Otsu 自动阀值分割法。

这些方法对不良状况的牌照图像都有较好的适应性，可以应用于实用的牌照定位系统中去。

2.对于牌照的倾斜角度校正，许多文献采用了Hough检测方法及其改进方法来计算牌照的倾斜角度[23]。

这类方法需要借助牌照的上下及左右边框在边缘检测图中形成的边缘来拟合近似直线，从而得到牌照的倾斜角度。

但在很多情况下由于牌照边框的残缺或根本无法检测到牌照边框，该方法容易失去效果。

并且牌照的笔直边框几何尺度过小，在边框清晰的情况下，也容易计算出误差较大的倾斜角度。

3.对于牌照的字符切分，使用得比较普遍的是基于笔直投影的方法来分割各个字符。

由于牌照字符间都存在一定间隙，对牌照图像做笔直投影时会产生连续的波峰和波谷，分割时只需要寻找正确的波谷位置即可。

但这种方法对牌照的预处理要求比较高，要求做字符切分前基本消除字符的角度倾斜，且不能有牌照上下边框的干扰。

另一种方法是基于连通域分割的方法[25]，该方法分割的依据是牌照内大部分的字符二值化后都形成一个独立的连通域，寻找到单个连通域的最小外接矩形就完成了对该字符的分割。

对一个字符含有一个以上连通体的情况(比如多部首的汉字或分裂的字母数字等)，则可以通过分析牌照字符宽度比例来对各部分进行聚类来分割。

该方法实际上是连通域分析方法和牌照字符固定比例宽度分析的一种结合方法。

对定位出的不良状态(例如牌照倾斜或存在非牌照的干扰区域)牌照进行细致的预处理及对字符进行正确切分，能为后续字符识别提供良好的前提条件。

但目前提出的各种预处理方法对于牌照的倾斜校正及干扰区域过滤往往效果不佳，加大了字符分割的难度，
并且分割出的字符通常都存在较大的几何形变。

针对这些情况，进一步寻找更加精确的处理方法仍然是论文研究的目标。

目前对牌照各种不规则几何变形(例如广角镜头引起的鱼眼变形)的恢复研究还处于比较初级的阶段角度的不确定性，对这些有关方面的文献不多。

牌照图像由于拍摄时距不规则的形变不易找到一个适应性好的校正法，而这些形变对后续字符的切分和识别也有着严重的影响，这也是将来牌离法照识别系统一个重要的研究课题。

1.5论文研究的主要内容与方法
在本项目牌照自动识别系统中，主要研究以下几个关键技术问题，并对每个问题提出至少一种可靠实用的方法:
1.图像预处理:对动态采集到的图像进行灰度化以及图象对比度增强处理，以克服在非理想光照下引起的对比度过大或过小对图像有效信息的影响，改善定位效果。

2.牌照定位:包括牌照区域初步检测粗定位及牌照位置的精确定位两个步骤。

本文采用窗口扫描，模板匹配的思想。

3.牌照字符分割:包括牌照预处理和字符切分两个步骤。

预处理阶段又包括车牌图象二值化处理及倾斜角度的校正；基于非字符区域边框过滤以及基于二值图像水平投影过滤牌照上下边框及铆钉几个步骤。

在字符切分时，利用垂直投影法进初步分割，再根据单个字符和整体牌照的几何尺度关系，来剔除非字符部分、消除字符间粘连及汉字的过度分割等情况，以保证切分的字符准确可靠。

2 车牌定位系统
2.1车牌特征信息分析
机动车牌照作为机动车的“身份证”，制造和使用都有严格的规范加以明确规定。

根据中华人民共和国公共安全行业标准GA36-92，汽车车牌有10种。

这10种汽车车牌的几何外形大小和颜色信息如表2-1所示(军、警车牌这里暂时不考虑)。

表2－1 汽车牌照标准
对前8种常见的车牌的颜色分布和格局分布进行分析，可得出以下结论：
1.共存在5种颜色：黄色、黑色、蓝色、白色和红色。

2.存在5种前景和背景的组合：黄底黑字黑框线、蓝底白字白框线、黑底白字白框线、红底红字红框线和黑底红字红框线。

3.字符颜色与背景颜色亮度相差很大：要么亮度高于背景颜色的亮度，要么字符颜色低于背景颜色亮度。

4.牌照上的文字由7个字符和一个分割符横向水平排列组成。

5.字符和字符之间或字符和分割符之间的距离为12mm 。

6.观测和分析车牌的外型特点，无论哪种车牌外轮廓都有一个宽度不大的轮廓线。

无论是车牌的定位算法还是车牌的分割算法，利用以上的特点都是算法的核心。

2.2 原始图像预处理
以摄像头采集的图像以BMP 格式存储到微机，为了方便车牌的定位、分割和识别，原始图像应具有适当的亮度，较大的对比度和清晰可辩的牌照图像。

由于系统的图像采集部分工作于开放的户外环境，加之车牌的整洁度、自然光条件、车辆行驶速度的影响，车牌图像可能出现模糊、歪斜和缺损等严重缺陷，因此要对原始图像进行预处理。

除了少数文献[26]提出可用色彩信息帮助对牌照的检测和分割外，考虑到图像文件的存储量和处理图像要占用系统的大量资源，绝大多数牌照识别系统均采用不含彩色信息的灰度图像，即图像中每个象素仅由一个8位字节表示该象素的亮度值因而会度图像是是具有256个灰度级的黑白图像，便于以后的图像二值化，处理运算量大大减少。

数字图像分为彩色图像和灰度图像。

在RGB 模型中，如果R=G=B ，则颜色表示一种灰度颜色，其中R=G=B 的值叫做灰度值.由彩色转换为灰度的过程叫做灰度化处理。

灰度图像就是只有强度信息，而没有颜色信息的图像，存储灰度图像只需要一个数据矩阵，矩阵的每个元素表示对应位置的像素的灰度值。

彩色图像的象素色为RGB( R,G , B)，灰度图像的象素色为RGB( r, r, r) , R ,G, B 可由彩色图像的颜色分解获得.而R, G, B 的取值范围是0-255,所以灰度的级别只有256级。

灰度化的处理方法主要有如下三种:
1.最大值法:使R.G ,B 的值等于三值中最大的一个，即
R=G=B=max(R,G ,B) （2-1）
2.平均值法：使R.G ,B 的值等于三值和的平均值，即
R=G=B=3
B G R ++ （2-2） 3.加权平均值法:根据重要性或其它指标给R,G ,B 赋予不同的权值，并使
R, G, B 等于它们值的加权平均值，即 R=G=B=3
B W G W R W B G R ++ （2-3） 其中 B G R W W W ,,分别为R,G ,B 的权值。

由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，当WR =0.30,G W =0.59,WB =0.11时，能得到最合理的灰度图像。

采用此种方法进行会度化处理的结果如下：
图2-1 牌照会度图像
2.2.2 图像对比度增强
车牌识别系统是全天候的工作性质，若无理想的补充光照明。

自然光照度昼夜变化会引起牌照图像对比度的严重不足，使图像中牌照字符分辨不清，甚至根本无法定位和分割，更无法识别。

因此，研究者们提出各种要效的增强图像对比度的方法，如灰度线性变换、线性滤波器、直方图修整法等。

有文献[23]采用了图像灰度拉伸的方法有效的增强了图像的对比度。

增强后的图像中字符清晰、区域分明，便于图像二值化和字符分割处理。

还有文献[15]采用了一种简便有效的线性滤波器进行图像中
字符特征的增强，得到一个亮度明显高于背景的牌照字符区域，经进一部的定位处理就很容易确定其具体位置。

可见，图像对比度增强无论对牌照图像的可辩识度度的改善，还是简化后续的牌照定位和分割的难度都是必要的。

如果造成图像对比度不足的原因为：
1被摄像物的远近不同，使得图像中央区域和边缘区域灰度失衡；
2摄像头扫描时各点的灵敏度有较大的差异而产生图像灰度失真；
3成像时暴光不足或过度而使得图像的灰度变化范围太窄；
4自然光线的差异；
这时如将图像灰度线性扩展，常能显著改善图像质量，达到图像增强的对比度和分辨率。

图2-2 灰度图像及其直方图图2-3 对比度增强后的灰度图像及其直方图如图2-3经对比度增强后图像的细节更加清楚了，各灰度等级的比例更加平衡，改善了图象的质量。

2.2.3 图像中值滤波
为了抑制噪声，通常会采用低通滤波，但由于边缘轮廓也包含有大量的高频信息，所以低通滤波在过滤噪声的同时，也使得边界变的模糊。

反之，低通滤波后为了提伸边缘轮廓，还需要使用高通滤波。

这时存在的噪声也会加强，为了在过滤噪声的同时，还能很好的保护边缘轮廓信息，本文采用中值滤波。

中值滤波方法是一种非线性的图像平滑方法，其原理非常简单，用一个滑动窗口W在图像上进行扫描，把窗口内包含的象素按灰度级升序排列起来，灰度级居中的灰度为窗口中心象素灰度，用公式表示：
g(m,n)=Median{(m-k,n-1),(k,1) W} （2-4）实验中采用的中值滤波窗口为3×3的矩形窗口，结果表明通过中值滤波可以很好的消除孤立噪声点干扰。

重要的是使用这种中值滤波，除有效的消除噪声外，还可以有效的保护边界信息。

边缘是图像最基本的特征。

边缘检测在计算机视觉、图像分析等应用中起着重要的作用，是图像分析与识别的重要环节，这是因为子图像的边缘包含了用于识别的有用信息。

所以边缘检测是图像分析和模式识别的主要特征提取手段。

所谓边缘是指其周围像素灰度呈后阶变化或屋顶状变化的那些像素的集合，它存在于目标与背景、目标与目标、区域与区域，基元与基元之间.因此它是图像分割所依赖的重要的特征，也是纹理特征的重要信息源和形状特征的基础;而图像的纹理形状特征的提取又常常依赖于图像分割。

图像的边缘提取也是图像匹配的基础，因为它是位置的标志，对灰度的变化不敏感，它可作为匹配的特征点。

图像的其他特征都是由边缘和区域这些基本特征推导出来的、边缘具有方向和幅度两个特征。

沿边缘走向，像素值变化比较平缓;而垂直与边缘走向，则像素值变化比较剧烈。

而这种剧烈可能呈现阶跃状，也可能呈现斜坡状。

边缘上像素值的一阶导数较大:二阶导数在边缘处值为零，呈现零交叉。

经典的、最简单的边缘检测方法是对原始图像按像素的某邻域构造边缘算子。

由于原始图像往往含有噪声，而边缘和噪声在空间域表现为灰度有比较大的起落;在频域则反应为同是高频分量，这就给边缘检测带来困难。

Mary和Hildreth提出的零交叉边缘检测是一种十分有效的方法，他们认为:
其一，图像强度的突变将在一阶导数中产生一个峰或等价于二阶导数中产生一个零交叉(Zero-Crossing);其二，图像中的强度变化是以不同的尺度出现的，故应该用若干大小不同的算子才能取得良好的检测效果。

鉴于边缘检测技术的重要性，在此我们有必要对边缘检测技术进行讨论。

常见的边缘检算子有梯度算子、Roberts算子、Laplace算子、Kirsch算子、Sobel算子、Prewitt算子等。

1.Roberts 算子
Roberts 算子是一种利用局部差分算子的寻找边缘的算子，它由下试给出：
2/12
2})]1,(),1([]),1(),({[),(+-+++-=y x f y x f y x f y x f y x g （2-5） Roberts 算子边缘定位准确，但是对噪声敏感，使用于边缘明显而噪声较少的图像分割。

其摸板为：
0 1 1 0
-1 0 0 -1 （2-6）
2.Prewitt 算子
Prewitt 算子对噪声有抑制作用抑制噪声的原理是通过象素平均。

但是象素平均相当于对图像的低通滤波，所以Roberts 算子定位不如Roberts 算子。

其摸板为：
-1 0 1 -1 -1 -1
-1 0 1 0 0 0
-1 0 1 1 1 1 （2-7）
3.Sobel 算子
下面两个摸版所示卷积形成了Sobel 边缘算子。

图像中每个点都用这两个核做卷积。

一个核对通常的垂直边缘影响最大而另一个核对水平边缘影响最大。

两个卷积的最大值作为该点的输出值。

运算结果是一副边缘幅度图像。

Roberts 算子和Prewitt 算子都是加权平均，但是.Sobel 算子认为，领域的象素对当前象素的影响不是等价的，所以距离图像的象素具有不同的权值。

对算子结果产生的影响也不同。

一般来说，距离越大，产生的影响越小。

其摸板为：
-1 -2 -1 -1 0 1
0 0 0 -2 0 2
1 2 1 -1 0 1 （2-8）
place 算子
22222
),(y f x f y x f ∂∂+∂∂=∇ （2-9） 写成摸板形式就是：[1，-2，1]
对同一副车牌图像采用不同的边缘算子进行边缘检测的效果图如下：
a b c
d e
图2-4 边缘检测效果图
a 是原始图像
b 采用Laplace 算子
c 采用Roberts 算子
d 采用.Prewit t 算子
e 采用Sobel 算子
2.3 车牌图像区域定位
为了在一副含有复杂背景的图像中找到车牌，本文采用窗口扫描，模板匹配的思想。

一般的模板匹配，即拿已知的模板，和原图像中同样大小的一块区域去去比较。

最开始时模板的左上角点和图像的左上角点是重合的，使用摸板和原图像中同样大小的区域比较，然后进行平移，逐象素进行，差别最小的区域即为所求区域。

这里，把模板匹配的概念应用到车牌定位算法中，是一种模糊匹配。

所谓模糊，模板并不是一个具体的车牌，而是经过上述一系列处理后的所有车牌子图像所具有的独一无二的统计特性，即车牌区域边缘丰富，并且在竖直方向上连通。

该部分是整个车牌算法的核心，具体描述如下：。