车牌倾斜校正研究综述

车牌倾斜校正研究综述
摘要：作为智能交通系统的核心技术之一，基于机器视觉的车牌识别一直受到广泛的关注。

对车牌图像进行倾斜校正是车牌识别的重要步骤，其目的是解决拍摄角度随机性对识别过程的影响。

该文将现有倾斜校正方法划分为直线检测、投影最值、角点检测、主方向分析四类，首先介绍了它们的研究成果，然后剖析了它们在鲁棒性方面存在不足的原因，展望了下一步的研究方向。

关键词：智能交通车牌识别倾斜校正
Abstract：License plate recognition based on machine vision，one of the key technologies of intelligent transportation system，has been paid much attention to. Tilt correction for license plate image plays an important role in license plate recognition and its aim is to weaken the influence of capture angle randomness to recognition process. In this paper，tilt correction methods are divided into four types：line detection，projection maximum or minimum，corner detection and principal orientation analysis. After introducing research achievements of these methods，we analyze the causes of shortages related their robustness and look into the development trends of tilt correction.
Key words：Intelligent transportation system license plate recognition tilt correction
基于机器视觉的车牌识别是智能交通系统的核心技术之一，可广泛应用于高速公路自助缴费、城市交通监控、违章或犯罪监控以及智能停车场管理等方面，它主要包括图像获取、车牌定位、倾斜校正、字符分隔、字符识别五个部分。

由于车牌的悬挂位置、车辆的位置以及摄像机的安装位置存在相对的不确定性，对车牌的拍摄角度具有一定的随机性，导致定位后提取的车牌图像中字符不可避免地存在某种程度的倾斜，不利于下一步的字符分割，进而影响后续的字符识别率，因此需要在车牌定位和字符分割之间进行车牌的倾斜校正。

该文首先分类介绍了现有倾斜校正方法的研究成果，然后剖析了这些研究的不足之处及其原因，展望了倾斜校正的下一步研究方向。

1 直线检测法
车牌具有两组平行边框，尤其是上下边框较长，水平边缘呈两条平行的直线，当车牌倾斜时，两平行线与水平方向的夹角即可看作车牌的倾斜角度。

Hough[1-4]和Radom[5-7]变换经常被用来检测车牌区域的两条最长的平行线，从而根据它们与水平方向的夹角实现倾斜校正。

这两条平行线所在的方向使得Hough或Radom变换累加器取得最大值，直接在车牌区域的边缘图像中检测该最大值对应的直线即是Hough、Radom直线检测法的常用形式。

然而，这两种变换计算量大，导致执行时间急剧上升。

芮挺等针对传统Hough直线检测法实时性差的特点，提出一种改进算法。

他们首先通过数学形态学处理和轮廓跟踪去除与校正无关的冗余信息，仅保留边框的轮廓；然后，采用一
种Hough变换倾斜角分级检测的策略，将角检测精度到从1?°过度到0.1?°，大幅降低检测次数。

实验证明：改进方法的校正时间约为传统Hough直线检测法的十分之一左右，在23～27?ms之间（AMD Athlon-800 CPU，128?M RAM，VC++6.0）。

同样地，这种改进也适用于Radom直线检测法。

事实上，车牌的边框特征很不稳定，很多情况下边框并不明显，或是残缺不全，因此Hough、Radom直线检测法的鲁棒性较差。

2 投影最值法
车牌在倾斜方向上的投影具有特殊的最值现象，通过查找该最值对应的旋转角度即可确定车牌的倾斜角，这种方法叫做投影最值法[8-13]。

吴成东等按一定的角度旋转车牌图像，并得到相应的水平差分投影；然后，利用Fisher判别准则获得最优水平切割。

当切割后的水平差分投影均值最大时，对应的旋转角度即为车牌的倾斜角度。

采用类似的坐标轴投影方法，王枚等通过字符投影的最小距离以及J.B.Jiao等通过有效投影线段的最小数目获得车牌的倾斜角度。

区别于上述向坐标轴投影的方法，陈振学指出：在倾斜方向上投影像素值的累积平方合是最大的，可以将倾斜车牌向各个方向投影，同时计算投影区域的像素值累积平方和，其中最大值对应的方向就是车牌倾斜的方向。

利用230个倾斜车牌进了测试，该方法取得了96.1%的校正准确率。

此外，为了克服传统投影最值法不断变换角度引起计算量显著增大的缺点，吴一全等[9]将旋转后车牌图像的垂直边缘向水平方
向投影，然后导出边缘点投影方差最小时旋转角度的闭合表达式，由此直接确定车牌的倾斜角度。

利用50幅图像在MATLAB6.5平台上进行了多种校正方法的比较实验，结果表明：该方法在校正精度和实时性方面具有较大的优势，尤其是执行时间较Hough直线检测法和传统的投影最值法分别低了1和2个数量级，平均校正误差约为0.338?°，平均执行时间约为4.5?ms（P4 2.8?G CPU，512?M）。

而且，他们还进一步利用粒子群优化算法讨论了投影p次方差对校正精度和执行时间的影响，实验结果表明：p=2时运算速度最快，p→∞时校正精度最高[13]。

3 角点检测法
车牌区域的角点与其倾斜角度存在着一定联系，通过定量描述这种联系可以确定倾斜角度，这种方法称为角点检测法[14-15]。

张美多等试图通过检测车牌边框的四个角点来实现倾斜校正。

为了降低运算量和分析难度，他们将检测区域限定在车牌四个顶点处的矩形区域内，并设定该区域的长和宽分别为整个车牌区域长度的1/10和宽度的1/4。

然后，利用Harris算法检测出符合要求的角点，并进一步根据内角点的特征进行滤噪，最终获取车牌边框的四个角点。

该方法不仅可以同时实现水平和垂直方向的倾斜校正，还为字符分割提供了较好的依据，然而依赖于清晰的边框特征也是其最大的缺点。

吴一全等提出一种角点惯性主轴的校正方法，避免了这个缺点。

他们利用改进的Harris算法检测车牌字符的角点，然后将这些角点惯性主轴的方向
定为车牌的倾斜方向。

角点的惯性主轴是指过这些角点的质心且惯性矩最小的那条直线，而在所有过角点质心的直线中，只有其倾斜角度与车牌倾斜方向一致时，对应的惯性矩才最小，所以角点的惯性主轴方向即是车牌的倾斜方向。

利用50幅图像在MATLAB7.0进行了多种校正方法的对比实验，结果表明：该方法在校正精度、准确率、实时性方面明显好于Hough直线检测法和传统的投影最值法，平均校正误差约为0.335?°，校正准确率达到了92%，平均执行时间为50.8?ms （P4 2.66?G CPU，512?M）。

4 主方向分析法
主方向分析法的基本思想是通过分析边缘点的分布在车牌倾斜方向的特征，然后利用诸如主成分分析、Karhunen-Loeve展开式或图像矩等工具来确定满足该特征的主方向，从而实现倾斜校正[16-18]。

黄骥等提出一种基于颜色对特征点主成分分析（PCA）的车牌水平校正方法。

该方法根据车牌背景与字符交界处的颜色具有固定搭配的特点，首先在原始车牌图像中提取颜色对特征点，并将其视为待分析的样本构建样本特征点的2维散布矩阵；然后，通过主成分分析求出其主成分方向，该方向就是车牌的水平倾斜方向。

利用100幅图像进行了测试，校正准确率达到了97%。

吴一全等将平行于倾斜方向且过某边缘点的直线定义为特征直线。

该直线使得所有边缘点到自己的距离（即边缘点到直线的偏差）的均方和
最小。

求取车牌特征直线的这种方法是基于最小均方误差准则，因此他们采用Karhunen-Loeve展开式来求解。

利用30幅图像在MATLAB6.5平台上进行了对比实验，结果表明：相比Hough直线检测法和传统的投影最值法，该方法校正精度高，实时性好，平均校正误差约为0.338?°，平均执行时间仅为4.5?ms（P4 2.8?G CPU，512?M）。

潘梅森等利用中心矩定义车牌的主轴方向，并以此作为车牌的倾斜方向。

他们以质心为原点求出使得二阶中心矩最小的旋转角度，该角度在原坐标系中的方向即为车牌的主轴方向。

利用矩的旋转不变性，把图像绕质心再反向旋转相应的角度，即可实现水平倾斜校正。

在MATLAB6.5平台上进行了对比实验，结果表明：与Hough、Radom 直线检测法相比，该方法检测精度高，实时性有所提高，平均执行时间约为430?ms。

5 结语
综上所述，现有倾斜校正的方法在校正精度和实时性方面都取得了较大的提高，然而，它们的鲁棒性与实际应用的要求还有较大的差距，严重影响了车牌识别的整体效果。

究其原因主要表现在两个方面。

（1）对车牌的完整性和独立性非常敏感。

事实上，定位过程输出的车牌图像在完整性和独立性方面差别很大，其中少数图像的边
框、字符都十分清晰完整，且非车牌噪声区域的比例较小；大多数图像要么边框或字符残缺，要么非车牌噪声区域的比例较大，甚至兼而有之。

因此，对边框或字符的完整性非常敏感的方法很难运用于实践，如Hough、Radom直线检测法等。

其次，一旦噪声较多，必然干扰角点特征和投影特征，导致角点检测法和投影最值法的准确率和校正精度急剧下降；同时，这些噪声也必将改变车牌字符边缘在倾斜方向上的分布特征，进而影响主方向分析法的校正效果。

（2）几乎不能兼顾水平和垂直方向的倾斜校正。

很多情况下，车牌同时存在水平和垂直方向的倾斜，若仅进行水平倾斜校正必将干扰分割和识别效果。

然而，仅有一些投影最值法和角点检测法可以分别进行两个方向的倾斜校正。

由于垂直边框较短，Hough、Radom直线检测法很难有效地工作。

在垂直方向车牌宽度约为长度的1/5，主方向分析法也很难利用边缘点的分布特征获得主方向。

通过以上分析，下一步的研究方向主要集中在降低倾斜校正过程对车牌完整性和独立性的依赖程度，同时兼顾水平和垂直方向的倾斜校正。

参考文献
[1] 周开军，陈三宝，徐江陵.复杂背景下的车牌定位和字符分割研究[J].计算机工程，2007，33（4）：198-200.
[2] J.M.Guo，Y.F.Liu.License Plate Localization and Character
Segmentation With Feedback Self-Learning and Hybrid Binarization Techniques [J].IEEE Transactions on Vehicular Technology，2008，57（3）：1417-1424.
[3] 曾丽华，李超，熊璋.基于边缘与颜色信息的车牌精确定位算法[J].北京航空航天大学学报，2007，33（9）：1113-1119.
[4] 芮挺，沈春林，张金林.车牌识别中倾斜牌照的快速矫正算法[J].计算机工程，2004，30（13）：122-124.
[5] C.Muhammed，U.Aybars，T.Turhan.Automatic number plate information extraction and recognition for intelligent transportation system [J].The Imaging Science Journal，2007，55（2）：102-113.
[6] Vladimir Shapiro，Georgi Gluhchev，Dimo Dimov.Towards a multinational car license plate recognition system [J].Machine Vision and Applications，2006，17（3）：173-183.
[7] X.C.Zhang，X.Y.Liu，H.Jiang.A Hybrid Approach to License Plate Segmentation under Complex Conditions [C]//Proceedings of the Third ICNC，2007：68-73.
[8] 陈振学.基于特征显著性的目标识别方法及其应用研究[D].华中科技大学，2007.
[9] 吴一全，丁坚.基于边缘点投影方差最小的车牌倾斜校正方
法[J].系统仿真学报，2008，20（21）：5829-5832.
[10] 吴成东，樊玉泉，张云洲，等.基于差分投影与优割字符的车牌字符分割[J].东北大学学报（自然科学版），2008，29（7）：920-923.
[11] 王枚，王国宏.基于字符投影最小距离的车牌校正方法[J].计算机工程，2008，34（6）：216-218.
[12] J.B.Jiao，Q.X.Ye，Q.M.Huang.A configurable method for multi-style license plate recognition [J].Pattern Recognition，2009，42（3）：358-369.
[13] 吴一全，张金矿.基于投影坐标p次方差及粒子群的车牌倾斜检测[J].计算机辅助设计与图形学学报，2010，22（1）：114-120.
[14] 张美多，郭宝龙.车牌识别系统关键技术研究[J].计算机工程，2007，33（16）：186-188.
[15] 吴一全，付晓莉.采用角点信息和惯性主轴的车牌倾斜检测与校正方法[J].工程图学学报，2009，30（6）：127-131.
[16] 潘梅森，郭国强.基于图像矩的车牌号码倾斜校正[J].计算机辅助设计与图形学学报，2007，19（8）：1041-1045.
[17] 吴一全，丁坚.基于K-L展开式的车牌倾斜校正方法[J].仪器仪表学报，2008，29（8）：1690-1694.
[18] 黄骥，吴一全.基于颜色对特征点主成分分析的车牌校正方法[J].中国图象图形学报，2008，13（4）：642-646.。