基于边缘点投影方差最小的车牌倾斜校正方法_吴一全

第20卷第21期
系统仿真学报©V ol. 20 No. 21 2008年11月Journal of System Simulation Nov., 2008 基于边缘点投影方差最小的车牌倾斜校正方法
吴一全, 丁坚
(南京航空航天大学信息科学与技术学院, 江苏南京 210016
摘要:在车牌识别系统中,为提高字符分割和识别的效果,需要对定位后的车牌图像进行倾斜校
正。

提出了一种基于边缘点投影方差最小的车牌倾斜校正方法。

首先将旋转后车牌图像的垂直边缘
向水平方向投影;然后导出边缘点投影方差最小时旋转角度的闭合表达式,由此一步确定车牌的
倾斜角度;最后通过双线性插值方法校正车牌。

给出了实验结果,并与车牌倾斜校正的Hough变换
法、旋转投影法和主成分分析法进行了精确度、算法复杂度及运算时间的比较,结果表明所提出
的方法精确度高、鲁棒性好、实时性强。

通过进一步分析和推广,将车牌倾斜校正方法总结为两
种不同类型的方法,并对它们进行了比较。

关键词:车牌识别;倾斜校正;边缘检测;旋转投影;双线性插值
中图分类号:TP391.41 文献标识码:A 文章编号:1004-731X (2008 21-5829-04
Vehicle License Plate Tilt Correction Approach
Based on Minimum Variance of Edge Projection
WU Yi-quan, DING Jian
(College of Information Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China Abstract: In order to improve the result of character segmentation and recognition, license plate picture after location should be corrected in the license plate recognition system. A license plate tilt correction method was proposed. First, the vertical edge of plate picture after rotation was projected horizontally. Then a closed formula based on the minimum variance of projected point was found out in order to get the tilt angle. Finally, the plate picture was corrected with bilinear interpolation.
The experimental results show highly accurate, robust and real-time. The method was compared with license plate tilt correction methods based on Hough transform, rotation-projection and principal component analysis on precision, complexity and run time. These methods were summarized to two types after further analyzing and generalizing, and they were compared then.
Key words: vehicle license plate recognition; tilt correction; edge detection; rotation-projection; bilinear interpolation
引言
车辆牌照识别是图像处理与模式识别技术在智能交通领域应用的重要课题之一,广泛应用于高速公路自助收费、城市交通控制与监视等领域。

车牌识别技术主要包括车牌定位[1,2]、字符分割、字符识别三个部分。

车牌校正是车牌定位和字符分割之间的一个重要处理过程。

车牌定位后提取出的图像中的车牌不可避免地存在某种程度的倾斜,这种倾斜不仅会给下一步字符分割带来困难,而且还将对后续字符识别的正确率造成直接的影响。

因此,需要在字符分割之前进行车牌的倾斜校正。

目前常用的车牌倾斜校正方法主要有Hough变换法[3-7]、旋转投影法[8-10]、主成分分
析法[11,12]三种。

Hough 变换法先对车牌图像进行多次边缘检测,再由Hough 变换确定车牌边框倾斜角度,以此作为车牌倾斜角度。

但是现实中摄取的车牌图像常因噪声干扰及二值化等原因,使得车牌边框模糊甚至看不到,导致校正效果不理想,且计算量大;旋转投影法通过旋转车牌图像,将边缘点向坐标轴投影,
收稿日期:2007-05-21 修回日期:2007-08-07
作者简介:吴一全(1963-, 男, 江苏启东人, 博士, 副教授;研究方向为图像处理与识别、智能与现代信号处理;丁坚(1982-, 男, 江苏苏州人, 硕士生, 研究方向为车牌识别。

找出每次旋转后投影的最大值,通过比较不同旋转角度投影的最大值,求取倾斜角度进行校正,该方法中最佳倾角的求取是一个寻优过程,要进行多次投影才能逐步逼近最佳倾角,因此计算量很大;主成分分析法通过对边缘点进行主成分分析,可快速求出车牌的主成分方向,从而得到车牌倾斜角度。

在精确度和计算复杂度方面,该方法都优于前两种方法。

本文从旋转投影的思想出发,提出了一种基于边缘点投影方差最小的车牌倾斜校正方法。

与常用的旋转投影法不同,该方法通过导出投影方差最小时旋转角度的闭合表达式,从而一步确定车牌的倾斜角。

它有效克服了Hough变换方法受制于车牌边框而使定位鲁棒性不强的缺点,完全避免了旋转投影法需要不断变更旋转角度使计算量大的缺点。

对100幅普通的倾斜车牌图像和50幅旋转固定角度后的车牌图像进行实验,结果表明该方法是一种精确度高、鲁棒性好、实时性强的车牌倾斜校正方法。

最后通过分析本文提出的方法和上述三种常用方法,将车牌倾斜校正方法总结为两大类:(1基于改变角度后求计数最大的方法;(2基于方差最小的方法,并对这两大类方法进行了比较。

2008年11月系
统仿真学报 Nov., 2008
1 基于边缘点投影方差最小的车牌校正方法
1.1 旋转投影方法
李文举等人提出了一种基于旋转投影的车牌倾斜校正方法[8,9],该方法首先提取车牌图像的水平彩色边缘,然后以水平彩色边缘图像的中心为原点建立两个笛卡尔坐标系x-y 和x’-y’。

通过分析定位检测出的车牌图像可知,车牌区包含了大量的垂直边缘,而车身部分很少出现垂直边缘,因此可以通过垂直边缘的提取突出车牌图像的特征,如图1所示。

(a 倾斜车牌 (b 垂直边缘图
图1 倾斜车牌及其垂直边缘图
由图1可见车牌倾斜角度与车牌垂直边缘图的倾斜角度一致。

若将垂直边缘经旋转后每隔一定角度向水平方向投影,当车牌旋转到水平方向位置时,投影后边缘点的纵坐标值间的方差取所有旋转角度情况下方差的最小值。

设水平投影后边缘点纵坐标为i y ,均值为y ,边缘点
个数为N ,则边缘点投影方差:
221
1(N i i y y N σ==−∑ (1 但是计算式(1的方差最小值并非易事,因为当车牌边缘图像绕原点旋转时投影值i y 和均值y 都随着旋转角度不断
变化,无法通过闭合表达式一步求出方差最小时的旋转角度。

1.2 坐标变换与变换后边缘点投影方差
令边缘检测后的图像中所有边缘点的中心点为x y M(m ,m ,这里,
x 1y 11m 1m N i i N
i
i x N y N ==⎧
=⎪⎪
⎨⎪=⎪⎩
∑∑ (2 其中i x 和i y 分别为边缘点的横坐标和纵坐标。

对车牌边缘图进行坐标变换,将坐标系原点移到M 点,则式(1中的均值y 即变换为0,不随车牌图像旋转而改变。

坐标变换后,原图像中的点(,i i A x y 映射到点
'(,i i A u v ,其中:
i i x
i
i y u x m v y m =−⎧⎨
=−⎩ (3 点(,B u v 为坐标空间中任意一点,其与水平轴的夹角为β,向水平方向投影值即为其纵坐标v 。

将点B 绕中心O
顺时针旋转α角度至点'''(,B u v ,点'B 在水平方向的投影值为'v ,如图2所示,则: 'sin(sin(sin (sin cos sin cos cos sin sin v v r v v u βαβαβ
βααβααβ
−=−=
−==− (4
经过坐标变换和旋转水平投影后边缘点的投影方差可改写为:
221
1(cos sin N
i i i v u N σαα==
−∑ (5
图2 坐标变换
1.3 确定倾斜角的闭合表达式
由前面的推导可知,当边缘点投影方差2σ取最小值时,旋转角度α即为车牌倾斜角度。

为此,对2σ求导,导数为零时的α即为倾斜角度。

21
2(cos sin (sin cos 0N
i i i i i d v u v u d N σααααα==−−−=∑i (6 化简可得:
1221
2tan 2(N
i i
i i i i u v u v α===−∑∑ (7
一般车牌倾斜程度不大,可认为在45±以内,即2α在90±以内,则α可表示为:
12
2
1
21
arctan[
]2
(
N
i i
i i
i i u v u v α===−∑∑ (8
将坐标变换公式(3代入式(8,可得车牌所需旋转的角度,用双线性插值方法对车牌图像进行倾斜校正。

2 实验比较及算法分析目前,车牌倾斜校正方法主要有三种,分别为:(1Hough 变换法、(2旋转投影法、(3主成分分析法。

下面将本文提出的方法与这三种方法的精确度、算法复杂度和运算时间作一比较。

2.1 实验结果的精确度比较
本文首先选取4幅不同拍摄质量且存在倾斜的车牌图像,这4幅图像分别为拍摄质量良好的车牌、有油渍等噪声
污染的车牌、车速过快形成的运动模糊的车牌以及光照不均
匀的车牌。

图3给出了这四种不同拍摄质量的倾斜车牌及采用本文方法校正后的结果。

将其结果分别与Hough 变换法、旋转投影法、主成分分析法进行比较,结果如表1所示。

其
α
β
'B
'v
O
X
v
r
Y
B
2008年11月吴一全, 等:基于边缘点投影方差最小的车牌倾斜校正方法 Nov., 2008
中,角度为正表示车牌逆时针倾斜,反之为顺时针倾斜。

以
本文图1(a中车牌图像为例,由表1可见四种方法得到的校
正角度依次为7º,7º,10.32º,10.11º。

(a 拍摄质量良好的车牌及其校正结果
(b 有油渍等噪声污染的车牌及其校正结果
(c 运动模糊的车牌及其校正结果
(d 光照不均匀的车牌及其校正结果
图3 不同拍摄质量的倾斜车牌及其校正结果表1 不同拍摄质量的车牌校正效果比较Hough
变换法
旋转
投影法
主成分
分析法
本文方法
拍摄良好车牌 7º 7º 10.32º 10.11º
噪声污染车牌 6º 6º 7.90º 7.89º
运动模糊车牌 -7º -7º -5.23º -5.23º
光照不均车牌 8º 8º 8.24º 8.12º
然后选取50幅没有倾斜的车牌图像,用双线性插值方
法将这些图像旋转一个角度,再用上述三种方法及本文方法分别对旋转后的图像进行校正处理,比较检测结果及旋转过的角度,得出各种方法的平均倾斜检测误差,列于表2中。

表2 四种倾斜校正方法的比较
Hough
变换法
旋转投影法
主成分
分析法
本文方法
倾斜检测
误差
1.0104º 0.7680º 0.3402º 0.3377º
计算量
O(M×r+
3×N×M
O(4×M×b+
3×N×M
(8
O N
×(8
O N
×
运算时间 0.722s 0.0753s 0.00454s 0.00448s
2.2 算法复杂度分析与运算时间的比较
Hough变换法的基本思想是将车牌图像的水平边缘点坐标(x,y映射到对应的参数空间中,映射关系式为: cos sin
x y
ρθθ
=+ (9
设边缘点数为N,旋转角度θ从
45~45
−步长为1 ,
即旋转次数M=91,车牌长宽分别为a,b,则对角线长度为
r=。

Hough变换进行每次映射需要两次乘法和一
次加法,计算量为3,计算所有边缘点和旋转角度的计算量为(3
O N M
××,另外求全局最大值的计算量为(
O M r
×,
因此总的计算量为(3
O M r N M
×+××。

旋转投影方法通过旋转坐标轴,计算每次旋转后的边缘
点水平投影的4个最大值之和[4],记为D,最后再对所有D 值进行比较,求出其最大值。

该方法的水平投影公式与本文方法相同,如式(4所示。

每次投影的计算量为3,因此投影的总计算量为(3
O N M
××,计算最大值的计算量约为
(4
O M b
××,因此总的计算量为(4
O M b
××+3
N M
××。

主成分分析方法是将求车牌方向问题转换为求边缘点散布矩阵的特征向量问题。

散布矩阵的表达式为
11
11
((((
((((
N N
i x i x i x i y
i i
N N
i x i y i y i y
i i
x m x m x m y m S
x m y m y m y m ==
==
⎡⎤
−−−−
⎢⎥
⎢⎥
=
⎢⎥
−−−−
⎢⎥
⎣⎦
∑∑
∑∑
2
11
2
11 N N i i i i k N N i i i i i
u u v u v v == == ⎡⎤⎢⎥⎢⎥=
⎢⎥⎢⎥⎣⎦
∑∑
∑∑
(10
其中两个均值计算量均为N,矩阵的第2、3两项相同,只
需计算一次即可,因此散布矩阵总的计算量为(8
O N
×。

2×2
矩阵特征向量的计算量相对于散布矩阵中大量数据求和的计算量而言可忽略不计,因此主成分分析方法的总计算量为(8
O N
×。

本文提出的基于边缘点投影方差最小的方法主要的计
算量在于式(2与式(8,式(2的运算量为2N,式(8中求和的
运算量为6N,最后一次反正切的计算量相对大量数据求和的计算量来说可以忽略不计,因此本文方法的计算量为
(8
O N
×。

为了能更直观地反映各种方法的运算时间,用100幅随
机选取的车牌图像在P4 2.8G CPU,512M内存的计算机上, 用MATLAB6.5编程实现上述算法,计算100次除去图像读取、边缘检测等预处理过程的平均处理时间。

上述四种倾斜校正方法的精确度、算法复杂度和运算时间的结果如表2所示。

2.3 算法分析
由上述实验结果可见,精确度方面Hough变换法最差,
旋转投影法次之,主成分分析法和本文方法误差相近且都优于上述两种方法;运算时间方面,Hough变换法运算时间最长,旋转投影法比Hough变换法降低了一个数量级,这是
因为旋转投影法投影后的区域为车牌的高度,相比Hough
变换的对角线要小,因此存储空间和寻址范围都要小很多,
主成分分析法和本文方法的运算时间也相近,且又比旋转投影方法降低了一个数量级多。

对比主成分分析法和本文方法可以发现,这两种方法的
三项性能都很相似,再比较这两种方法的计算公式,可以发
现其差别在于,前者通过求取矩阵的特征向量来确定倾斜方向,而后者使用了三角函数的方法。

可以证明主成分分析法
2008年11月系统仿
真学报 Nov., 2008
和本文方法虽然从思想和推导过程来看是完全不同的,但是结论却有着一定的联系。

设用文中方法求出的倾斜角度为α,用主成分分析方法求出的倾斜角度为ϕ,根据特征向量的性质有:
211
211N
N
i i i x x x i k N
N
y y y i i
i i i u u v k k k S k k k u v v λ====⎡⎤
⎢⎥⎡⎤⎡⎤⎡⎤⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎢⎥⎣⎦
∑∑∑∑ (11 其中S 为散布矩阵,λ和[,]T x y k k 分别为其特征值与特征向
量,对式(11化简可得:
1
22
221
2
22tan tan2tan(21tan (1N
y
i i
i x
N y
i i i x k u v k k u v k ϕαϕϕ======−⎛⎞−−⎜⎟⎝⎠
∑∑ (12 由于α和ϕ均在45±范围内,因此αϕ=,即两种方法求出的倾斜角相等,且计算量相近。

Hough 变换法和旋转投影法相似之处都是利用改变变换角度或旋转角度后求计数最大,差别在于旋转投影法的最大值计算是一种分级计算方法,因此相对于Hough 变换法存储量小,寻址速度快。

本文中的方法是通过求边缘点投影方差最小的方法,可以一步求出倾斜角度,而主成分分析与文中方法的结论等价。

因此可以将车牌校正的方法分为两大类:(1基于改变角度后求计数最大的方法;(2基于方差最小的方法。

之所以有这两类方法,是因为车牌进行边缘检测
后有两个性质:
(1当车牌处于水平位置时水平边框的边缘点构成了边缘图中点最多的直线,而水平边框与车牌的倾斜方
向一致;
(2当车牌处于水平位置时车牌图像的垂直边缘点分别最密集,可以用方差最小方法求得车牌垂直边缘图的倾斜角,而车牌垂直边缘图的倾斜方向与车牌倾斜方向
也相同。

根据第二个性质,可以利用Hough 变换中变换域的思想,推导出在参数空间中基于方差最小的方法,结论与本文方法相同,这里不再赘述。

3 结论
本文提出了一种基于边缘点投影方差最小的车牌倾斜校正方法。

该方法将车牌图像的垂直边缘点向水平方向投影,并求出边缘点投影方差最小时旋转角度的闭合表达式,从而一步
计算出倾斜角。

将该方法与车牌倾斜校正的Hough 变换法、旋转投影法和主成分分析法进行了精确度、算法复杂度及运算时间的比较。

实验结果表明,该方法在三方面均有良好性质,是一种精确度高、鲁棒性好、实时性强的方法。

通过分析得出该方法在计算量和计算结果上都与主成分分析方法相似。

最后将车牌倾斜校正的方法总结为两大类。

参考文献:
[1] 廖明, 张金林, 甄树新, 等. 一种实用车牌定位算法及实现[J]. 系统仿真学报, 2005, 17(10: 2349-2351.
[2] 侯培国, 赵静, 刘明. 基于小波变换和行扫描的车牌定位方法[J]. 系统仿真学报, 2006, 18(S2: 811-813.
[3]
HEGT H A, HAYE R J, KHAN N A. A High Performance License Plate Recognition System [C]// IEEE International Conference on Systems, Man, and Cybernetics, 1998. USA: IEEE, 1998, 5: 4357-4362. [4] 郝永杰, 刘文耀, 路烁. 畸变汽车牌照图像的空间校正[J]. 西南交通大学学报, 2002, 37(4: 417-420.
[5] 马腾飞, 郑永果, 赵卫东. 基于边缘检测与Hough 变换的车牌字符分割算法[J]. 系统仿真学报, 2006, 18(S1: 391-392.
[6] 芮挺, 沈春林, 张金林. 车牌识别中倾斜牌照的快速矫正算法[J]. 计算机工程, 2004, 30(13: 122-124.
[7] 杨立刚, 张兴会, 李兰友. 车牌照字符倾斜校正方法的研究[J]. 仪器仪表学报, 2004, 25(4: 696-697.
[8] 李文举, 梁德群, 崔连延, 等. 一种新的车牌倾斜校正方法[J]. 信息与控制, 2004, 33(2: 231-235.
[9]
李文举, 梁德群, 崔连延, 等. 一种新的面向字符分割的车牌图像预处理方法[J]. 计算机应用研究, 2004, (7: 258-260.
[10] 路小波, 包明, 黄卫. 基于投影的车牌倾斜检测方法[J]. 交通运输
工程与信息学报, 2004, 2(4: 10-15.
[11] 朱程辉, 吴德会. 基于主元分析的倾斜车牌图像校正方法研究[J].
微电子学与计算机, 2006, 23(1: 177-181.
[12] 吴德会, 朱程辉. 基于主元分析的车牌图像倾斜校正新方法[J].
公路交通科技, 2006, 23(8: 143-146.
(上接第5797页
参考文献:
[1]
L Lucido, R Deriche. Bathymetric profiles matching for underwater navigation [C]// Proc. Reconnaissance des Formes et Intelligence Artificielle (RFIA, Clermont-Ferrand, France, 1998. Clermont- Ferrand, France, 1998, 1: 293-301. [2]
M Sistiaga, J Opderbecke, M J Aldon, V Rigaud. Map based underwater navigation using a multibeam echosounder [C]// Pro c. OCEANS’98 OES-IEEE, Nice, France, 1998 (ISBN: 0-7803-5045-6. Nice, France, 1998: 747-751. [3] 李家彪. 多波束勘测原理技术与方法[M]. 北京: 海洋出版社, 1999. [4]
M Sistiaga, J Opderbecke, M J Aldon. Depth Image Matching For Underwater Vehicle Navigation [C]// Proceedings of International Conference on Image Analysis and Processing, 27-29 Sept. 1999. 1999: 624-629.
[5]
I Nygren, M Jansson. Terrain navigation using the correlator method [C]// Position Location and Navigation Symposium 2004 (PLANS 2004. 26-29 April 2004. 2004: 649-657. [6]
I Nygren, M Jansson. Terrain navigation for underwater vehicles using the correlator method [J]. IEEE Journal of Oceanic Engineering, 2004, 29(3: 906-915. [7] 程辉, 田金文, 柳健. 声纳技术在海底地形辅助导航中的应用[J].军民两用技术与产品, 2003,(11: 28-48.
[8] 高世海, 戴文刚, 田仲. 空域和频域相结合的景象匹配算法[J]. 中国图象图形学报, 2000, 5(4: 345-348.
[9]
B Srinivasa Reddy, B N Chatterji. An FFT-Based Technique for Translation, Rotation, and Scale-Invariant Image Registration [J]. IEEE Trans. on Image Processing, 1996, 5(8: 1266-1271.
[10] L G Brown. A survey of image registration techniques [J]. ACM
Computing Surveys, 1992, 24(4: 325-376.。