模式识别—车牌号码识别 图像处理资料

车牌号码识别
第一部分引言
现代智能交通系统(ITS)中，车牌号码自动识别是计算机视觉与模式识别技术在智能交通领域应用的重要研究课题之一，是实现交通管理智能化的重要环节。

车辆牌照识别技术可应用于道路交通监控、交通事故现场勘察、交通违章自动纪录、高速公路自动收费系统、停车场自动安全管理、小区智能化管理等方面，具有巨大的经济价。

因此车牌号码自动识别技术已经得到了广泛应用。

汽车牌照自动识别整个处理过程分为预处理、边缘提取、车牌定位、字符分割、字符识别五大模块，其中字符识别过程主要由以下3个部分组成：①正确地分割文字图像区域；②正确的分离单个文字；③正确识别单个字符。

用MATLAB软件编程来实现每一个部分,最后识别出汽车牌照。

在研究的同时对其中出现的问题进行了具体分析，处理。

第二部分对采集图像的预处理
数字图像处理（Digital Image Processing）又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。

数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。

数字图像处理作为一门学科大约形成于20世纪60年代初期。

早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。

图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。

首次获得实际成功应用的是美国喷气推进实验室（JPL）。

他们对航天探测器徘徊者7号在1964年发回的几千张月球照片使用了图像处理技术，如几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。

随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以致获得了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动了数字图像处理这门学科的诞生。

在以后的数字图像处理技术一般来讲,对图像进行处理(或加工、分析)的主要目的有三个方面：
（1）提高图像的视感质量,如进行图像的亮度、彩色变换,增强、抑制某些成分,对图像进行几何变换等,以改善图像的质量。

（2）提取图像中所包含的某些特征或特殊信息,这些被提取的特征或信息往往为计算机分析图像提供便利。

提取特征或信息的过程是模式识别或计算机视觉的预处理。

提取的特征可以包括很多方面,如频域特征、灰度或颜色特征、边界特征、区域特征、纹理特征、形状特征、拓扑特征和关系结构等。

（3）图像数据的变换、编码和压缩,以便于图像的存储和传输。

图像是人类获取和交换信息的主要来源，因此，图像处理的应用领域必然涉及到人类生活和工作的方方面面。

随着人类活动范围的不断扩大，图像处理的应用领域也将随之不断扩大。

1、图象的采集与转换（代码及截图）
I=imread('car.jpg');
figure(1),imshow(I);title('原图')
I1=rgb2gray(I);
figure(2),subplot(1,2,1),imshow(I1);title('灰度图');
figure(2),subplot(1,2,2),imhist(I1);title('灰度图直方图');
I2=edge(I1,'robert',0.15,'both');
figure(3),imshow(I2);title('robert算子边缘检测')
se=[1;1;1];
I3=imerode(I2,se);
figure(4),imshow(I3);title('腐蚀后图像');
se=strel('rectangle',[25,25]);
I4=imclose(I3,se);
figure(5),imshow(I4);title('平滑图像的轮廓');
I5=bwareaopen(I4,2000);
figure(6),imshow(I5);title('从对象中移除小对象');
图1 原图图2 灰度图
图3 reboot算子边缘图图4 腐蚀后图像
图5 平滑图像轮廓图图 6 从轮廓图中移除小对象后图像
2、牌照区域的分割
对车牌的分割可以有很多种方法，本程序是利用车牌的彩色信息的彩色分割方法。

根据车牌底色等有关的先验知识，采用彩色像素点统计的方法分割出合理的车牌区域，确定车牌底色蓝色RGB对应的各自灰度范围，然后行方向统计在此颜色范围内的像素点数量，设定合理的阈值，确定车牌在行方向的合理区域。

然后，在分割出的行区域内，统计列方向蓝色像素点的数量，最终确定完整的车牌区域。

[y,x,z]=size(I5);
myI=double(I5);
tic
Blue_y=zeros(y,1);
for i=1:y
for j=1:x
if(myI(i,j,1)==1)
Blue_y(i,1)= Blue_y(i,1)+1;%蓝色像素点统计
end
end
end
[temp MaxY]=max(Blue_y);%Y方向车牌区域确定
PY1=MaxY;
while ((Blue_y(PY1,1)>=5)&&(PY1>1))
PY1=PY1-1;
end
PY2=MaxY;
while ((Blue_y(PY2,1)>=5)&&(PY2<y))
PY2=PY2+1;
end
IY=I(PY1:PY2,:,:);
Blue_x=zeros(1,x);%进一步确定x方向的车牌区域
for j=1:x
for i=PY1:PY2
if(myI(i,j,1)==1)
Blue_x(1,j)= Blue_x(1,j)+1;
end
end
end
PX1=1;
while ((Blue_x(1,PX1)<3)&&(PX1<x))
PX1=PX1+1;
end
PX2=x;
while ((Blue_x(1,PX2)<3)&&(PX2>PX1))
PX2=PX2-1;
end
PX1=PX1-1;%对车牌区域的校正
PX2=PX2+1;
dw=I(PY1:PY2-8,PX1:PX2,:);
t=toc;
figure(7),subplot(1,2,1),imshow(IY),title('行方向合理区域');
figure(7),subplot(1,2,2),imshow(dw),title('定位剪切后的彩色车牌图像')
图7 行方向区域和最终定位出来的车牌
3、车牌进一步处理
经过上述方法分割出来的车牌图像中存在目标物体、背景还有噪声，要想从图像中直接提取出目标物体，最常用的方法就是设定一个阈值T，用T将图像的数据分成两部分：大于T的像素群和小于T的像素群，即对图像二值化。

均值滤波是典型的线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素。

再用模板中的全体像素的平均值来代替原来像素值。

（代码及截图如下：）
imwrite(dw,'dw.jpg');
[filename,filepath]=uigetfile('dw.jpg','输入一个定位裁剪后的车牌图像');
jpg=strcat(filepath,filename);
a=imread('dw.jpg');
b=rgb2gray(a);
imwrite(b,'1.车牌灰度图像.jpg');
figure(8);subplot(3,2,1),imshow(b),title('1.车牌灰度图像')
g_max=double(max(max(b)));
g_min=double(min(min(b)));
T=round(g_max-(g_max-g_min)/3); % T 为二值化的阈值
[m,n]=size(b);
d=(double(b)>=T); % d:二值图像
imwrite(d,'2.车牌二值图像.jpg');
figure(8);subplot(3,2,2),imshow(d),title('2.车牌二值图像') figure(8),subplot(3,2,3),imshow(d),title('3.均值滤波前')
% 滤波
h=fspecial('average',3);
d=im2bw(round(filter2(h,d)));
imwrite(d,'4.均值滤波后.jpg');
figure(8),subplot(3,2,4),imshow(d),title('4.均值滤波后')
se=eye(2); % eye(n) returns the n-by-n identity matrix 单位矩阵[m,n]=size(d);
if bwarea(d)/m/n>=0.365
d=imerode(d,se);
elseif bwarea(d)/m/n<=0.235
d=imdilate(d,se);
end
imwrite(d,'5.膨胀或腐蚀处理后.jpg');
figure(8),subplot(3,2,5),imshow(d),title('5.膨胀或腐蚀处理后')
图8
第三部分车牌字符的分割与识别
在汽车车牌自动识别过程中，字符分割有着承前启后的作用。

它在前期车牌定位的基础上进行字符的分割，然后再利用分割的结果进行字符识别。

字符识别的算法很多，因为车牌字符间间隔较大，不会出现字符粘连情况，所以此处采用的方法为寻找连续有文字的块，若长度大于某阈值，则认为该块有两个字符组成，需要分割。

一般分割出来的字符还要进行进一步的处理，以满足下一步字符识别的需要。

但是对于车牌的识别，并不需要太多的处理就已经可以达到正确识别的目的。

在此只进行了归一化处理，然后进行后期处理。

下面是程序的代码及运行结果截图：
（由于篇幅有限的matlab代码main.m中的getword.m与qiege.m没有附上）
d=qiege(d);
[m,n]=size(d);
figure,subplot(2,1,1),imshow(d),title(n)
k1=1;k2=1;s=sum(d);j=1;
while j~=n
while s(j)==0
j=j+1;
end
k1=j;
while s(j)~=0 && j<=n-1
j=j+1;
end
k2=j-1;
if k2-k1>=round(n/6.5)
[val,num]=min(sum(d(:,[k1+5:k2-5])));
d(:,k1+num+5)=0; % 分割
end
end
d=qiege(d);
y1=10;y2=0.25;flag=0;word1=[];
while flag==0
[m,n]=size(d);
left=1;wide=0;
while sum(d(:,wide+1))~=0
wide=wide+1;
end
if wide<y1 % 认为是左侧干扰
d(:,[1:wide])=0;
d=qiege(d);
else
temp=qiege(imcrop(d,[1 1 wide m]));
[m,n]=size(temp);
all=sum(sum(temp));
two_thirds=sum(sum(temp([round(m/3):2*round(m/3)],:))); if two_thirds/all>y2
flag=1;word1=temp; % WORD 1
end
d(:,[1:wide])=0;d=qiege(d);
end
end
% 分割出第二个字符
[word2,d]=getword(d);
% 分割出第三个字符
[word3,d]=getword(d);
% 分割出第四个字符
[word4,d]=getword(d);
% 分割出第五个字符
[word5,d]=getword(d);
% 分割出第六个字符
[word6,d]=getword(d);
% 分割出第七个字符
[word7,d]=getword(d);
subplot(5,7,1),imshow(word1),title('1');
subplot(5,7,2),imshow(word2),title('2');
subplot(5,7,3),imshow(word3),title('3');
subplot(5,7,4),imshow(word4),title('4');
subplot(5,7,5),imshow(word5),title('5');
subplot(5,7,6),imshow(word6),title('6');
subplot(5,7,7),imshow(word7),title('7');
[m,n]=size(word1);
% 商用系统程序中归一化大小为 40*20,此处演示
word1=imresize(word1,[40 20]);
word2=imresize(word2,[40 20]);
word3=imresize(word3,[40 20]);
word4=imresize(word4,[40 20]);
word5=imresize(word5,[40 20]);
word6=imresize(word6,[40 20]);
word7=imresize(word7,[40 20]);
subplot(5,7,15),imshow(word1),title('1');
subplot(5,7,16),imshow(word2),title('2');
subplot(5,7,17),imshow(word3),title('3');
subplot(5,7,18),imshow(word4),title('4');
subplot(5,7,19),imshow(word5),title('5');
subplot(5,7,20),imshow(word6),title('6');
subplot(5,7,21),imshow(word7),title('7');
图9
最后，还要对字符进行识别。

字符的识别目前用于车牌字符识别(OCR)中的算法主要有基于模板匹配的OCR算法以及基于人工神经网络的OCR算法。

基于模板匹配的OCR的基本过程是:首先对待识别字符进行二值化并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，最后选最佳匹配作为结果。

用人工神经网络进行字符识别主要有两种方法:一种方法是先对待识别字符进行特征提取，然后用所获得的特征来训练神经网络分类器。

识别效果与字符特征的提取有关，而字符特征提取往往比较耗时。

因此，字符特征的提取就成为研究的关键。

另一种方法则充分利用神经网络的特点，直接把待处理图像输入网络，由网络自动实现特征提取直至识别[6]。

模板匹配的主要特点是实现简单，当字符较规整时对字符图像的缺损、污迹干扰适应力强且识别率相当高。

综合模板匹配的这些优点我们将其用为车牌字符识别的主要方法。

下面是字符识别流程图：
建立自动识别的代码表
读取分割出来的字
第一个字符与模板中
的汉字模板进行匹配
第二个字符与模板中
的字母模板进行匹配
后5个字符与模板中的字
母与数字模板进行匹配
待识别字符与模板字符相减，值越小相似度
越大，找到最小的一个即为匹配的最好的
识别完成，输出此模板对应值
模板匹配是模式识别方法中最具代表性的基本方法之一，它是将从待识别的图象或图象区域f(i,j)中提取的若干特征量与模板T(i,j)相应的特征量逐个进行比较，计算它们之间规格化的互相关量，其中互相关量最大的一个就表示期间相似程度最高，可将图象归于相应的类。

也可以计算图象与模板特征量之间的距离，用最小距离法判定所属类。

然而，通常情况下用于匹配的图象各自的成像条件存在差异，产生较大的噪声干扰，或图象经预处理和规格化处理后，使得图象的灰度或像素点的位置发生改变。

在实际设计模板的时候，是根据各区域形状固有的特点，突出各类似区域之间的差别，并将容易由处理过程引起的噪声和位移等因素都考虑进去，按照一些基于图象不变特性所设计的特征量来构建模板，就可以避免上述问题。

此处采用相减的方法来求得字符与模板中哪一个字符最相似，然后找到相似度最大的输出。

汽车牌照的字符一般有七个，大部分车牌第一位是汉字，通常代表车辆所属省份，或是军种、警别等有特定含义的字符简称；紧接其后的为字母与数字。

车牌字符识别与一般文字识别在于它的字符数有限，汉字共约50多个，大写英文字母26个，数字10个。

所以建立字符模板库也极为方便。

为了实验方便，结合本次设计所选汽车牌照的特点，只建立了4个数字26个字母与10个数字的模板。

其他模板设计的方法与此相同。

首先取字符模板，接着依次取待识别字符与模板进行匹配，将其与模板字符相减，得到的0越多那么就越匹配。

把每一幅相减后的图的0值个数保存，然后找数值最大的，即为识别出来的结果。

识别结果及代码如下：
imwrite(word1,'1.jpg');
imwrite(word2,'2.jpg');
imwrite(word3,'3.jpg');
imwrite(word4,'4.jpg');
imwrite(word5,'5.jpg');
imwrite(word6,'6.jpg');
imwrite(word7,'7.jpg');
liccode=char(['0':'9' 'A':'Z' '苏豫陕鲁']); %建立自动识别字符代码表
SubBw2=zeros(40,20);
l=1;
for I=1:7
ii=int2str(I);
t=imread([ii,'.jpg']);
SegBw2=imresize(t,[40 20],'nearest');
if l==1 %第一位汉字识别
kmin=37;
kmax=40;
elseif l==2 %第二位 A~Z 字母识别
kmin=11;
kmax=36;
else l>=3 %第三位以后是字母或数字识别
kmin=1;
kmax=36
end
for k2=kmin:kmax
fname=strcat('字符模板\',liccode(k2),'.jpg');
SamBw2 = imread(fname);
for i=1:40
for j=1:20
SubBw2(i,j)=SegBw2(i,j)-SamBw2(i,j);
end
end
% 以上相当于两幅图相减得到第三幅图
Dmax=0;
for k1=1:40
for l1=1:20
if ( SubBw2(k1,l1) > 0 | SubBw2(k1,l1) <0 )
Dmax=Dmax+1;
end
end
end
Error(k2)=Dmax;
end
Error1=Error(kmin:kmax);
MinError=min(Error1);
findc=find(Error1==MinError);
Code(l*2-1)=liccode(findc(1)+kmin-1);
Code(l*2)=' ';
l=l+1;
end
figure(10),imshow(dw),title (['车牌号码:', Code],'Color','b');
图10
第四部分识别结果分析
在车牌字符分割的预处理中，用到了对分割出的字符车牌进行均值滤波，膨胀或腐蚀的处理。

这在对于有杂点的车牌是很有用的，因为这样可以把字符与字符之间的杂色点去除，只有白色的字符和黑色的背景存在，这样有利于的字符分割进行。

字符识别过程使用的是模板匹配的方法，利用两幅图片相减的方法，找到相减后值最小的，即为相似程度最大的。

模板的制作很重要，必须要用精确的模板，否则就不能正确的识别。

采用合适的模版和处理方法才能使识别效果更好，尽量避免不必要的误差。

根据上面识别的车牌号码吻合从图像中看到的车牌号。

第五部分心得体会
这次大作业不仅是对前面所学知识的一种检验，而且也是对自己能力的一种提高。

通过这次课程设计使我明白了自己原来知识还比较欠缺。

这个作业让我学到了很多东西，涉及到方方面面的知识，在这整个过程中我们查阅了大量的资料，得到了老师和同学的帮助，我在此对他们表示谢意。

在这期间遇到了很多困难，我知道做什么都不容易，只能塌下心来，一步一个脚印的去完成才行。

这学期我们学习了模式识别这门课程，在这个课程设计中应用到了很多其中的知识。

理论只有应用到实际中才能学着更有意义。

学习是一个长期积累的过程，在后的工作、生活中都应该不断的学习，努力提高自己知识和综合素质。

此外，还得出一个结论：知识必须通过应用才能实现其价值！有些东西以为学会了，但真正到用的时候才发现是两回事，所以我认为只有到真正会用的时候才是真的学会了。

在整个过程中我懂得了许多东西，也培养了我独立工作的能力，树立了信心，相信会对今后的学习工作生活有非常重要的影响。

同样此次课程设计也大大提高了动手的能力，使我充分体会到了在创造过程中探索的艰难和成功时的喜悦。

最后感谢袁老师对我们这门课程的教导，我们学到了许多东西使我们受益匪浅。

参考文献：
[1] 张学工模式识别.清华大学出版社，2010.
[2] 朱学芳等，一种自适应细化方法，模式识别与人工智能
[3]刘阳,伊铁源等.数字图像处理应用于车辆牌照的识别,辽宁大学学报.2004,65-68.
[4]汽车牌照识别技术研究[J].工业控制计算机,2004,44-45.
[5]叶晨洲等,车辆牌照字符识别系统,计算机系统应用,1999(5),P10-13.
[6] 胡小锋、赵辉．VC++/MATLAB图像处理与识别使用案例精选.人民邮电出版社，2004.9.。