车牌字符识别与分割

一、实验目的：
使用matlab软件提取出给定图像中的字符区域，或分割出各个字符
二、设计方案：
一个完整的车牌识别系统闭应包括车辆检测、图像采集、图像预处理、车牌定位、字符分割、字符识别等单元。

当车辆到达触发图像采集单元时，系统采集当前的视频图像。

车辆识别单元对图像进行处理，定位出牌照位置，再将车牌中的字符分割出来进行识别，然后组成车牌号码输出。

车牌识别系统原理如图l所示。

图1 车牌识别系统原理图
（1）图像预处理：对汽车图像进行图像转换、图像增强和边缘检测等。

（2）车牌定位：从预处理后的汽车图像中分割出车牌图像。

即在一幅车辆图像中找到车牌所在的位置。

（3）字符分割：对车牌图像进行几何校正、去噪、二值化以及字符分割以从车牌图像中分离出组成车牌号码的单个字符图像
（4）字符识别：对分割出来的字符进行预处理（二值化、归一化），然后分析提取，对分割出的字符图像进行识别给出文本形式的车牌号码。

为了用于牌照的分割和牌照字符的识别，原始图象应具有适当的亮度，较大的对比度和清晰可辩的牌照图象。

但由于车辆牌照的整洁度、自然光照条件、拍摄时摄像机与牌照的矩离和角度以及车辆行驶速度等因素的影响，牌照图象可能出现模糊、歪斜和缺损等严重缺陷，因此需要对原始图象进行识别前的预处理。

牌照的定位和分割是牌照识别系统的关键技术之一，其主要目的是在经图象预处理后的原始灰度图象中确定牌照的具体位置，并将包含牌照字符的一块子图象从整个图象中分割出来，供字符识别子系统识别之用，分割的准确与否直接关系到整个牌照字符识别系统的识别率。

由于拍摄时的光照条件、牌照的整洁程度的影响，和摄像机的焦距调整、镜头的光学畸变所产生的噪声都会不同程度地造成牌照字符的边界模糊、细节不清、笔划断开或粗细不均，加上牌照上的污斑等缺陷，致使字符提取困难，进而影响字符识别的准确性。

因此，需要对字符在识别之前再进行一次针对性的处理。

车牌识别的最终目的就是对车牌上的文字进行识别。

识别方法目前主要有基于模板匹配算法和基于人工神经网络算法。

三、实验中用到的函数功能及用法：
1.Imerode
对图像实现腐蚀操作，即膨胀操作的反操作。

用法：
IM2 = imerode(IM,SE)
IM2 = imerode(IM,NHOOD)
IM2 = imerode(IM,SE,PACKOPT,M)
IM2 = imerode(...,PADOPT)
IM2 = imerode(IM,SE) 腐蚀灰度，二值，压缩二值图像IM，返回IM2。

参数SE为由strel 函数返回的结构元素或者结构元素对象组。

IM2 = imerode(IM,NHOOD)腐蚀图像IM，这里NHOOD是定义结构元素邻域0和1的矩阵。

IM2 = imerode(...,PADOPT)指出输出图像的大小（是否与输入图像大小一致）。

2.imdilate
功能：
对图像实现膨胀操作。

用法：
IM2 = imdilate(IM,SE)
IM2 = imdilate(IM,NHOOD)
IM2 = imdilate(IM,SE,PACKOPT)
IM2 = imdilate(...,PADOPT)
IM2 = imdilate(IM,SE) 膨胀灰度，二值，压缩二值图像IM，返回IM2。

参数SE为由strel 函数返回的结构元素或者结构元素对象组。

IM2 = imdilate(IM,NHOOD)膨胀图像IM，这里NHOOD是定义结构元素邻域0和1的矩阵。

IM2 = imdilate(IM,SE,PACKOPT)定义IM是否是一个压缩的二值图像。

IM2 = imdilate(...,PADOPT)指出输出图像的大小。

3.strel
功能：
用于膨胀腐蚀及开闭运算等操作的结构元素对象(本论坛随即对膨胀腐蚀等操作进行讲解)。

SE = strel(shape,parameters)
创建由指定形状shape对应的结构元素。

其中shape的种类有‘arbitrary'，'pair'，'diamond'，'periodicline'，'disk'，'rectangle' 'line'，'square'，'octagon
参数parameters一般控制SE的大小。

4.edge
BW = edge(I)
采用灰度或一个二值化图像I作为它的输入，并返回一个与I相同大小的二值化图像BW，在函数检测到边缘的地方为1，其他地方为0。

BW = edge(I,'sobel') 自动选择阈值用Sobel算子进行边缘检测。

BW = edge(I,'sobel',thresh) 根据所指定的敏感度阈值thresh，用Sobel算子进行边缘检测，它忽略了所有小于阈值的边缘。

当thresh为空时，自动选择阈值。

BW = edge(I,'sobel',thresh,direction) 根据所指定的敏感度阈值thresh，在所指定的方向direction上，用Sobel算子进行边缘检测。

Direction可取的字符串值为horizontal(水平方向)、vertical(垂直方向)或both(两个方向)。

[BW,thresh] = edge(I,'sobel',...) 返回阈值
BW = edge(I,'prewitt') 自动选择阈值用prewitt算子进行边缘检测。

BW = edge(I,'prewitt',thresh) 根据所指定的敏感度阈值thresh，用prewitt算子进行边缘检测，它忽略了所有小于阈值的边缘。

当thresh为空时，自动选择阈值。

BW = edge(I,'prewitt',thresh,direction) 根据所指定的敏感度阈值thresh，在所指定的方向direction上，用prewitt算子进行边缘检测。

Direction可取的字符串值为horizontal(水平方向)、vertical(垂直方向)或both(两个方向)默认方向为both。

BW = edge(I,'roberts') 自动选择阈值用roberts算子进行边缘检测。

BW = edge(I,'roberts',thresh) 根据所指定的敏感度阈值thresh，用Roberts算子进行边缘检测，它忽略了所有小于阈值的边缘。

当thresh为空时，自动选择阈值。

5.Imclose
功能：
对图像实现闭运算，闭运算也能平滑图像的轮廓，但与开运算相反，它一般融合窄的缺口和细长的弯口，去掉小洞，填补轮廓上的缝隙。

用法：
IM2 = imclose(IM,SE)
IM2 = imclose(IM,NHOOD) 用法和imopen相同。

6.imopen
功能：
对图像实现开运算，开运算一般能平滑图像的轮廓，消弱狭窄的部分，去掉细的突出。

用法：
IM2 = imopen(IM,SE)
IM2 = imopen(IM,NHOOD)
IM2 = imopen(IM,SE)用结构元素SE实现灰度图像或二值图像的IM的形态开运算。

SE可以是单个结构元素对象或者结构元素对象数组。

IM2 = imopen(IM,NHOOD)用结构元素strel（NHOOD）执行开运算。

7.bwareaopen
功能：
删除小面积对象
格式：
BW2 = bwareaopen(BW,P,conn)
作用：
删除二值图像BW中面积小于P的对象，默认情况下conn使用8邻域。

8.tic和toc函数
这两个函数一般配合使用，tic表示计时的开始，toc表示计时的结束。

格式：
tic 任意表达式toc t=toc 9.fspecial
功能：
用于建立预定义的滤波算子，其语法格式为：
h = fspecial(type) h = fspecial(type，para) 其中type指定算子的类型，para指定相应的参数；
type的类型有：
'average' averaging filter
为均值滤波，参数为hsize代表模板尺寸，默认值为【3，3】。

'disk' circular averaging filter
为圆形区域均值滤波，参数为radius代表区域半径，默认值为5.
'gaussian'
Gaussian lowpass filter
为高斯低通滤波，有两个参数，hsize表示模板尺寸，默认值为【3 3】，
Sigma
为滤波器的标准值，单位为像素，默认值为0.5.
'prewitt' Prewitt horizontal edge-emphasizing filter
用于边缘增强，大小为【3 3】，无参数
'sobel'
Sobel horizontal edge-emphasizing filter
用于边缘提取，无参数
9. filter2
J = filter2(h,I);
使用指定的滤波器h对I进行滤波，结果保存在J中
10.bwarea
函数功能：
计算二值图像中对象的总面积。

调用格式：
total = bwarea(BW)
估算二值图像BW中对象的总面积。

返回的total是一个标量，它的值大致地反映了和图像中on像素的个数。

由于对于不同像素类型，度量标准不同，因此结果可能并不十分精确。

BW可以是数值类型（整型、浮点型）或者逻辑类型。

对于数值类型，像素值不为0被视为on。

返回值total是double类型的。

11.sum
功能：
函数求和
sum(x,2)表示矩阵x的横向相加，求每行的和，结果是列向量，而缺省的sum(x)就是竖向相加，求每列的和，结果是行向量；A>0的结果是得到一个逻辑矩阵，大小跟原来的A一致，A中大于零的元素的位置置为1，小于等于零的位置置为0。

所以横向求和以后，就是求A中每行大于零的元素个数。

12. round
功能：
四舍五入
调用格式：
Y = round(X)
在matlab中round也是一个四舍五入函数。

四、步骤与结果：
1、图像预处理：
1.1、获取图像
Scolor=imread('PABH3.jpg');
1.2、图像灰度化
Sgray = rgb2gray(Scolor);%rgb2gray转换成灰度图
1.3、图像增强
s=strel('disk',13);%strei函数13
Bgray=imopen(Sgray,s);%打开sgray s图像
Egray=imsubtract(Sgray,Bgray);%两幅图相减
1.4边缘提取
图像中车辆牌照是具有比较显著特征的一块图象区域，这此特征表现在：近似水平的矩形区域；其中字符串都是按水平方向排列的；在整体图象中的位置较为固定。

正是由于牌照图象的这些特点，再经过适当的图象变换，它在整幅中可以明显地呈现出其边缘。

边缘提取是较经典的算法，此处边缘的提取采用的是Roberts算子。

grd=edge(Egray,'robert',0.09,'both');
se=[1;1;1]; %线型结构元素
I3=imerode(grd,se); %腐蚀图像
1.5开闭运算
牌照图象经过了以上的处理后，牌照区域已经十分明显，而且其边缘得到了勾勒和加强。

此时可进一步确定牌照在整幅图象中的准确位置。

这里选用数学形态学的方法，基本思想是用具有一定形态的机构元素去量度和提取图像中的对应形状以达到对图像分析和识别的目的。

数学形态学的应用可以简化图像数据，保持它们基本的形态特征，并除去不相干的结构。

在本程序中用到了开闭两个基本运算，最后还用了bwareaopen来去除对象中不相干的小对象。

bg1=imclose(I3,strel('rectangle',[40,88]));%取矩形框的闭运算即平滑40，88 bg3=imopen(bg1,strel('rectangle',[40,60]));%取矩形框的开运算40，60
bg2=bwareaopen(bg3,2000);%去除聚团灰度值小于2000的部分
2.车牌定位
I6=double(bg2);
%绘制行曲线图
Y1=zeros(y,1);%y行1列的零矩阵累计行像素灰度值fori=1:y
for j=1:x
if(I6(i,j,1)==1)
Y1(i,1)= Y1(i,1)+1;
end
end
end
[temp, MaxY]=max(Y1);
PY1=MaxY;
while ((Y1(PY1,1)>=50)&&(PY1>1))
PY1=PY1-7;
end
PY2=MaxY;
while ((Y1(PY2,1)>=50)&&(PY2<y))
PY2=PY2+7;
end
%绘制列曲线图
X1=zeros(1,x);% 累计列像素灰度值
for j=1:x
fori=PY1:PY2
if(I6(i,j,1)==1)
X1(1,j)= X1(1,j)+1;
end
end
end
PX1=1;
while ((X1(1,PX1)<3)&&(PX1<x))
PX1=PX1+1;
end
PX2=x;
while ((X1(1,PX2)<3)&&(PX2>PX1))
PX2=PX2-1;
end
DW=Scolor(PY1:PY2,PX1:PX2,:);%车牌定位后图像
3.字符分割及处理
1.车牌的进一步处理
对分割出的彩色车牌图像进行灰度转换、二值化、均值滤波、腐蚀膨胀以及字符分割以从车牌图像中分离出组成车牌号码的单个字符图像，对分割出来的字符进行预处理（二值化、归一化），然后分析提取，对分割出的字符图像进行识别给出文本形式的车牌号码。

代码如下：
ifisrgb(DW)
I1 = rgb2gray(DW); %将RGB图像转化为灰度图像
else I1=DW;
end
g_max=double(max(max(I1)));
g_min=double(min(min(I1)));
T=round(g_max-(g_max-g_min)/3); % T 为二值化的阈值
[m,n]=size(I1);% d:二值图像
imane_bw=im2bw(I1,T/256); %二值化车牌图像
[y1,x1,z1]=size(imane_bw);
I3=double(imane_bw);
TT=1;
%%%%%%%去除图像顶端和底端的不感兴趣区域%%%%%
Y1=zeros(y1,1);
fori=1:y1
for j=1:x1
if(I3(i,j,1)==1)
Y1(i,1)= Y1(i,1)+1 ;
end
end
end
Py1=1;Py0=1;
while ((Y1(Py0,1)<9)&&(Py0<y1))
Py0=Py0+1;
end
Py1=Py0;
while((Y1(Py1,1)>=9)&&(Py1<y1))
Py1=Py1+1;
end
I2=imane_bw(Py0:Py1,:,:); %目标车牌区域
2.字符分割
在汽车牌照自动识别过程中，字符分割有承前启后的作用。

它在前期牌照定位的基础上进行字符的分割，然后再利用分割的结果进行字符识别。

字符识别的算法很多，因为车牌字符间间隔较大，不会出现字符粘连情况，所以此处采用的方法为寻找连续有文字的块，若长度大于某阈值，则认为该块有两个字符组成，需要分割。

一般分割出来的字符要进行进一步的处理，以满足下一步字符识别的需要。

但是对于车牌的识别，并不需要太多的处理就已经可以达到正确识别的目的。

在此只进行了归一化处理，然后进行后期处理。

% 寻找连续有文字的块，若长度大于某阈值，则认为该块有两个字符组成，需要分割%首先创建子函数qiege与getword，而后调用子程序，将车牌的字符分割开并且进行归一化处理
d=qiege(I2);
[m,n]=size(d); % subplot(3,2,5),imshow(d),title(n)
k1=1;k2=1;s=sum(d);j=1;
while j~=n
while s(j)==0
j=j+1;
end
k1=j;
while s(j)~=0 && j<=n-1
j=j+1;
end
k2=j-1;
if k2-k1>=round(n/6.5)
[val,num]=min(sum(d(:,[k1+5:k2-5])));
d(:,k1+num+5)=0; % 分割
end
end
% 再切割
d=qiege(d); % 切割出7个字符
y1=10;y2=0.25;flag=0;word1=[];
while flag==0
[m,n]=size(d);
left=1;wide=0;
while sum(d(:,wide+1))~=0
wide=wide+1;
end
if wide<y1 % 认为是左侧干扰
d(:,[1:wide])=0;
d=qiege(d);
else
temp=qiege(imcrop(d,[1 1 wide m]));
[m,n]=size(temp);
all=sum(sum(temp));
two_thirds=sum(sum(temp([round(m/3):2*round(m/3)],:))); if two_thirds/all>y2
flag=1;word1=temp;
end
d(:,[1:wide])=0;d=qiege(d);
end
end
% 分割出第二个字符
[word2,d]=getword(d);
%分割出第三个字符
[word3,d]=getword(d);
%分割出第四个字符
[word4,d]=getword(d);
%分割出第五个字符
[word5,d]=getword(d);
%分割出第六个字符
[word6,d]=getword(d);
%分割出第七个字符
[word7,d]=getword(d);
figure(9);
subplot(2,7,1),imshow(word1),title('1');
subplot(2,7,2),imshow(word2),title('2');
subplot(2,7,3),imshow(word3),title('3');
subplot(2,7,4),imshow(word4),title('4');
subplot(2,7,5),imshow(word5),title('5');
subplot(2,7,6),imshow(word6),title('6');
subplot(2,7,7),imshow(word7),title('7');
[m,n]=size(word1);
word1=imresize(word1,[40 20]);
word2=imresize(word2,[40 20]);
word3=imresize(word3,[40 20]);
word4=imresize(word4,[40 20]);
word5=imresize(word5,[40 20]);
word6=imresize(word6,[40 20]);
word7=imresize(word7,[40 20]);
subplot(2,7,8),imshow(word1),title('1');
subplot(2,7,9),imshow(word2),title('2');
subplot(2,7,10),imshow(word3),title('3');
subplot(2,7,11),imshow(word4),title('4');
subplot(2,7,12),imshow(word5),title('5');
subplot(2,7,13),imshow(word6),title('6');
subplot(2,7,14),imshow(word7),title('7');
imwrite(word1,'1.jpg');
imwrite(word2,'2.jpg');
imwrite(word3,'3.jpg');
imwrite(word4,'4.jpg');
imwrite(word5,'5.jpg');
imwrite(word6,'6.jpg');
imwrite(word7,'7.jpg');
Warning：由于算法不成熟等一些原因导致最后分割字符没有成功。