一种复杂背景下的多车牌图像分割与识别方法

单个的字符, 然后进行单个字符的识别Ζ
首先取上一步中得到的几个候选矩形区域中的
传统的方法是使用投影法进行分割Ζ 先统计定
一个区域, 因为已经进行了二值化, 所以, 将其看作 位出的车牌区域的直方图, 然后将统计值等于 0 的
一系列连通区域Ζ 对各连通区域的高和宽分别进行 几列中的一列作为分割的界限Ζ 这种分割方法实现
统计和分析Ζ 因为车牌上的各字符之间具有很大的 起来比较简单, 但是适应性很差, 在预处理效果来自百度文库好
相似性, 所以可以采用高和宽的比值反映其大致的 的情况下, 很难有满足条件的列Ζ而为了获取满足传
纹理信息Ζ 计算出各连通区域的高和宽的比值并进 统方法的条件, 只有增加预处理的条件Ζ 因此, 处理
94
车牌上有 7 个字符, 除了第 1 个字符是汉字, 作
重复上述步骤, 直到确定候选的所有矩形区域Ζ
为连通区域是不连通的以外, 其他的字符都是连通 的Ζ 采用一种基于纹理信息和连通区域相结合的新
2 车牌字符的分割
方法可提取单个字符, 然后由提取的纹理信息实现
在得到一个或几个车牌区域后, 先将其分割为
精确的车牌定位Ζ
第 23 卷 第 1 期 2003 年 2 月
北京理工大学学报 T ran saction s of B eijing In stitu te of T echno logy
文章编号: 100120645 (2003) 0120091204
V o l. 23 N o. 1 Feb. 2003
一种复杂背景下的多车牌图像分割与识别方法
Key words: licen se p la te recogn it ion; im age segm en ta t ion; fea tu re co rrespond ing; cha racter recogn it ion
车辆牌照识别在交通监视、监控与管理方面有 着广泛的应用Ζ 目前的车牌识别方法主要是针对车 辆自动注册和收费、停车场管理等场合, 所监视的区 域一般只有单一车辆, 背景比较简单Ζ 在许多情况 下, 监视区域比较复杂, 现有的方法无法直接应用Ζ 比如高速公路的监视与监控、城市要道的监视与监 控, 所监控的区域一般同时会出现多辆汽车, 背景也 比较复杂Ζ针对这种情况, 作者提出了一种复杂背景
设图像序列中的某一帧图像为待识别的车牌图 的背景图像的基础上, 利用特征匹配方法, 实现背景 像, 用 C 表示Ζ 由于背景复杂, 使用统计方法估计的 图像B t 与待识别车牌图像 C 的特征匹配Ζ将匹配区 背景B t 往往不够精确, 与当前待识别车牌图像 C 进 域视为背景, 从待识别车牌图像 C 中去除, 最后得 行差分得到的车辆区域前景图像较差Ζ为此, 在估计 到前景图像Ζ 由于特征匹配是基于区域的, 因此, 得
(4)
式中 O ( i, j ) 为输出图像; I ( i, j ) 为原图像; S , R , d
为与车牌的大小有关的常数Ζ
梯度信息得到增强后的图像, 需要进行二值化
处理, 然后对图像进行一系列的膨胀、腐蚀、开关等
运算, 将小的区域加以合并Ζ最后得到一个或几个闭
合区域如图 2b 所示Ζ因为车牌的宽度和高度是在一
第 1 期
梁 玮等: 一种复杂背景下的多车牌图像分割与识别方法
93
到的前景图像比直接利用差分得到的前景图像更
精确Ζ
在B t 中取一个滑动窗口, 窗口的大小约为原图 的 1 40～ 1 50, 在 C 中对应位置的一个邻域内进行
匹配Ζ 匹配的相似测度为
R (i, j ) =
MN
∑∑W
i, j Bt
下的多车牌分割与识别方法Ζ实验结果表明, 该方法 对复杂背景下多车牌的识别是有效的Ζ
1 多车牌定位方法
作者提出的车牌识别方法可以分为 3 个部分: ①多车牌定位; ②车牌字符分割; ③车牌字符识别Ζ 这 3 部分紧密相关, 每一步的输出都将作为下一步 处理的输入, 因此每一步的精确度都直接影响下一
收稿日期: 2002 07 15 作者简介: 梁 玮 (1979- ) , 女, 博士生; 贾云得 (1962- ) , 男, 教授, 博士生导师Ζ
92
北京理工大学学报
第 23 卷
步的工作, 从而影响车牌识别的最终结果Ζ其中多车 牌定位是最重要的一步, 包括车体区域定位、车牌区 域粗定位和车牌区域精确定位Ζ 111 车体区域定位
对于简单背景下的车牌识别, 可以针对车牌的 特征, 提取车牌进行识别Ζ 但在复杂背景下, 拍摄的 图像除了各种车辆外, 还有广告牌、树木、斑马线或 建筑物等影响车牌识别的物体, 如图 1a 所示Ζ 车牌 并不是整幅图像中最显著的部分, 并且因为同一幅 图像中出现多辆车, 车牌的特征也会有较大的变化, 单纯依靠车牌的特征提取车牌会有较大的误差, 甚 至出现漏检Ζ因此, 作者提出了一种由粗到细定位车 牌的方法Ζ首先提取背景, 再使用提取的背景图像去 除待识别图像中的背景, 得到车体区域; 然后对各个 车体区域内的车牌进行精确定位Ζ因为去除了背景, 也就去除了大部分干扰, 同时缩小了定位单个车牌 的范围, 能够在一个小区域内针对该区域内车牌的 特征进行定位, 极大地降低了误识别率和漏检率Ζ
中, 字符部分比较亮, 背景部分比较暗, 这使得在车
牌区域中水平方向的梯度特征比较明显, 并且车牌
本身具有比较规则的纹理Ζ因此, 用下式对车牌区域
的梯度信息进行加强[ 7 ]:
K= S 2
∑ O ( i, j ) =
1 SR
K= -
S
2
I (i, j + d + k) -
I (i, j - d + k) Ζ
假设上述像素过程满足某一特定的高斯分布,
就可以得到图像序列的统计信息, 估计出所有像素
过程的分布均值和方差, 从而估计出背景Ζ在精确度
要求不高的情况下, 对于该位置, 背景也可以被简单
地估计为
t
∑ B t=
1 t
i= 1
X i或 B t=
tt
1 B
t-
1+
1 t
X
t,
(2)
式中 B t 为估计背景Ζ 估计的背景如图 1b 所示Ζ
经过上述过程, 将待识别图像 C 分割成几块区
域, 如图 1d 所示, 然后对分割出来的区域分别进行
后续处理Ζ
112 车牌区域的定位
11211 车牌区域的初步检测和定位
车牌区域是指将车牌上所有字符都包含在内的
一块区域Ζ 目前大部分的车牌区域定位算法都是基
于车牌区域中明显的梯度特征进行的Ζ 在车牌区域
(D ep a rtm en t of Com p u ter Science and Eng ineering, Schoo l of Info rm a tion Science and T echno logy, B eijing In stitu te of T echno logy, B eijing 100081, Ch ina)
Abstract: T h is p ap er add resses the recogn it ion of m u lt ip le licen se p la tes from an im age sequence acqu ired by a fixed video cam era fo r video su rveillance. T he segm en ta t ion of ca rs from com p lex backg round is done u sing sta t ist ica l m ethod in teg ra ted w ith fea tu re m a tch ing. T hen licen se p la te on each ca r is loca ted and each sing le cha racter is segm en ted. T he sing le cha racter recogn it ion of inclined licen se p la tes by PCA and B PNN is a lso d iscu ssed. Exp erim en ta l resu lt s show tha t u sing the m ethod d iscu ssed, the segm en ta t ion and recogn it ion of licen se p la tes in com p lex backg round can be done effect ively.
关键词: 车牌识别; 图像分割; 特征匹配; 字符识别 中图分类号: T P 39114 文献标识码: A
L icen se Pla te Recogn ition from Com plex Scenes w ith M ultiple Cars
L IAN G W ei, LU O J ian2feng, J IA Yun2de, L IU W an2chun
定范围之内的, 依据这一条件, 可以去除一部分不可
能为车牌的矩形区域, 将余下的矩形区域作为候选
车牌区域进行下一步处理Ζ
(a) 单一车辆图像
(b) 矩形区域
图 2 车牌区域初步检测
F ig. 2 In itial detection of the licen se p late
11212 车牌位置的精确定位
(a) 待识别图像
(b) 估计背景图
(c) 匹配结果图
(d) 前景图
图 1 统计算法和特征匹配相结合的前景提取方法实验结果 F ig. 1 Exp erim en tal resu lts of the fo reg round ex traction m ethod u sing statistical m ethod in teg rated w ith featu re m atch ing
梁 玮, 罗剑锋, 贾云得, 刘万春
(北京理工大学 信息科学技术学院计算机科学工程系, 北京 100081)
摘 要: 提出一种复杂背景下的多车牌图像分割和识别方法Ζ 采用统计和特征匹配相结合的方法去除待识别图像 中的背景, 提取可能存在车辆的区域; 分别对可能的车辆区域进行局部边缘检测, 并使用车牌的先验知识确定车牌 的位置和单个字符分割, 包括车牌倾斜时的字符分割; 使用 PCA 和B P 神经网络相结合的方法精确识别车牌Ζ实验 结果表明, 该方法对复杂背景下多车牌的分割和识别是有效的Ζ
北京理工大学学报
第 23 卷
完后的图像不可避免地损失一部分有用信息, 为进 一步的处理造成不必要的困难, 还可能引入额外误 差Ζ并且, 在车牌倾斜的角度比较大或被拍摄车牌上 的字符比较密集时, 投影的方法从本质上失去了 意义Ζ
为了避免上述两种弊端, 采用一种新方法分割 单个字符Ζ 该方法既可从一定程度上消除了预处理 效果较差带来的影响, 又可从根本上解决了倾斜车 牌分割的问题Ζ为了说明该方法的效果, 使用了一个 有较大倾斜角度的车牌做试验, 如图 3 所示Ζ
目前背景提取的方法有很多[1～ 6]Ζ 根据车牌识
别应用背景, 作者提出了一种统计算法与特征匹配
相结合的方法, 去除大部分背景, 有效地确定车辆位
置, 提取可能的车辆区域用于后续处理Ζ
如果摄像机位置保持不变, 在一个很短时间段
内, 所拍摄到的背景图像基本保持不变Ζ现有的背景
提取方法基本上都是依据这一原理估计背景的Ζ 假
设对于一个图像序列, 在时间轴上提取某个图像位
置上的像素, 得到一个关于时间轴的一维信号, 这个
过程称为像素过程 (p ixel p rocess) Ζ对于某个特定的
位置{x , y }, 像素过程可以写为
{X 1, X 2, …, X t}= {I (x , y , i) ∶1≤i≤t}Ζ ( 1 )
(m
,
n)
T C (m , n)
m = 1 n= 1 MN
Ζ(3)
∑∑[W
i, j Bt
(m
,
n)
]2
m = 1 n= 1
设阈值为 R th, 当 R ( i, j ) > R th 时, 将窗口内像素
视为背景像素, 如图 1c 所示, 图中小正方形区域表
示背景Ζ 再根据连通区域, 去除一部分误匹配区域Ζ
行比较, 得出最接近的 4～ 5 个Ζ 得到的字符高和宽
得到候选车牌区域后, 从中选取一个或几个与 的比值是在一定的范围之内, 所以可以根据该比值
车牌特征比较相近的区域做为真正的车牌区域进行 确定连通区域是否为字符Ζ 通常假设在一个矩形区
字符的分割Ζ
域中相似的连通区域超过 4 个, 就认为其为车牌Ζ