车牌与人脸识别系统的设计与实现
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
逐像素特征提取法是对图像进行逐行逐列的 扫描, 当遇到黑色像素时取其特征值为 1, 遇到白 色像素时取其特征值为 0, 扫描结束即可形成一 个维数与图像中像素点的个数相同的特征向量矩 阵。 本法的特点是算法简单, 运算速度快, 可以使 B P 网络较快收敛。
本系统采用的B P 网络是基于梯度下降法的 理论[4, 5 ]。其中心思想是, 每个权值都是M 维误差 空间中的一个元素, 在误差空间中权值作为独立 的变量, 并且相应误差表面的形状由训练集合和 误差函数共同决定, 每当一个样本或一批样本进 行训练时, 网络就会小幅度调整权值的大小, 使误 差函数沿着误差减小最快的方向下降。 本系统采 用具有一个隐层的 3 层 B P 网络, 其中各层结点 (神经元) 数的确定是 B P 网络设计的关键。 为缩 短 B P 网络的训练时间, 车牌定位后归一化的图 像宽度和高度分别设定为 8 和 16, 因特征提取采 用逐像素特征提取法, 故 B P 网络的输入层结点 数为 8×16= 128。隐层和输出层结点数的选取可 以参考以下公式
器官, 并且利用这种数值特征对人脸进行识别, 但 是简单地利用一组数值特征不能满意地解决人脸 识别问题。另一方面, 视觉识别人脸的机制是十分 微妙的, 人们对此的认识还非常肤浅, 我们理解, 人脸应当作为一个整体来描述, 不仅仅包括各个 器官的不同表象和相互关联。 而隐马尔科夫模型 (HMM ) 则为我们提供了解决这一问题的一种机 制。按照这种模型, 观测到的一列特征被看成是另 一组不可观测的“状态”产生出的一列实现。 因而 可以用不同的 HMM 参数来表征, 而同一个人由 于姿态和表情变化产生的多观察可以通过同一个 HMM 模型来表征。 基于 HMM 的人脸识别方法 具有 3 个方面的优点: ① 能够允许人脸有表情变 化, 较大的头部转动; ② 扩容性好, 即增加新样本 不需要对所有的样本进行训练; ③ 较高的识别 率。另外, 由于大部分训练可以在建立数据库时完 成, 所以计算时间也是可以接受的。
0 引 言
人脸识别在身份认证、视觉监控以及人机接 口等安全领域有着广泛的应用前景, 车牌识别在 智能交通等领域同样具有非常重要的作用。 人脸 识别和车牌识别都是模式识别和计算机视觉等领 域中的重要问题, 也是当前人工智能研究中的热 点, 得到了国内外计算机界的广泛重视。 广义地 说, 人脸识别和车牌识别就是对获取的包含人脸 和车牌的图像进行检测、定位, 分割出人脸或车牌 的位置, 并利用计算机进行分析和处理, 从中提取 出有效的识别信息, 用来进行人或车辆的身份辨 认的技术。 它们涉及到模式识别、图像处理、计算 机视觉、生理学、心理学及认知科学等诸多学科的 知识。
计算相似度时, 采用如下的肤色相似度公 式[ 3 ]
P ( r, b) = exp [ - 0. 5 (x - m ) TC - 1 (x - m ) ]
(6)
图 4 司机人脸定位结果
4) 人脸特征提取与识别。 目前, 人脸识别主 要可分为基于人脸整体特征的方法和基于人脸局 部特征的方法两大类[7]。 一种识别方法的效果如 何, 取决于它在多大程度上利用了图像的原始信 息。 我们可以利用一组数值特征来描述人脸各个
关键词 车牌识别; 人脸识别; B P 网络; 隐马尔科夫模型 中图分类号: T P391. 4 文献标识码: A Abstract: In the dom a in s of in telligence traffic, va riou s veh icle num ber p la te system s have been u sed step by step. B u t the recogn ition of the single ob ject is still fa r from p erfect. T he m a in rea son is tha t it does no t acco rd w ith the p eop le’s app ercep tion ru le. T h is p ap er ho lds the op in ion tha t the recogn ition of the com b ina tion of the m u lti2ob jects is the righ t w ay to the p a ttern recogn i2 tion in the fu tu re. T he p ap er m akes som e resea rches on the recogn ition of the veh icle licen se p la tes and hum an faces. Key words: veh icle num ber p la te recogn ition; hum an face recogn ition; back p rop aga tion neu2 ra l netw o rk; H idden M a rkov M odel
图 2 车牌原始图像
图 3 车牌定位结果 (放大图)
2) 车牌特征提取与识别。目前字符识别方法 主要有基于模板匹配算法和基于人工神经网络算 法[3]。 基于模板匹配算法首先把待识别字符二值 化并将其尺寸大小缩放为字符数据库中模板的大 小, 然后与所有的模板进行匹配, 最后选最佳匹配 作为结果。由于这种匹配算法稳定性较差、时间花 费也较大, 因此在此基础上提出了基于关键点的 匹配算法。 此算法先对待识别字符进行关键点提 取, 然后对关键点去噪, 最后再确定字符的分类。 这种匹配算法只利用了字符的关键点进行匹配,
因此提高了识别速度, 具有较高的识别率。基于人 工神经网络的算法主要有两种: 一种是先对待识 别字符进行特征提取, 然后用所获得的特征来训 练神经网络分类器; 另一种方法是直接把待处理 图像输入网络, 由网络自动实现特征提取直至识 别出结果。前一种方法识别结果与特征提取有关, 因特征提取比较耗时, 因此好的特征提取方法是 关键。后一种方法无须特征提取和模板匹配, 但对 于高维的样本, 相关技术的要求较高。本系统采用 的是人工神经网络的前一种方法, 先采用逐像素 特征提取法进行特征提取, 然后用目前使用最为 广泛的B P (back p rop aga t ion) 网络进行识别。
(Y
)
)
W W Ci
Ci
(Y
)
+
Cθ i (Y ) ,
Y < Ki 或Kh < Y, i = b或 r
C i (Y ) , K i ≤ Y ≤ K h
(5) 式中: 常数 K i, K h 为非线性分段色彩变换的分段 域值, Cθb (Y ) , Cθ r (Y ) 分别为肤色区域的中轴线, W Cb (Y ) ,W Cr (Y ) 分别为肤色区域的宽度。
次数明显增加, 训练时间过长; 而取值过大, 则会
导致系统的不稳定。
训练B P 网络的公式如下。 信息的正向传播
a0 = P , am + 1 = f m + 1 (w m + 1am + bm + 1)
m = 0, 1, …,M - 1, a = aM
(2)
车牌与人脸识别系统的设计与实现—— 陈燕龙 肖南峰
种趋势; 另一方面, 不同对象的识别结合起来进行 识别则是另一个提高识别效率的途径, 如美国产 品 FaceKey 是一个将人脸识别与指纹识别结合 起来进行安全入口控制的产品, 两者结合可使错 误接受率仅为百万分之一。 将不同对象的识别方 法结合起来进行研究, 可提高技术的实用性, 同时 还将提高身份或车辆认证的可靠性及安全性。
图 1 系统流程图
2 算法设计
1) 车牌预处理与定位。汽车牌照的定位及字 符分割是车牌识别的关键, 是典型的复杂背景下 目标提取问题[1]。 车牌区域只占摄取的汽车图像 的一小部分, 而且位置不固定, 大小尺寸也不同, 还有车牌识别的图像获取大多是在户外进行, 存 在诸如天气、背景、车牌污损、图像倾斜等干扰因 素, 使照片的质量很难保证; 因为其它字符区域的 干扰以及车牌特征的多样性, 使车牌难以准确定 位。本系统采用基于投影法 (水平投影法和垂直投 影法) 的车牌定位方法, 具体步骤如下: 图像灰度 化、二值化、削弱背景干扰、滤波、车牌区域分割、 车牌区域裁剪[2 ]。
人脸识别和车牌识别都是模式识别和计算机视觉等领域中的重要问题也是当前人工智能研究中的热人脸识别和车牌识别就是对获取的包含人脸和车牌的图像进行检测定位分割出人脸或车牌的位置并利用计算机进行分析和处理从中提取出有效的识别信息用来进行人或车辆的身份辨认的技术
车牌与人脸识别系统的设计与实现—— 陈燕龙 肖南峰
现有的各种方法对人脸识别与车牌识别各具 优缺点。 单独使用一种方法往往只能顾及某些方 面的需要, 问题的复杂性使得仅仅单独使用一种 现有的方法是不可能取得很好的识别效果, 所以 各种方法的综合应用以及与其它学科 (如生理学、 心理学等) 研究成果的结合已成为目前研究的一
收稿日期: 2005204219 3 广东省自然科学基金项目资助 (批准号: 36552)
21
车牌与人脸识别系统的设计与实现3
陈燕龙 肖南峰
(华南理工大学 广州 510641)
摘 要 在智能交通等领域, 各种车辆牌照识别系统已逐步得到应用。 但对单个对象 (车牌) 的识别还存在一些不足, 其主要原因是不符合人类认知的规律。 文章认为多个对象的结合识别是 将来模式识别发展的一个方向, 文章对车牌和人脸的识别进行了一些探索。
HMM 模型是一种用参数表示的, 用于描述 随机过程统计特性的概率模型[8]。 人脸的 HMM 模型可取 5 个超状态分别表示额头、眼睛、鼻子、 嘴巴和下巴, 是一个从左到右的一维 HMM 过 程[9 ], 如图 5 所示。
bm (k + 1) = bm (k ) - Αsm
(4)
3) 人脸预处理与定位。人脸检测的方法主要
有基于统计的方法和基于知识的方法两大类。 其
中基于知识的方法又可分为基于轮廓规则、基于
器官分布规则、基于肤色或纹理规则、基于对称性
规则的方法等。本系统采用基于肤色、轮廓规则的
方法结合相似度的人脸检测算法。 常用的色彩空
23
反向传播
aM = - 2FM (nM ) ( t - a) ,
Байду номын сангаас
sm = Fm (nm ) (W m + 1) T sm + 1,
m = M - 1, …, 2, 1
(3)
式中: s 为敏感性。最后用最速下降法更新权值和
偏置:
W m (k + 1) = W m (k ) - Αsm (am - 1) T ,
本系统原理如下。 当车辆经过收费或监控关 卡时, 采用图像设备获取车牌和司机人脸图像 (可 预先设置刷卡装置, 司机人脸图像可在司机打开
22
交通与计算机 2005 年第 4 期 第 23 卷 (总第 125 期)
车窗刷卡时获取, 参见图 4) , 然后应用本系统进 行识别。本系统主要包括 4 个独立的模块, 如图 1 所示。
s= n+ m + a
(1)
式中: s 为隐层结点数; n 为输入层结点数; m 为输
出层结点数; a 为 1～ 10 间的常数。 实验表明, 采
取的隐层结点数为 10～ 12, 输出层结点数为 4
时, 训练时间最短, 识别率效果最好。 另外学习速
率的选取范围一般是 0. 01～ 0. 9, 取值过小迭代
间有 R GB、H IS、YCbC r 等, 本系统采用 A n il k. J a in 等[6 ] 提出的变形 YC bC r 肤色模型, 其中 Y 为 亮度, C b 为饱和度, C r 为色调。其关键技术在于非 线性分段色彩变换, 其变换公式为
Cθb (Y ) =
(C i (Y ) -
Cθ
i
目前人脸识别与车牌识别提出的各种各样的 算法各有所长, 一般要根据不同的情况设计不同 的算法。 本文介绍笔者开发的车牌与人脸识别系 统的设计和实现。
1 系统的设计
系统在运行的过程中, 主要进行的都是图像 处理, 即大量的数据处理, 所以对处理器和内存要 求较高, CPU 要求主频为 600 H z 或以上, 内存为 128 M B 或以上。系统可以在W indow s 98、W in2 dow s M e、W indow s 2000 或 W indow s XP 等操 作系统下运行, 程序开发使用M icro soft V isua l C+ + 6. 0 和 In tel 公司的 IPL 及 O p en CV 图像视 觉库平台。
本系统采用的B P 网络是基于梯度下降法的 理论[4, 5 ]。其中心思想是, 每个权值都是M 维误差 空间中的一个元素, 在误差空间中权值作为独立 的变量, 并且相应误差表面的形状由训练集合和 误差函数共同决定, 每当一个样本或一批样本进 行训练时, 网络就会小幅度调整权值的大小, 使误 差函数沿着误差减小最快的方向下降。 本系统采 用具有一个隐层的 3 层 B P 网络, 其中各层结点 (神经元) 数的确定是 B P 网络设计的关键。 为缩 短 B P 网络的训练时间, 车牌定位后归一化的图 像宽度和高度分别设定为 8 和 16, 因特征提取采 用逐像素特征提取法, 故 B P 网络的输入层结点 数为 8×16= 128。隐层和输出层结点数的选取可 以参考以下公式
器官, 并且利用这种数值特征对人脸进行识别, 但 是简单地利用一组数值特征不能满意地解决人脸 识别问题。另一方面, 视觉识别人脸的机制是十分 微妙的, 人们对此的认识还非常肤浅, 我们理解, 人脸应当作为一个整体来描述, 不仅仅包括各个 器官的不同表象和相互关联。 而隐马尔科夫模型 (HMM ) 则为我们提供了解决这一问题的一种机 制。按照这种模型, 观测到的一列特征被看成是另 一组不可观测的“状态”产生出的一列实现。 因而 可以用不同的 HMM 参数来表征, 而同一个人由 于姿态和表情变化产生的多观察可以通过同一个 HMM 模型来表征。 基于 HMM 的人脸识别方法 具有 3 个方面的优点: ① 能够允许人脸有表情变 化, 较大的头部转动; ② 扩容性好, 即增加新样本 不需要对所有的样本进行训练; ③ 较高的识别 率。另外, 由于大部分训练可以在建立数据库时完 成, 所以计算时间也是可以接受的。
0 引 言
人脸识别在身份认证、视觉监控以及人机接 口等安全领域有着广泛的应用前景, 车牌识别在 智能交通等领域同样具有非常重要的作用。 人脸 识别和车牌识别都是模式识别和计算机视觉等领 域中的重要问题, 也是当前人工智能研究中的热 点, 得到了国内外计算机界的广泛重视。 广义地 说, 人脸识别和车牌识别就是对获取的包含人脸 和车牌的图像进行检测、定位, 分割出人脸或车牌 的位置, 并利用计算机进行分析和处理, 从中提取 出有效的识别信息, 用来进行人或车辆的身份辨 认的技术。 它们涉及到模式识别、图像处理、计算 机视觉、生理学、心理学及认知科学等诸多学科的 知识。
计算相似度时, 采用如下的肤色相似度公 式[ 3 ]
P ( r, b) = exp [ - 0. 5 (x - m ) TC - 1 (x - m ) ]
(6)
图 4 司机人脸定位结果
4) 人脸特征提取与识别。 目前, 人脸识别主 要可分为基于人脸整体特征的方法和基于人脸局 部特征的方法两大类[7]。 一种识别方法的效果如 何, 取决于它在多大程度上利用了图像的原始信 息。 我们可以利用一组数值特征来描述人脸各个
关键词 车牌识别; 人脸识别; B P 网络; 隐马尔科夫模型 中图分类号: T P391. 4 文献标识码: A Abstract: In the dom a in s of in telligence traffic, va riou s veh icle num ber p la te system s have been u sed step by step. B u t the recogn ition of the single ob ject is still fa r from p erfect. T he m a in rea son is tha t it does no t acco rd w ith the p eop le’s app ercep tion ru le. T h is p ap er ho lds the op in ion tha t the recogn ition of the com b ina tion of the m u lti2ob jects is the righ t w ay to the p a ttern recogn i2 tion in the fu tu re. T he p ap er m akes som e resea rches on the recogn ition of the veh icle licen se p la tes and hum an faces. Key words: veh icle num ber p la te recogn ition; hum an face recogn ition; back p rop aga tion neu2 ra l netw o rk; H idden M a rkov M odel
图 2 车牌原始图像
图 3 车牌定位结果 (放大图)
2) 车牌特征提取与识别。目前字符识别方法 主要有基于模板匹配算法和基于人工神经网络算 法[3]。 基于模板匹配算法首先把待识别字符二值 化并将其尺寸大小缩放为字符数据库中模板的大 小, 然后与所有的模板进行匹配, 最后选最佳匹配 作为结果。由于这种匹配算法稳定性较差、时间花 费也较大, 因此在此基础上提出了基于关键点的 匹配算法。 此算法先对待识别字符进行关键点提 取, 然后对关键点去噪, 最后再确定字符的分类。 这种匹配算法只利用了字符的关键点进行匹配,
因此提高了识别速度, 具有较高的识别率。基于人 工神经网络的算法主要有两种: 一种是先对待识 别字符进行特征提取, 然后用所获得的特征来训 练神经网络分类器; 另一种方法是直接把待处理 图像输入网络, 由网络自动实现特征提取直至识 别出结果。前一种方法识别结果与特征提取有关, 因特征提取比较耗时, 因此好的特征提取方法是 关键。后一种方法无须特征提取和模板匹配, 但对 于高维的样本, 相关技术的要求较高。本系统采用 的是人工神经网络的前一种方法, 先采用逐像素 特征提取法进行特征提取, 然后用目前使用最为 广泛的B P (back p rop aga t ion) 网络进行识别。
(Y
)
)
W W Ci
Ci
(Y
)
+
Cθ i (Y ) ,
Y < Ki 或Kh < Y, i = b或 r
C i (Y ) , K i ≤ Y ≤ K h
(5) 式中: 常数 K i, K h 为非线性分段色彩变换的分段 域值, Cθb (Y ) , Cθ r (Y ) 分别为肤色区域的中轴线, W Cb (Y ) ,W Cr (Y ) 分别为肤色区域的宽度。
次数明显增加, 训练时间过长; 而取值过大, 则会
导致系统的不稳定。
训练B P 网络的公式如下。 信息的正向传播
a0 = P , am + 1 = f m + 1 (w m + 1am + bm + 1)
m = 0, 1, …,M - 1, a = aM
(2)
车牌与人脸识别系统的设计与实现—— 陈燕龙 肖南峰
种趋势; 另一方面, 不同对象的识别结合起来进行 识别则是另一个提高识别效率的途径, 如美国产 品 FaceKey 是一个将人脸识别与指纹识别结合 起来进行安全入口控制的产品, 两者结合可使错 误接受率仅为百万分之一。 将不同对象的识别方 法结合起来进行研究, 可提高技术的实用性, 同时 还将提高身份或车辆认证的可靠性及安全性。
图 1 系统流程图
2 算法设计
1) 车牌预处理与定位。汽车牌照的定位及字 符分割是车牌识别的关键, 是典型的复杂背景下 目标提取问题[1]。 车牌区域只占摄取的汽车图像 的一小部分, 而且位置不固定, 大小尺寸也不同, 还有车牌识别的图像获取大多是在户外进行, 存 在诸如天气、背景、车牌污损、图像倾斜等干扰因 素, 使照片的质量很难保证; 因为其它字符区域的 干扰以及车牌特征的多样性, 使车牌难以准确定 位。本系统采用基于投影法 (水平投影法和垂直投 影法) 的车牌定位方法, 具体步骤如下: 图像灰度 化、二值化、削弱背景干扰、滤波、车牌区域分割、 车牌区域裁剪[2 ]。
人脸识别和车牌识别都是模式识别和计算机视觉等领域中的重要问题也是当前人工智能研究中的热人脸识别和车牌识别就是对获取的包含人脸和车牌的图像进行检测定位分割出人脸或车牌的位置并利用计算机进行分析和处理从中提取出有效的识别信息用来进行人或车辆的身份辨认的技术
车牌与人脸识别系统的设计与实现—— 陈燕龙 肖南峰
现有的各种方法对人脸识别与车牌识别各具 优缺点。 单独使用一种方法往往只能顾及某些方 面的需要, 问题的复杂性使得仅仅单独使用一种 现有的方法是不可能取得很好的识别效果, 所以 各种方法的综合应用以及与其它学科 (如生理学、 心理学等) 研究成果的结合已成为目前研究的一
收稿日期: 2005204219 3 广东省自然科学基金项目资助 (批准号: 36552)
21
车牌与人脸识别系统的设计与实现3
陈燕龙 肖南峰
(华南理工大学 广州 510641)
摘 要 在智能交通等领域, 各种车辆牌照识别系统已逐步得到应用。 但对单个对象 (车牌) 的识别还存在一些不足, 其主要原因是不符合人类认知的规律。 文章认为多个对象的结合识别是 将来模式识别发展的一个方向, 文章对车牌和人脸的识别进行了一些探索。
HMM 模型是一种用参数表示的, 用于描述 随机过程统计特性的概率模型[8]。 人脸的 HMM 模型可取 5 个超状态分别表示额头、眼睛、鼻子、 嘴巴和下巴, 是一个从左到右的一维 HMM 过 程[9 ], 如图 5 所示。
bm (k + 1) = bm (k ) - Αsm
(4)
3) 人脸预处理与定位。人脸检测的方法主要
有基于统计的方法和基于知识的方法两大类。 其
中基于知识的方法又可分为基于轮廓规则、基于
器官分布规则、基于肤色或纹理规则、基于对称性
规则的方法等。本系统采用基于肤色、轮廓规则的
方法结合相似度的人脸检测算法。 常用的色彩空
23
反向传播
aM = - 2FM (nM ) ( t - a) ,
Байду номын сангаас
sm = Fm (nm ) (W m + 1) T sm + 1,
m = M - 1, …, 2, 1
(3)
式中: s 为敏感性。最后用最速下降法更新权值和
偏置:
W m (k + 1) = W m (k ) - Αsm (am - 1) T ,
本系统原理如下。 当车辆经过收费或监控关 卡时, 采用图像设备获取车牌和司机人脸图像 (可 预先设置刷卡装置, 司机人脸图像可在司机打开
22
交通与计算机 2005 年第 4 期 第 23 卷 (总第 125 期)
车窗刷卡时获取, 参见图 4) , 然后应用本系统进 行识别。本系统主要包括 4 个独立的模块, 如图 1 所示。
s= n+ m + a
(1)
式中: s 为隐层结点数; n 为输入层结点数; m 为输
出层结点数; a 为 1～ 10 间的常数。 实验表明, 采
取的隐层结点数为 10～ 12, 输出层结点数为 4
时, 训练时间最短, 识别率效果最好。 另外学习速
率的选取范围一般是 0. 01～ 0. 9, 取值过小迭代
间有 R GB、H IS、YCbC r 等, 本系统采用 A n il k. J a in 等[6 ] 提出的变形 YC bC r 肤色模型, 其中 Y 为 亮度, C b 为饱和度, C r 为色调。其关键技术在于非 线性分段色彩变换, 其变换公式为
Cθb (Y ) =
(C i (Y ) -
Cθ
i
目前人脸识别与车牌识别提出的各种各样的 算法各有所长, 一般要根据不同的情况设计不同 的算法。 本文介绍笔者开发的车牌与人脸识别系 统的设计和实现。
1 系统的设计
系统在运行的过程中, 主要进行的都是图像 处理, 即大量的数据处理, 所以对处理器和内存要 求较高, CPU 要求主频为 600 H z 或以上, 内存为 128 M B 或以上。系统可以在W indow s 98、W in2 dow s M e、W indow s 2000 或 W indow s XP 等操 作系统下运行, 程序开发使用M icro soft V isua l C+ + 6. 0 和 In tel 公司的 IPL 及 O p en CV 图像视 觉库平台。