基于HOG和颜色特征的行人检测

第33卷 第4期
2011年4月武 汉 理 工 大 学 学 报JOURNAL OF WUHAN UNIVERSITY OF TECHNOLOGY V ol.33 N o.4 A pr.2011DOI:10.3963/j.issn.1671 4431.2011.04.030
基于HOG 和颜色特征的行人检测
曲永宇,刘 清,郭建明,周生辉
(武汉理工大学自动化学院,武汉430070)
摘 要: 基于梯度方向直方图(H OG )特征的行人检测是目前检测精度较高的主流方法。

针对基于梯度直方图特征的行人检测存在检测精度还有待提高、向量维数大的问题,提出使用梯度直方图统计特征加颜色频率和肤色特征描述行人,选取一些分类能力较强的block 作为最后的特征,使用线性SV M 分类。

在IN RIA 库上的实验证明,该方法能有效地提高检测精度。

关键词: 行人检测; 梯度直方图(HO G); 颜色特征; block 选择
中图分类号: T P 751.1文献标识码: A 文章编号:1671 4431(2011)04 0134 05
HOG and Color Based Pedestrian Detection
QU Yong y u,L I U Qing ,G UO J ian ming ,ZH O U S heng hui
(Scho ol o f A uto matio n,Wuhan U niv ersity of T echno lo gy ,W uhan 430070,China)
Abstract: H istog r am o f or iented g radient(H OG )based on pedestr ian detect ion is the popular method w ith t he hig hest detection rat e curr ent ly.T o further im pr ove its detection r ate and decrease its larg e dimensions o f feat ur es,this paper in tegr ates HO G w ith color frequent and skin colo r feature to descr ibe pedestr ian,w e select some blo ck features w ith better classify ing ability as t he final featur e,then use linear SVM as our classifier.T he ex per iment o n IN RI A demo nstr ates t he hig h detection r ate of our met ho d.
Key words: pedestr ian detection; hist og ram of o riented gr adient(HO G); color featur e; blo ck selection
收稿日期:2010 08 15.
基金项目:湖北省自然科学基金(2009CD B403)和武汉理工大学自主创新研究基金(2010 Va 012).作者简介:曲永宇(1987 ),女,硕士生.E mail:quyong yu163@ 行人检测在视频监控[1]
、机器人学、虚拟现实技术等领域有广泛的应用,也是计算机视觉和模式识别领域中的重要研究方向。

不同行人的身材、姿势、视角和衣着、光照方面都有着极大的变化,加之复杂的背景场景以及摄像头自身的移动和晃动,这都是行人检测问题的难点。

如何快速、准确地从视频或者图像背景中将行人检测出来,仍然是一个研究热点。

目前行人检测的方法主要分为3类:第1类是基于确定人体模型的方法[2 3],但是模型的求解比较复杂;第2类是基于模板匹配的方法[4 6],但由于行人的多态性很难构造出足够的模板;第3类是基于统计分类的方法,此方法通过提取人体的各种特征,然后利用模式识别的方法进行分类。

在这类方法中最具影响的是2005年DALA L 提出的基于梯度方向直方图(H istogr am of Oriented Gradient,简称H OG)的特征描述行
人[7]的方法,由于H OG 特征描述了图像局部区域的梯度强度和梯度方向的分布情况,该分布情况对局部对象外观和形状可以进行很好的表征,因此表现出了优良的检测性能,成为目前行人检测的主流方法。

其缺点是提取的人体特征向量维数较大,使得特征提取及分类器的训练和分类的计算量都很大,严重影响了系统速度。

随后学者们对DALAL 的方法进行了改进,使其不断完善。

典型的有:2006年Zhu 和Vio la 等人把人脸检测领域的Boosted Cascade 算法引进到行人检测中[8 9],并增加了H OG 特征的个数,对检测速度有很大的提高,但是该方法的训练时间过长;黄茜等人在计算H OG 特征时引入了积分向量图[10],使用线性SVM 作为弱分类器进行级联训练,用SMO 解决SVM 的二次规划问题,节省了计算时间。

作者在H OG 特征的基础上,增加了能够表征头脸部位信息的颜色频率特征和具有较强辨识度的肤色特征来表征行人;借鉴cascade 的思想,采取两级串联分类,通过选取一些分类能力较强的block 特征降维后,再用线性SVM 进行训练检测。

1 特征提取
已有研究表明,结合不同种类特征的特征集可以明显提高检测精度,也就是说获得的信息越多,对行人的检测就越有利。

站立的行人有一些明显的特征,如身体周围的竖直边缘具有较好的辨识度,头/脸部位有一些特殊的颜色信息以及人体的肤色信息,因此用梯度、颜色信息可以提供一个行人的重要信息。

因此文中提出提取以下特征来描述行人:大小可变的block 的H OG 特征、H SV 空间计算梯度时得到的颜色频率特征和人体的肤色特征。

1.1 HOG 特征
H OG 特征是一种局部区域描述符,它通过计算局部区域上的梯度方向直方图来构成人体特征,能够很好地描述人体的边缘。

它对光照变化和小量的偏移不敏感。

输入图像中像素点(x ,y )的梯度为
G x x ,y =H x +1,y -H x -1,y
G y x ,y =H x ,y +1-H x ,y -1
(1)式中,G x (x ,y )、G y (x ,y)、H (x ,y )分别表示输入图像中像素点(x ,y )处的水平方向梯度、垂直方向梯度和像素值。

像素点(x ,y )处的梯度幅值和梯度方向为
G
x ,y =G x (x ,y )2+G y (x ,y )
2(2) x ,y =tan -1
G y x ,y G x x ,y
(3)
H OG 特征提取步骤:把样本图像分割为若干个8 8
像素的单元(cell),把[- /2, /2]的梯度方向平均划分为
9个区间(bin),在每个cell 内对所有像素的梯度幅值在各
个方向bin 区间进行直方图统计,得到一个9维的特征向
量,每相邻4个单元为一个块(blo ck),把4个单元的特征
向量联起来得到块的36维特征向量,用blo ck 对样本图像
进行扫描,扫描步长为一个cell,最后将所有blo ck 的特征
串联得到人体的特征。

图1为H OG 特征的示意图。

在DAT AL 的方法中所有块的大小是固定的,获得的信息有限,不能获得较为完整的信息,文中采用Zhu 论文中大小可变的blo ck 提取H OG 特征,采用的block 的宽高比分别为(1 1)、(2 1)、(1 2)。

blo ck 的大小变化从16 16到64 128,每个block 平均分为4个cell 单元。

每个block 的移动步长仍为8个像素,这样总共得到438个block,每个block 内H OG 特征使用式(4)规则进行归一化。

v v v 1+ (4)式中,v 为待归一化向量; 用来避免分母为0,实验中取 =0.05。

为了提高计算速度,在计算H OG 特征时引入积分向量图[3],先用9个积分直方图来分别表示各像素点在9个梯度方向的梯度积分图,这样在对梯度方向离散化时就不能用三角线性投票方式。

利用积分图对任何一个矩形区域内的直方图统计用4个角的积分值可快速计算得到,这样避免了由于block 的重叠造成的135第33卷 第4期 曲永宇,刘 清,郭建明,等:基于HO G 和颜色特征的行人检测
重复计算,提高了计算速度。

1.2 颜色频率特征
虽然行人的衣着变化较大,但在一些身体部位仍能提取比较有特点的颜色信息,比如头/脸部位,这些信息可以用被称为颜色频率的特征来表示。

文中的H OG 特征是在H SV 空间计算的,选取3个颜色空间中梯度幅值最大的计算每个像素点的梯度值和方向,一些颜色信息就可以用每个颜色空间被选择的次数来表示。

统计方法为:每个block 都用一个3维的直方图分别统计H 、S 、V 3个颜色空间被选择的次数,得到一个3维的颜色频率向量,再用公式(4)对其归一化。

这样每个blo ck 只用一个3维的向量就可以表示一些颜色信息,实验证明该颜色向量能有效地改善检测效果。

1.3 肤色特征
由文献[11]和文献[12]可知,人脸的肤色在YCrCb 空间具有很好的聚类性,肤色信息已经在人脸检测领域得到了很好的应用,它在人脸定位识别方面的作用很强大。

也就是说肤色在CrCb 空间的值只集中在某一个范围内,可以利用这个特点把它与背景和其它颜色区分开。

如果在每个block 内都加入一个表示肤色的6维向量,则当block 遍历完各检测窗后,就能在一定程度上表示行人肤色的一些信息,即使有些行人没有露出肤色部位。

实验结果表明,增加的肤色向量对检测精度的提高很有效。

采集INRIA 行人库正样本中行人的肤色图片,
然后在CrCb 空间分别进行直方图统计,图2显示了
肤色在该空间具有很好的聚类性。

由图2(a)可见,
肤色在Cb 空间主要聚集在RCb [100,135]范围内,
而由图2(b)可见,肤色在Cr 空间主要聚集在
RCr [130,160]范围内。

据此把Cb 和Cr 空间分别
划分为3个区间,即幅值小于、属于和大于该范围的
3个区间,然后对像素个数作直方图统计就可得到
肤色特征。

统计方法为:在每个block 内,分别在Cb 和Cr 空间对像素点的个数进行三维的直方图统计,直方图的区间划分由RCb 和RCr 决定,每个block 得到一个6维的肤色向量,然后用式(4)对其归一化。

2 block 选择
经过上面3种特征提取之后,每个block 内的特征向量有45维,总共有438个block,这样一个检测窗口的特征维数很大,特征向量的提取、分类器的训练与分类中计算量都比较大。

针对特征维数太大的问题文中提出一种比较简单的降维方法,即根据各个block 块的分类能力只选择一些对分类有显著作用的block 作为最终的特征,这样就大大降低了行人的特征维数。

如果特征的分类能力比较强,用较弱的分类器就能达到相对较好的效果,因此文中使用速度较快的线性SVM 作为分类器就可以达到理想的检测效果。

实际应用中检测图片时,大量的检测窗口是没有目标的,真正感兴趣的检测窗口只占极少数。

为了提高检测速度,借鉴cascade 的思想,检测分级进行,每一级分类器都能排除大量的非人窗口,只有通过前一级分类器的窗口才进入后一级的检测。

采用两级的串联分类器,第一级分类器只用少量的特征进行粗检测,并通过调整阈值让分类器的漏检率几乎为0,使所有目标窗口都能通过。

第二级分类器对所有通过第一级检测
的窗口进行精检测。

分别用各个blo ck 块的特征训练438个分类器,然后在测试样本
上得到它们的检测率,并根据检测率进行排序。

由于加入了颜色信
息,可以看到排在前4个的block 区域分布在头部和腿部(如图3所
示)。

在第一级检测中使用前5个blo ck 的特征训练分类器进行粗检
测,并使它的漏检率在测试集上为0。

第二级检测中使用前60个
blo ck 的特征训练分类器进行精检测,实验表明此时的检测率最高,当
再增加blo ck 的个数时,检测率并无改善,甚至会有所降低。

每一级的分类器训练后都在非人图片上进行遍历,把误报的检测窗口加入训练集进行一次重复训练,使分类效果更精确。

136 武 汉 理 工 大 学 学 报 2011年4月
3 实验与结果
为证明该实验方法的有效性,并能与其它文献中的结果相比较,实验在IN RIA 样本库上进行。

训练集为样本库中的2416个正样本(64 128)和1218张非行人图片中随机采集的7000个负样本(64 128)。

测试集为样本库中的1132个正样本(64 128)和454张非行人图片中随机采集的7000个负样本(64 128)。

该样本库中行人的服饰、姿态、光照和视角等因素的变化很大,是一个难度非常高的数据库。

把只用H OG 特征的方法与用H OG +Color (颜色频率和
肤色)特征的方法的检测效果对比。

两种特征提取方法在检测
效果最好时需要的block 特征个数不一样,由于此时主要比较
检测精度,这里把两种方法的最好检测效果进行对比。

采用文
献[1]中的评价方法,记录测试样本在分类器上的输出,并通过
调节分类器的阈值得到DET (detectio n error tr adeo ff )曲线
(如图4所示),X 轴代表误报率(false positives per w indow ,
FPPW),它由FalsePos/(T rueNeg +FalsePos)计算得到,Y 轴
代表漏检率(miss rate),它由FalseNeg/(FalseNeg +Tr u
eNeg)计算得到。

可以看到加入颜色特征后,当误报率小于
0.01时,漏检率明显降低,显然加入的颜色特征使检测精度明显提高。

当得到438个block 的特征后,用第3部分介绍的方法对block 特征进行排序。

第一级只使用前5个blo ck 的特征训练检测,并调节分类器阈值使该步分类器在测试集上的漏检率为0,只有第1步检测的结果是目标的检测窗口才能进行第2步精检测。

这样的两步检测方法没有改变检测精度,却节省了检测时间。

文中的方法1s 可以检测3200个检测窗口,速度仍有优化的可能,这比文献[1]的速度要略低一些,这是由于文中在不同颜色空间计算颜色特征消耗了一些时间。

但考虑到文中方法对精度的提高有效,速度还可引入其它算法进一步改进,文中方法还是有效的。

文中的实验平台为P4,2.39GH z 、1.89GB 内存的PC 机。

4 结 语
提出了一种融合H OG 特征和颜色频率及肤色特征的行人检测方法,改善了检测效果,并在INRIA 样本库上验证了此方法的有效性。

由于文中的特征计算需要在不同的颜色空间进行,而且检测时的特征选择方法比较简单,导致最后使用的特征向量维数还是比较多,尽管采用了两级串联分类,通过选择分类能力较好的block 特征的方法进行降维处理,使用线性SVM 检测时速度还不够快。

针对文中工作的不足,下一步研究将使用更好的降维方法,或者引入Adaboo st 分类器来提高检测速度。

参考文献
[1] H arit aog lu I,H arw oo d D,Davis L S,et a1.R eal time Surv eillance o f People and T heir A ctiv ities[J].T ransactions on
Pat tern Analysis and M achine Intelligence,2000,22(1):809 830.
[2] Fujiyo shi H,L ipt on A J,Patil R S.M oving T arg et Classificatio n and T racking fr om Real time V ideo[C]//Pr ocessing o f
IEEE Wor ksho p o n A pplicatio ns o f Co mputer Vision.P rinceton:[s.n.],1998:8 14.
[3] O ren M ,P apag eor gio us C,Sinha P,et al.Pedest rian Detectio n U sing Wavelet T emplates[C]//Pro ceedings o f the I EEE
Conference o n Com puter V ision and Patter n R eco gnition.San Juan:[s.n.],1997:193 199.
[4] V iola P,Jonesm J,Sno w D.Detecting Pedestrians U sing Patt erns of M o tio n and A ppear ance [C]//IEEE Internatio nal
Conference o n Com puter V ision.N ice:[s.n.],2003:734 741.
[5] M iko lajczyk K,Schmd C,Zisserman A.H uman Detection Based on a P robabilistic A ssembly of Robust Part Detectors[C]//
Proceedings of European Conference on Computer V isio n.Berlin:Springer verlag,2004:69 82.
[6] 潘 锋,王宣银.基于支持向量机的复杂背景下的人体检测[J].中国图像图形学报,2005,10(2):183 186.
[7] Dalal Nar neet,T rig gs Bill.H isto gr ams of O r iented G radients for H uman D et ection[C]//P roceeding s o f IEEE Confer
ence on Computer V ision and P attern Recog nitio n.San Diego:[s.n.],2005:886 893.
[8] Zhu Q ians,A vidan Shai,Y ehM ei Chert.F ast H uman D etection U sing a Cascade o f H istog rams of Or ient ed G radients 137第33卷 第4期 曲永宇,刘 清,郭建明,等:基于HO G 和颜色特征的行人检测
138 武 汉 理 工 大 学 学 报 2011年4月
[C]//Pr oceeding s o f IEEE Conference o n Co mputer V ision and Patter n R eco gnition.N ew Y or k:[s.n.],2006:1491
1498.
[9] V io la P aul,M ichael Jones.Robust Real time Face Detection[J].Internatio nal Jour nal o f Com puter V ision,2004,57(2):
137 154.
[10]黄 茜,顾杰峰,杨文亮.基于梯度向量直方图的行人检测[J].科学技术与工程,2009,9(13):3646 3651.
[11]Chai D,N gan K N.L ocating Facial R egio n o f a H ead and sho ulder s Co lor Images[C]//P ro c T hird Int l Co nf.
N ara:[s.n.],1998:124 129.
[12]Doug las C,K ing N N.F ace Seg mentation U sing Skin Color M ap in V ideo Phone A pplicatio ns[J].IEEE T r ans,1999,
9(4):551 564.
(上接第50页)
参考文献
[1] 中国人民解放军总装备部.GJB4239 2001 装备环境工程通用要求[S].北京:中国人民解放军总装备部,2001.
[2] 马丽娥.舰船武器装备环境适应性研究与分析[J].舰船科学技术,2006,28(2):42 44.
[3] 吴红光,董洪远,齐 强.舰载武器装备海洋环境适应性研究[J].海军航空工程学院学报,2007,22(1):161 165.
[4] 张彩先,蒋晓彦,孙 艳,等.直升机东南沿海地区环境适应性研究[J].装备环境工程,2009,6(1):66 70.
[5] 王彦磊,袁 博,朱尚卿,等.海洋环境对潜艇活动的影响[J].舰船科学技术,2010,32(6):52 55.
[6] 祝耀昌,王 丹.武器装备环境适应性要求探讨[J].航天器环境工程,2008,25(5):416 422.
[7] 朱 蕾,王连杰,许 明,等.装备环境适应性仿真技术的发展探讨[J].装备环境工程,2007,4(3):91 97.
[8] 李曙林,杨 森,孙 冬.军用飞机环境适应性评价模型[J].航空学报,2009,30(6):1053 1057.
[9] 王 群,陈之光,汪文峰.基于灰色理论的电子装备环境适应性评价模型[J].装备环境工程,2010,7(6):94 98.
[10]武月琴,傅 耘,敖 亮.典型环境条件下装备环境适应性的评估方法[J].装备环境工程,2010,7(6):109 112.
[11]赵进刚.舰用蒸汽动力装置特用的环境适应性[J].船舶工程,2010,32(5):19 22.。