融合人脸与步态周期模式的行人检测

融合人脸与步态周期模式的行人检测
王宝玉;贲晛烨;王科俊
【摘要】提出多自由度的多核跟踪MeanShift算法,其在运动人体目标与背景图像的颜色信息较为接近时仍能鲁棒地跟踪.将所提出的跟踪算法用于融合人脸与步态周期模式的行人检测新算法,将闭环的控制思想引入到行人检测中,即通过步态周期和相应的跟踪反馈验证的理论方法来解决行人检测中误报率高的问题;还对行人部分轮廓存在遮挡的情况提供行人检测的新思路,即通过检测人脸来确定检测对象是否是行人,以解决当前行人检测算法检测率低的问题.
【期刊名称】《应用科技》
【年(卷),期】2012(039)001
【总页数】7页(P44-50)
【关键词】行人检测;人脸检测;步态周期检测;多自由度;多核跟踪MeanShift
【作者】王宝玉;贲晛烨;王科俊
【作者单位】中国电子科技集团公司第二十七研究所,河南郑州450047;哈尔滨工程大学自动化学院,黑龙江哈尔滨150001;哈尔滨工业大学交通科学与工程学院,黑龙江哈尔滨150090;哈尔滨工程大学自动化学院,黑龙江哈尔滨150001
【正文语种】中文
【中图分类】TP391.41
我国城市道路交通系统的主要特点就是混合、低速、高密度，行人交通是影响我国
城市道路交通运行效率的主要因素之一，因此行人信息对实现安全高效的城市交通具有重要意义. 行人检测系统的目的是建立一个自主、智能的行人检测、智能车辆辅助驾驶系统，具有提高驾驶安全性、保障行人生命财产安全的重要意义和实用价值. 由于行人的物理特征，感应线圈、超声波检测器等方法不适用；激光检测器、GPS检测器等安装困难、维护成本高；多传感器融合集成系统虽然可以获得更好
的性能，但是成本也往往超过汽车本身，并且需要强大的计算平台支持. 目前一些汽车生产厂商、大学和研究机构相继开始了行人检测技术的研究. 以汽车生产厂商为代表的研究团队主要侧重研究红外、微波、激光等雷达这些昂贵的设备来降低行人检测的复杂度，获得更快的处理速度. 为了得到更好的性能，他们多研究多传感器融合系统的集成方法. 而视频检测系统采用图像处理、模式识别技术，具有不破坏路面、校准维护方便、计算复杂度相对多传感器融合的方案低得多，已成为一种重要的、有很好发展前景的行人检测方法. 并且基于视频检测系统所用的核心技术，例如特征提取和分类器的设计，很容易移植并推广到其他传感器（如红外传感器）系统中. 而基于视觉的行人检测系统更能获得大量的有效信息，研究者们希望依靠价格低廉的光学设备，通过算法的改进，同样也可以得到实时的检测速度和可靠的检测性能. 对行人特征典型的表达形式有：Haar特征[1]、3D Haar特征[2]、梯度方向直方图（HOG）特征[3]、边缘对称特征[4]、稀疏Gabor滤波器[5]、结构局部边缘模式矩[6]、shapelet特征[7]、edgelet特征[8]、小波特征、边缘密度特征[9]、一阶马尔科夫过程的形状转移模型[10]、纹理边缘描述子[11]、方向滤波的金字塔统计[12]、形状上下文[13]、颜色通道的自相似度[14]、凸壳形状描述子[15]、拉普拉斯特征映射、不变局部二元图[16]等. 基于统计模式识别的方法优点在于鲁
棒性好，缺点在于需要很多训练数据、遮挡问题难以解决.综上所述，行人检测的
研究大多从单帧图像的行人特征入手来判定可能存在行人的区域，忽略帧与帧之间的行人运动的周期特性，而此线索恰恰可以用来辅助行人检测.
本课题研究并提出融合人脸与步态周期模式的行人检测新算法，对行人的部分轮廓存在遮挡的情况提供行人检测新的思路；并将控制的思想也引入到行人检测中，以解决当前行人检测算法检测率低、误报率高的问题. 本研究也为推进行人检测技术的发展起到了作用，希望能够为获得一种新型的既具有实用价值，又具有高可靠性的行人检测系统提供参考.
1 融合人脸与步态周期模式的行人检测
当人脸图像较大时，文中提出的融合人脸与步态周期模式的行人检测系统流程如图1所示. 整体的思想就是采用AdaBoost人脸检测辅助AdaBoost行人检测，对候选行人人体进行跟踪，检测其周期性，若存在AdaBoost检测出的行人或者检测
出人脸，而且运动人体又存在着周期性，则确定此候选行人是行人；反之，若不存在周期性说明此检测是误解，重新再搜索图像中可能的行人和人脸.
人脸检测同行人检测流程相似. 它的每一层都是由AdaBoost算法训练得到的强分类器，从第1层分类器出来的正确结果触发第2层分类器，而从第2层出来的正
确结果将触发第3层分类器，以此类推. 相反，从任何一个结点输出的被否定了的结果都会导致对这个子窗口的检测立即停止. 通过设置每层的阈值，使得绝大多数人脸都能通过，而绝大部分的非人脸不能通过，这样靠近级联分类器后端的层拒绝了大部分的非人脸. 这些通过训练得到的每一层分类器，都要满足一定的性能要求，使得人脸的通过率大于f，而非人脸的通过率小于g. 一般要求f要尽量趋近1而g 小于0.5. 图1中的 f为0.998，g为0.5，其中v1是拒绝人脸通过的概率.
图1 融合人脸与步态周期模式的行人检测系统流程
步态周期检测模态的算法采用的是在文献[17]提出的基于区域特征分析的步态周期检测算法，它是将步态的周期问题转化为单帧图像的区域特征分析问题，即根据每帧中图形区域的特征变化情况来分析步态的周期. 该算法的整个系统框图如图 2所示.
图2 基于区域特征分析的步态周期检测
首先从视频中提取单帧图像进行灰度变换；然后选择不含人体的图像作为整个视频的原始背景图像，采用背景实时更新的背景减除法提取人体目标，Kapur熵阈值法对图像序列进行二值化处理，用数学形态学对二值化图像的空洞进行填充、单连通分析提取人的轮廓，使人体居中，将图像的大小均归一到64×64像素；最后对分割出的人体进行检测，将包含不完整人体的冗余帧去除. 对视频序列中正面和非正面步态采用k近邻分类器进行粗分类，若为正面步态，将下臂的摇摆区域像素点的数目变化作为依据；若为非正面步态，将面积、质心和边界框等区域特征作为判定依据. 将所得的信号平滑处理后求取极值点，第1次出现局部极值到第3次再出现局部极值所夹的图像序列即为一个步态周期.
2 AdaBoost行人检测和人脸检测
AdaBoost行人检测和人脸检测原理可参见文献[18-19]. AdaBoost可以分为3个部分：第1部分，用基于积分图计算的Haar-like特征表示人体(或人脸)；第2部分，用AdaBoost算法挑选出一些最能代表行人（或人脸）的矩形特征（弱分类器），按照加权投票的方式将弱分类器构造为一个强分类器；第 3部分，将训练得到的若干强分类器级联形成分层检测结构，这种结构能有效地提高分类器的检测速度.
为了满足动态行人（或人脸）检测对实时性的要求，采用的特征是“矩形特征”，如图3所示. 这些矩形特征以图像灰度值为自变量，在边缘检测方面有着很好的表现，对行人（或人脸）的各种特征有很好的提取和编码能力. 针对已经引入的Haar-Like矩形特征，算法仍然引入了积分图的概念，来进一步降低所需要的计算成本.
图3 矩形特征
图3中的这4种微结构特征组成样本的基本特征. 矩形特征的特征值大小只是特征
端点积分图的简单加减运算. 只要样本大小固定不变，其计算需要的时间就是一定的，并且只需要计算几个端点的灰度值而不需要计算图像中每个点的灰度值，从而缩短了计算时间.
对于只存在行人与车的室外环境，采用AdaBoost行人检测可很容易检测出行人（如图4所示）.
图4 户外行人检测结果
3 MeanShift行人跟踪
MeanShift是一种无参数密度估计算法，本小节先介绍一下无参数概率估计的相关理论，然后阐述改进的MeanShift算法.
3.1 核函数
核函数遵循以下特征：核函数是单峰的、对称的、有限局部支撑的. 单峰的核函数是指从中心向边缘的值能够迅速衰减为0；对称是指窗口以某条直线左右对称，并且窗口外的点为0；而有限局部支撑是指超过一定窗口宽度点的函数值均为 0. 除了以上的特点外，一维空间要求核函数满足以下条件：
式（4）中h是核函数的带宽.
假若给定一组n个一维空间的数据点的集合s ={ xi }i= 1,2,, n，其未知的概率密度函数为f(x)，那么x点处的密度利用核函数Kh(x)表示为
式中xi是核函数的中心点，即关于点xi图形对称. 核密度估计的含义可以解释为核估计器在以估计点为中心的窗口内计算数据点加权的局部平均，或者将在以每个采样点为中心的局部函数的平均效果作为该采样点概率密度函数的估计值.
3.2 运动人体目标跟踪的基本原理
为简化起见，仅考虑二维图像空间的情况. 在二维欧式空间中，给定n个点xi ∈
R2, i = 1,2, ,n 和一个正定的2×2带宽矩阵H，使用核 K( x)的多变量核密度估计为
式中：带宽矩阵H有2种形式，一种为比例单位阵形式，即 H =h2I；另一种是对角阵形式，即H =diag []. 文中采用第 2种形式，此时的核密度估计可以写成
若 K( x)中心对称，并且满足 K( x )= K( x)定义在x≥0的区间上可导，则 k( x)为K( x)的轮廓函数，而Ck, d为标准化常量因数. 则核密度估计可改写为
如果希望知道数据集合中密度最大的分布位置，可以对式（8）进行求导得到标准的密度梯度估计. 令g( x) =−k′(x)，对式（8）求梯度，可得
3.3 目标特征
利用目标矩形来描述运动人体目标. 目标矩形定义如下：该矩形有横、竖轴 2个对称轴，其轴的长度分别为带宽矩阵hH和hV. 从坐标平面的x轴正方向逆时针旋转到竖轴所形成的角 a定义为运动人体目标的倾角. 运动人体目标中心为(x 0, y0 )，其中任一点(x t, yt )到两轴的距离为其到两轴的垂线长度（如图5所示），而且运动人体的目标矩形有一个邻接矩形，其邻接矩形的边分别平行于x、y轴.
图5 目标矩形
假设运动人体目标的中心位置为0，首先利用梯度算子[−1 0 1]T和[− 1 0 1]与图像进行卷积，得到任意像素点yi的梯度幅值 m( yi )和梯度方向值θ( yi)，对于彩色图像仅需要保留最大的梯度幅值的颜色通道.
为了把梯度信息引入到核跟踪的框架中，必须利用直方图的形式进行表示. 但是如果针对运动人体的目标矩形仅提取一个直方图进行表示，则目标矩形的的局部形状
信息不能得到保留. 所以文中采用文献[20]的思想，将旋转的运动人体的目标矩形分块（如图6所示），然后针对每块分别来提取核函数加权后的梯度方向直方图. 为了获得不同尺度的信息，将目标矩形分为大小不同的小块，在提取每一个块的直方图时都采用一个核函数进行加权，以便于抑制边缘像素点的贡献，并且增加了每块的直方图表示对运动人体的目标矩形旋转的平滑性.
图6 分块梯度直方图特征提取
假设目标矩形分为J个矩形块，第 j块矩形块的中心位置为rj，那么该块的梯度方向直方图的计算公式为
式中：δ是Kronecker函数， kj表示第j块的矩形块采用的核函数，文中采用的核函数是 Epanechnikov核，b为每个像素梯度方向的方向值， Q j为第 j个矩形块矩阵Hj的归一化系数.
假设候选目标模型和目标模型的大小相同，各个子块的大小和所在位置也相同，中心位置位于y的候选目标模型中的第j个矩形块的梯度方向直方图出现的概率：
式中：P(y)j为第 j个矩形块的直方图的归一化系数，由于矩形块中的每个像素点梯度幅值的存在，使得归一化系数依赖于坐标y.
由于采用了diag，hHj、hVj分别反映第 j块中心的横、竖两轴的宽度，设点到该子块横竖两轴的距离分别为dHj、dVj，由于目标矩形旋转a倾角时，每个子块也会发生相应a倾角的旋转，因此核函数的输入由修改为
3.4 相似性函数
相似性函数是用来描述目标模型与候选目标模型之间的相似程度，在理想的情况下目标模型与候选目标模型的概率应该是完全一致的. 在文中的多核跟踪的
MeanShift算法中，选取Bhattacharyya系数作为相似性函数. 它的定义如下：为了体现目标模型与候选模型的相似程度，定义它们之间的距离为
由式（16）得，系数ρ( y)的值越大，目标模型与候选模型之间的距离越小，它们的相似程度也就越大. 运动人体目标跟踪过程中就变成了在当前帧中搜索对应于该运动人体目标新位置的过程，该位置将使得以y为自变量的距离函数取得最小值. 从前一帧中运动人体目标的位置开始搜索，在其周围邻域进行寻找. 假设在前一帧中运动人体目标的位置为y0，利用泰勒公式在位置y0进行展开，则式（15）可以线性近似为
在式（18）中，由于Epanechnikov核函数具有平滑性，p(y)j在y0附近可以用p( y0)j进行近似，
0故式（18）可以改为
利用 MeanShift算法来寻找邻域内该密度估计的最大值，在这个过程中，从y0到新位置y1的向量为
3.5 多自由度的多核跟踪算法搜索过程
在当前帧中以y0为起点，通过式（21）进行迭代得到运动人体目标在当前帧的位置，其流程如下：
1）将运动人体目标在当前帧中的位置初始化为y0，利用式（12）求取运动人体的候选目标模型：
然后再利用式（20）计算ρ(y)；
2）利用式（19）求取，然后再求取当前的位移向量Δ0 ；
3）利用式（12）求取p(y0+Δy0)j，再求取ρ(y0+Δy0)；
4）当ρ(y 0+Δy0 )< ρ(y0)时，执行Δ y0←0.5Δy0，再利用式（20）重新计算ρ(y0+Δy0)；一直到Δy0<ε，停止迭代；否则令y0←y0+Δy0，否则转到2）处. 在运动人体跟踪过程中，由于运动人体目标速度较慢，则运动人体目标跟踪未丢失时的过程如下：
1）横轴自适应. 将运动人体目标的一次跟踪过程重复4次，其中 2次是将hH的值按照hH原值分别增减5%，另外2次hH的值按照hH原值分别增减10%，然后找到多核跟踪算法收敛后系数ρ( y)最大时的hH值.
2）竖轴自适应. 将运动人体目标的一次跟踪过程重复4次，其中2次是将hV的值按照hV原值分别增减 5%，另外 2次 hV的值按照 hV原值分别增减10%，然后找到多核跟踪算法收敛后系数ρ(y)最大时的hV值.
3）倾角自适应. 将运动人体目标的一次跟踪过程重复4次，其中2次是将a的值按照a原值分别增减5°，另外2次a的值按照a原值分别增减10°，然后找到多核跟踪算法收敛后系数ρ(y)最大时的 a值.
为了减少计算量，使用以上 3个步骤交替进行对运动人体目标跟踪. 即上述步骤中对某一帧使用，下一帧换用其他的步骤.
4 实验
测来辅助行人检测，检测结果如图8所示. 为了验证文中提出的算法的有效性，选用背景复杂的视频，运动人体目标的颜色和背景的颜色信息较为相近，并且运动人体目标在跟踪中发生多个自由度变化. 当运动人体目标发生平移运动时，运动人体目标的跟踪窗口能够在横竖 2个方向上发生自动调整，实现鲁棒的跟踪. 即使在颜色相近的特殊情形，融合步态周期模式也能实现很好的行人检测，如图 7所示.
对于这种人脸足够大，而视频中的人身体成像不完整时，可用人脸检
图7 行人检测结果
图8 人脸检测效果
5 结束语
研究了 AdaBoost行人检测技术和改进的MeanShift算法实现对运动人体目标的跟踪过程. 介绍了 MeanShift算法在运动人体目标跟踪过程的基本原理，详细地阐述了目标特征表示运动人体目标的候选模板和目标模板，再通过相似性函数转换成求解概率密度函数的最大值问题. 从而将多自由度的多核函数引入到MeanShift中，实现了运动人体目标的多自由度跟踪，并且在运动人体目标和背景图像的颜色信息较为接近时仍能鲁棒地跟踪. 文中提出融合人脸与步态周期模式的行人检测新算法解决了当前行人检测算法的检测率低、误报率高的问题.
参考文献:
[1]VIOLA P, JONES M, SNOW D. Detecting pedestrians using patterns of motion and appearance[C]//Proceedings of International Conference on Computer Vision. Washington DC, USA, 2003: 734-741.
[2]CUI Xinyi, LIU Yazhou, SHAN Shiguang, et al. 3D Haar-like features for pedestrian detection[C]//2007 IEEE International Conference on Multimedia and Expo. Beijing,China, 2007: 1263-1266.
[3]SEN B K, FUJIMURA K, KAMIJO S. Pedestrian detection by on-board camera using collaboration of inter-layer algorithm[C]//12th International IEEE Conference on Intelligent Transportation Systems. St. Louis, USA, 2009:1-8.
[4]GUO Lie, WANG Rongben, JIN Lisheng, et al. Algorithm study for pedestrian detection based on monocular vision[C]//IEEE International
Conference on Vehicular Electronics and Safety. Shanghai, China, 2006: 83-87.
[5]CHENG Hong, ZHENG Nanning, QIN Junjie. Pedestrian detection using sparse Gabor filter and support vector machine[C]//Proceedings of 2005 Intelligent Vehicles Symposium. Las Vegas, USA, 2005: 583- 587.
[6]SU Songzhi, CHEN Shuyuan, LI Shaozi, et al. Structured local edge pattern moment for pedestrian detection[C]//2010 International Conference on Image Analysis and Signal Processing. Xiamen, China, 2010: 556-560.
[7]YU Liping, YAO Wentao, LIU Huaping, et al. A monocular vision based pedestrian detection system for intelligent vehicles[C]//2008 IEEE Intelligent Vehicles Symposium.Eindhoven, Netherlands, 2008: 524-529. [8]MAO Xin, QI Feihu, ZHU Wenjia. Multiple-part based pedestrian detection using interfering object detection[C]//Third International Conference on Natural Computation.Haikou, China, 2007: 165-169.
[9]SCHAULAND S, KUMMERT A, PARK S B, et al.Vision-based pedestrian detection: improvement and verification of feature extraction methods and SVM-based classification[C]//2006 IEEE Intelligent Transportation Systems Conference. Toronto, Canada, 2006: 97-102.
[10]MUNDER S, SCHNORR C, GAVRILA D M. Pedestrian detection and tracking using a mixture of view-based shape-texture models[J]. IEEE Transactions on Intelligent Transportation Systems, 2008, 9(2): 333-343. [11]ARMANFARD N, KOMEILI M, KABIR E. TED: a texture-edge descriptor based on LBP for pedestrian detection[C]//International Symposium on
Telecommunications.Tehran, Iran, 2008: 643-648.
[12]LI Min, ZHANG Zhaoxiang, HUANG Kaiqi, et al.Pyramidal statistics of oriented filtering for robust pedestrian detection[C]//2009 IEEE 12th International Conference on Computer Vision Workshops. Kyoto, Japan,2009: 1153-1160.
[13]WANG Min, WANG Jianqing, QIAO Hong, et al. Improved shape context algorithm for online fast recognition: an application in pedestrian detection from a moving vehicle[C]// 2009 IEEE Intelligent Vehicles Symposium.Xi'an, China, 2009: 1260-1264.
[14]STEFAN W, NIKODEM M, SCHINDLER K, et al. New features and insights for pedestrian detection[C]//2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco, USA, 2010: 1030-1037. [15]PARK J, LUO Y, WANG H, et al. Pedestrian detection by modeling local convex shape features[C]//19th International Conference on Pattern Recognition.Tampa, USA, 2008: 1-4.
[16]NANNI L, LUMINI A. Ensemble of multiple pedestrian representations[J]. IEEE Transactions on Intelligent Transportation Systems, 2008, 9(2): 365-369.
[17]WANG Kejun, BEN Xianye, ZHAO Yue. Gait period detection based on regional characteristics analysis[C]//Proceedings of the 2009 Chinese Conference on Pattern Recognition, and the CJK Joint Workshop on Pattern Recognition. Nanjing, China, 2009: 542-547.
[18]贲晛烨, 王科俊, 马慧. 视频下的正面人体身份自动识别[J]. 智能系统学报, 2012, 7(1): 69-74.
[19]苏景龙, 林天威, 王科俊, 等. 视频流下的人脸检测与跟踪[J]. 应用科技，2011, 38(3): 5-11.
[20]贾慧星章毓晋. 基于梯度方向直方图特征的多核跟踪[J]. 自动化学报，2009, 35(10): 1283-1289.。