改进的粒子群优化粒子滤波的人脸跟踪

改进的粒子群优化粒子滤波的人脸跟踪
严石;杨定礼;张宇林;杨玉东;季仁东;皇甫立群
【摘要】针对粒子群优化粒子滤波的人脸跟踪方法出现的“粒子退化”、“粒子贫乏”、“局部最优”、“粒子早熟”等问题,提出改进的粒子群优化粒子滤波(IMPSO-PF)的人脸跟踪方法.该方法首先提出了非均匀的空间直方图的颜色跟踪线索,提高了跟踪的鲁棒性,其次提出了多样性函数diversity以及粒子集中度函数difference,并根据diversity与difference的关系更新速度与位置,使粒子不断向高似然区域运动.实验结果表明,该方法既保证了粒子多样性,同时也防止了粒子较早的成熟.
【期刊名称】《淮阴工学院学报》
【年(卷),期】2016(025)001
【总页数】7页(P12-18)
【关键词】粒子群;粒子滤波;人脸跟踪;非均匀的空间直方图;多样性函数;集中度的函数
【作者】严石;杨定礼;张宇林;杨玉东;季仁东;皇甫立群
【作者单位】淮阴工学院成人教育处,江苏淮安223001;淮阴工学院电子信息工程学院,江苏淮安223003;淮阴工学院电子信息工程学院,江苏淮安223003;淮阴工学院电子信息工程学院,江苏淮安223003;淮阴工学院电子信息工程学院,江苏淮安223003;南京航空航天大学理学院,南京210016;淮阴工学院电子信息工程学院,江苏淮安223003
【正文语种】中文
【中图分类】TP391.41
人脸跟踪在机器人视觉、人脸识别、视频监控、人机交互和视频检索等领域得到
了广泛的应用。

目前，人脸跟踪方法一般都要受到人脸姿态、光照变化以及复杂背景的影响。

而部分文献提出的以颜色加权直方图为跟踪线索的粒子滤波跟踪方法，对目标的旋转、目标部分被遮挡以及大小变换等具有一定的鲁棒性[1-3]。

但是引
入的粒子滤波方法存在“粒子退化”问题。

一般通过重采样的方法来解决“粒子退化”问题，但是又出现“粒子贫乏”问题[4-7]。

因此许多研究者引入了粒子群优
化粒子滤波的方法，如李睿等[8]提出了基于粒子群优化的Unscented粒子滤波算法，该方法主要是利用粒子群优化的算法使粒子向高似然区域移动，最终寻找到最优的位置。

姚海涛等[9]提出一种自适应的PSO粒子滤波人脸视频跟踪方法，该方法主要利用粒子群算法的寻优能力，同时对引入的小生境技术加以改进，使粒子向真实值的后验概率分布移动，从而提高最优解动态变化的自适应能力。

虽然粒子群优化的粒子滤波方法对“粒子退化”以及“粒子贫乏”问题有所改善，但是粒子群优化也容易出现局部最优、粒子早熟等问题[10-11]。

本文针对已经出
现的“粒子退化”、“粒子贫乏”、局部最优、粒子早熟等问题，提出了改进的基于粒子群优化粒子滤波的人脸跟踪方法。

该方法提出了非均匀的空间直方图的颜色跟踪线索，提高了识别准确性，并改进了粒子群优化粒子滤波的人脸跟踪方法，提出了多样性函数diversity以及粒子集中度的函数difference，通过它们的关系来控制粒子的更新公式，使粒子向高似然区域运动，既保证了粒子多样性，同时也防止了粒子较早地成熟。

颜色特征是目标跟踪的基本特征之一，其对目标的部分遮挡、旋转、尺度变化具有一定的鲁棒性。

张楠等[12]将颜色分布按照均匀量化为B级，其宽度△w是均匀的，
都等于256/B。

量化函数为b(lm):R2→{1，2，…，B}，其含义是首先把位置lm
的像素颜色值量化以后，然后将其分配到相应的颜色等级中去。

由于这种方法对颜色直方图的区间划分为等间隔的，所以对直方图中数据比较集中的地方，不能够被较细地划分，从而不能准确地识别。

数据较少的地方，又由于分得较细，浪费计算时间。

所以本文提出用非均匀的空间直方图作为颜色跟踪线索。

该方法为了使分级更精细，使得概率较大的地方，宽度△w较小；概率较小的地方，宽度△w较大，
所以将量化函数为b(lm):R2→{1，2，…，B}修改为b'(lm):R2→{1，2，…，B}。

在量化时，第i个等级的像素值区间为△wu，其中△wu=(256/N)×(1+1/N-pu)，
如果i=1时，其区间为[0，△w1]，则概率越大的，区间就小，概率小的区间大。

而且△wu=256+256/N-(256/N)(p1+p2+…+p8)=256。

假设某一个目标的状态
为X，则其颜色的分布pl={plu}u=1,2,…,B定义为：
(‖‖)δ(b'(lm)-u)
其中l是由X决定的目标中心，M则表示目标区域内的总的像素数。

h表示目标
区域的窗口大小，k(.)表示核函数，k(‖‖)。

b'(lm)为改进后的量化函数。

如果用{piu}u=1,2,…,B表示目标状态Xk的第i个样本Xki的颜色的分布，
{qu}u=1,2,…,B表示参考目标的颜色的分布，那么该目标的第i个样本与参考目标的相似性可用Bhattacharyya系数来表示。

设Bhattacharyya系数定义为：，则
相似性度量的函数定义为：。

从式中可知，d(pi,q)越小，候选目标与参考目标的
相似性就越大。

由于该直方图只能利用目标的颜色信息，而空间直方图不仅融合了目标的颜色信息，而且还包含了直方图每个bin的空间均值和协方差，所以这种空间信息能获取目
标更多的信息，从而提高跟踪的鲁棒性，因此本文采用空间的直方图作为跟踪线索。

假设一幅图像的二阶空间的直方图为：h(b)=<pb，μb,Cb>,b=(1,2,…,B)。

式中
pb表示落入区间b的像素的概率。

μb表示处于区间b的像素的坐标的均值向量，
Cb表示处于区间b的像素的坐标的协方差矩阵，则由两直方图的相似性的加权和表示的两空间的直方图的相似度为：
则该粒子与目标模型之间的Bhattacharyya距离为：
则该粒子的似然概率为：p(z|xn)∝exp(-d2/(2σ2))，其中σ是观测噪声的标准方差。

由上式可以看出，由于空间直方图的相似性度量的函数融入了空间信息，因此基于空间直方图的相似性的度量比传统基于颜色直方图相似性的度量好。

为了说明非均匀直方图相似性度量方法的优点，首先通过实验一比较视频图像中人脸的均匀直方图与非均匀直方图。

图1是均匀划分的直方图，它的每个区间宽度为256/N=32。

而图2 中非均匀划分的直方图的每个区间宽度是变化的，从第一个区间到N=8的区间的宽度分别为deltaw=36.0000 33.7922 34.6807 34.1647 31.7675 31.4383 18.1801 35.9765。

将实验所得的数据列入表1中。

从表1中可以看出在概率较大的地方，如p7=0.5569，此时可以利用本文提出的非均匀划分的直方图法，缩小直方图的宽度，使其宽度为18.18，p7=0.0664，而使大部分数据集中到第六直方图区域中，使得p6=0.5185。

由于p6>0.5，所以再用上面的方法，将宽度重新划分，直到使得每个区间的概率都小于0.5。

表1中，经过第二次非均匀划分时，p7=0.4708低于0.5，可以结束划分，得到颜色分布情况。

粒子滤波是贝叶斯估计基于抽样理论的一种近似的算法，它的核心思想为用一系列带有权值的随机样本来表示系统状态的后验概率密度函数，并通过对这些随机样本的计算来估计后验密度函数。

如果样本数目趋向于无穷大，则可达到最优贝叶斯估计。

假设其状态方程为：xk=F(xk-1,vk-1)
观测方程为：zk=F(xk,uk)
其中，vk-1与uk为均值为0的高斯白噪声。

一般假设状态的初始概率密度为
p(x0|z0)=p(x0)，则预测方程为:
p(xk|z1:k-1)=∫p(xk|xk-1)p(xk-1|z1:k-1)dxk-1
状态的更新方程为：
p(zk|z1:k-1)=∫p(zk|xk)p(xk-1|z1:k-1)dxk-1
如果选择重要性密度函数
则权值更新公式为：
如果从p(xk-1|z1:k-1)中采样N个样本点，得到后验概率密度近似为：
则权值更新公式近似为：
由于上面的粒子滤波方法通常采用次优重要性密度函数，所以存在粒子的退化问题。

一般通过重采样的方法来解决，但是又出现了“粒子贫乏”问题，即失去了粒子的多样性问题。

3.1 粒子群算法
为了解决“粒子退化”以及“粒子贫乏”的问题，可以将粒子群优化的算法(Particle Swarm Optimization，PSO)引入粒子滤波，通过优化粒子滤波的采样过程，使粒子更加趋向于高似然区域，从而解决了粒子贫乏的问题，不仅有助于减少粒子滤波所需要的粒子数量，而且还提高了跟踪的精度。

粒子群优化算法是由Eberhart与Kennedy提出的一种有效的全局寻优算法[13]。

在粒子群优化算法中，每个粒子不仅有位置、速度两个特征，而且还带有一个适应度值，该适应度值是由优化函数来确定的。

假设粒子群的粒子数量为m，维数为n，其中第i个粒子的位置Xi为
(xi1,xi2,…,xin)，速度Vi为(vi1,vi2,…,vin)，个体的极值Bibest为(bi1,bi2,…,bin)，粒子群的全局极值Gbest为(gi1,gi2,…,gin)，该算法主要是利用粒子的个体最优值Bibest与全局最优值Gbest通过式(11)、(12)来不断更新每一个粒子的速度与位置，它的更新公式为：
其中d1与d2为学习因子，rand1()与rand2()为介于(0,1)区间内的随机数，w为
惯性权值，如果w越大，那么其全局搜索能力就越强。

如果w越小，那么其局部搜索能力就越强。

3.2 改进的粒子群优化粒子滤波算法原理
由于PSO算法中没有按照每个粒子的自身状态和邻域环境参数调整邻域的粒子状态，所以无法控制每个粒子对邻域粒子的影响力，容易导致局部最优，从而降低粒子的多样性的程度。

同时粒子向高似然区域运动时过快，出现粒子的早熟现象。

本文由人在游泳时总会找空的地方去游，鸽子总会往有食物的地方去跑得到启示，提出了改进的粒子群优化方法。

首先定义每个粒子的适应度函数：
即用权值来代替适应度值。

其中d由式(3)得到。

由N个粒子的适应度函数组成的数组YA={Y1,Y2,…,YN}，将其排序得到新的数组YRA={YR1,YR2,…,YRN}，则YA 中的Yi在YRA中的序号为MARK={mark1,mark2,…,markN}，令
D=max{Y1,Y2,…,YN}-min{Y1,Y2,…,YN}，每个直方图的宽度为D/M，经
M=floor(N/4),等分以后，可以得到适应度值的直方图HY={hy1,hy2,…hyM}，该直方图每个bin值的平均值为4，如果hyi=0，则该直方图区间没有粒子，如果
hyi较大，则大部分粒子全部集中到这个区间，因而粒子的多样性就小。

所以定义一个衡量权值多样性的函数
如果全部集中在一个区间，则其他M-1个区间hyi都为0，则diversity=0，其多样性最差，如果每个区间都有粒子，则diversity=M-1为最大值。

因此定义一个
阈值ε1，如果diversity≤ε1时，考虑是否粒子已经陷入局部最优值里，是否聚在一起了。

此时应该将较大的hyi中的粒子去掉一些粒子，而hyi=0时，该区间中
补一些粒子。

所以还要再考虑定义一个衡量粒子集中度的函数：
如果difference很小，说明大部分粒子相对集中，则多样性较差，如果difference较大，则多样性较好。

因此也定义一个阈值ε2，当difference≤ε2时，粒子较集中，反之，则粒子较分散。

所以分四种情况：
(1) dversity≤ε1，difference≤ε2，可能陷入局部最优值，多样性较差。

如果是陷入全局最优值，则是最好的结果，但是一般是不可能在全局最优值处。

因此必须用AdaBoost分类器得到当前的真实目标位置和大小，即为Gnewbest，然后用Gnewbest代替公式(11)中的Gbest，同时可以得到新的空间直方图，并更新模板。

再用下面跳跃公式进行跳跃来更新速度与位置。

并重新计算适应度函数)。

Xit+1=Xit+Vit+1
d3为控制跳跃距离的，上式可使粒子向真实值附近靠拢。

(2)diversity≤ε1，difference>ε2，可能陷入某几个局部最优值，多样性一般，可以选适当的部分进行跳跃。

如果hyi值较大，则按照公式(16)、(17)进行跳跃。

如果hyi值较小，则按照公式(11)、(12)进行更新。

(3)diversity>ε1，difference≤ε2，多样性较好，不做操作，用公式(11)、(12)继
续下一次迭代。

(4)diversity>ε1，difference>ε2，多样性较好，不做操作，用公式(11)、(12)继
续下一次迭代。

3.3 优化过程
用粒子群优化算法进行优化的过程如下：
(1)设置最大迭代次数T值，设置学习因子d1与d2的值，
(2)计算每个粒子的空间颜色分布,并求其与目标空间颜色分布
h(u)={pu,μu,Cu},u=1,2,…B的相似度为：，则该粒子与目标模型的Bhattacharyya距离为：，该粒子的似然概率为：p(z|xn)∝exp(-d2/(2σ2))，每
个粒子的权重值：，本文将粒子的权值作为适应度函数。

(3)将当前的粒子权重值作为个体最优适应度的值，本粒子的个体最优值设置为Bibest，而将种群中粒子的权重值最大的设置为全局最优适应度的值，对应的状态
设置为全局最优值Gbest。

(4)根据公式(11,12)计算Vit+1与Xit+1。

(5)分别计算每个粒子的空间颜色分布并求其与目标空间颜色分布
h(u)={pu,μu,Cu},u=1,2,…,B的相似度为：
则该粒子与目标模型之间的Bhattacharyya距离为：，该粒子的似然概率为：
p(z|xn)∝exp(-d2/(2σ2))，每个粒子的权重值及适应度值为：。

(6)比较粒子当前的适应度值与自身适应度最优值，如果当前值比自身最优值大，则用当前值代替个体最优值Bibest，同时比较当前的适应度值与全局最优适应度值，如果粒子当前值最优，则把该粒子的值给种群全局最优值Gbest。

(7)根据3.2节，计算diversity和difference，并根据diversity和difference的关系来进行相应的更新处理，找到一组最优的粒子。

(8)如果迭代次数t达到最大值T，或者粒子的最优值符合设定的阈值ε时，则结束寻优过程；否则t=t+1，转到第(4)步。

本实验所用的CPU为双核Intel® CoreTM i5*****************.20GHz 内存为4.00 GB 64位操作系统。

软件为MATLAB 7.11.0(R2010b)。

所用的视频为基于DSP的芯片TI DM3730开发的视频采集系统所采集的视频序列。

为了验证本文的算法，对采集的视频图像分别用粒子滤波方法、标准的粒子群优化粒子的方法，以及本文改进的粒子群优化粒子(IMPSO-PF)的方法进行试验。

本文所用的改进的粒子群优化粒子滤波算法进行人脸跟踪过程如下：
首先用AdaBoost分类器在视频图像序列中找到人脸目标区域，得到人脸目标的位置和大小：x0，y0，r。

标记为粒子状态X0，计算人脸目标区域的改进的空间直方图h(u)={pu,μu,Cu}，u=1,2,…,B,作为目标模板。

当k=0时，由先验概率P(X0)产生N=100个粒子{X0i,i=1,2,…B}，所有粒子的权值为。

根据重要性密度函数采样粒子计算每个粒子的重要性权值。

用3.3节粒子群优化粒子滤波的方法优化粒子，计算经过粒子群优化后的粒子的权值，并对其归一化。

由一组优化后的粒子得到最后的输出状态为：
本实验主要是对粒子的状态进行了估计，以及对估计的误差进行了分析。

实验中采用的误差公式为：
其中是估计值。

xt、yt、rt是真实值。

图3中，实线为每帧图像中要跟踪的人脸的准确坐标，从第100帧图像开始，直到139帧，共40帧图像。

第100帧要跟踪的人脸坐标为(559,135)，第139帧的人脸坐标为(31,136)，目标从图像的右边进入直到从左边离开。

用粒子滤波时，其误差较大。

用PSO-PF方法误差较小，用本文的IMPSO-PF方法是误差最小，见图4。

这是由于用粒子群方法，粒子不断向高似然区域运动。

同时用本文提出的非均匀的空间直方图的方法提高了跟踪的准确率，用本文提出的以及考虑邻域粒子对自身的影响提高了粒子寻优的精度，提高了粒子的多样性程度，防止了粒子早熟。

图5为用IMPSO-PF的跟踪过程。

在100帧用AdaBoost方法选出最右边的人脸，然后开始对该人脸进行跟踪，直到113帧该脸没有被遮挡，所以此时模板无需更新。

但是从113帧开始，该脸被另一个人脸遮挡，此时需要在每一帧后要更新模板，该模板实质为原来脸模板减去被遮挡的部分剩下的模板。

但是在第119帧时，另外一个人脸完全遮挡住该脸，此时不可以用另外一个人脸模板进行更新，否则跟踪会失败，此时应该用最初脸的模板去掉被遮挡的部分以后剩下的部分作为模板。

当该人脸逐渐从被遮挡的人脸中出来以后，模板也要进行实时更新，直到全部离开遮挡物，此时的模板实际上是初始的目标人脸的模板。

本文提出了非均匀的空间直方图提高了识别的精度，同时改进了粒子群优化粒子滤
波的方法，提出了多样性函数以及粒子集中度的函数，通过它们的关系来控制更新公式，即使粒子向权值较大的方向运动，既保证了粒子的多样性，也防止了粒子的较早地成熟。

实验证明，与PF方法以及PSO-PF方法相比，该算法能够稳健可靠地跟踪目标，即使背景颜色与目标颜色信息相近且具有部分遮挡或者全部遮挡的情况下，也能够实现准确的跟踪，而且误差较小。

【相关文献】
[1] K.Nummiaro,E.Koller-Meie,L.V.Gool.An adaptive color-based particle filter[J].Image and Vision Computing,2003,21(1):99-110.
[2] 姚志均.一种新的空间直方图相似性度量方法及其在目标跟踪中的应用[J].电子与信息学报, 2013,35(7):1644-1649.
[3] 汲清波,耿丽群,任超. 高斯粒子群优化粒子滤波检测前跟踪算法[J].计算机工程与应用，2013,50(17):205-209.
[4] 王娟,江艳霞,唐彩虹.融合颜色和轮廓的粒子滤波人脸跟踪[J]. 光电工程,2012,39(10):32-39.
[5] Ying Li,Bendu Bai,Yanning Zhang.Improved particle swarm optimization algorithm for fuzzy multi-classSVM[J].Journal of Systems Engineering and Electronics,2010,21(3):509-513.
[6] 陈志敏,薄煜明,吴盘龙，等. 混沌粒子群优化粒子滤波算法[J].电光与控制,2013,20(1):36-40.
[7] 周奇.基于改进粒子滤波的人脸跟踪算法的研究[D].重庆: 重庆大学, 2010.
[8] 李睿,苑柳青,李明.基于粒子群优化的Unscented粒子滤波算法[J].计算机工程,
2011,37(13):153-155.
[9] 姚海涛,朱福喜,陈海强.一种自适应的PSO粒子滤波人脸视频跟踪方法[J].武汉大学学报：信息科学版, 2012,37(4):492-495.
[10][14] 陈志敏,薄煜明,吴盘龙,等.基于自适应粒子群优化的新型粒子滤波在目标跟踪中的应用[J].控制与决策,2013,28(2):193-200.
[11] 陈志敏,薄煜明,吴盘龙,等.收敛粒子群全区域自适应粒子滤波算法及其应用[J].南京理工大学学报,2012,36(5):861-868.
[12] 张楠,蔡念,张海员.基于空间直方图的粒子滤波目标跟踪算法[J].计算机工程与应用,2011，
47(21):210-213.
[13 ] 胥小波,郑康锋,李丹，等. 新的混沌粒子群优化算法[J].通信学报,2012,33(1):24-30.。