【CN109949341A】一种基于人体骨架结构化特征的行人目标跟踪方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910176928.8

(22)申请日 2019.03.08

(71)申请人 广东省智能制造研究所

地址 510000 广东省广州市越秀区先烈中

路100号大院13号楼

(72)发明人 钟震宇　马敬奇　雷欢　杨慧莉　

(74)专利代理机构 广州粤高专利商标代理有限

公司 44102

代理人 罗晓林　杨桂洋

(51)Int.Cl.

G06T 7/246(2017.01)

G06K 9/00(2006.01)

G06K 9/46(2006.01)

G06K 9/62(2006.01)

(54)发明名称

一种基于人体骨架结构化特征的行人目标

跟踪方法

(57)摘要

一种基于人体骨架结构化特征的行人目标

跟踪方法，包括以下步骤，记录目标运动视频，对

目标运动视频图像进行均衡化预处理，提取行人

的骨架坐标信息，手动选择跟踪目标行人，建立

目标初始特征模板图像，跟踪目标行人；若目标

行人正常，继续跟踪，若目标行人丢失，执行下一

步；根据目标行人丢失前的视频图像和目标行人

的骨架坐标信息提取目标结构化特征图像并更

新目标特征模板图像，提取所有行人的结构化特

征图像并与目标特征模板图像进行逐一匹配，根

据匹配结果重新定位目标行人位置；然后继续跟

踪目标。本发明可实现在复杂多人场景下对目标

行人的稳定持续跟踪，解决目前跟踪算法在多人

重叠、遮挡等情况下跟踪目标容易丢失且难以自

动找回的问题。权利要求书2页 说明书8页 附图4页CN 109949341 A 2019.06.28

C N 109949341

A

权　利　要　求　书1/2页CN 109949341 A

1.一种基于人体骨架结构化特征的行人目标跟踪方法，包括以下步骤：

S1，利用摄像头记录目标运动视频，通过对目标运动视频图像进行均衡化预处理；

S2，针对目标运动视频图像，通过人体骨架检测提取行人的骨架坐标信息，手动选择跟踪目标行人，根据目标行人的骨架坐标信息建立目标初始特征模板图像，对目标行人进行跟踪；

S3，判断目标行人是否处于跟踪丢失状态，若目标行人正常，则保持当前状态继续跟踪，若目标行人丢失，则执行下一步，转入步骤S4；

S4，根据目标行人丢失前的视频图像和目标行人的骨架坐标信息提取目标结构化特征图像并更新目标特征模板图像，然后根据当前时刻视频图像和行人的骨架坐标信息提取所有行人的结构化特征图像，将当前时刻所有行人的结构化特征图像与目标特征模板图像进行逐一匹配，根据匹配结果重新定位目标行人位置；

S5，目标行人重定位后继续跟踪目标。

2.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述图像预处理是采用CLAHE算法对图像进行均衡化。

3.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述人体骨架检测过程为：采用OpenPose方法提取人体骨架关键点信息，包括人体骨架18个关键点P i＝{(x i,y i)|i＝0,1,...,17}，人体骨架关键点包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚。

4.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述目标行人跟踪过程采用KCF、TLD、CSK或Struck算法进行跟踪。

5.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述结构化特征图像是指根据人体骨架结构提取的人体各部位区域的衣着特征图像，特征图像用R n(n＝1,2,3,4,...)表示，n为结构化特征图像个数，包括左眼、右眼、左耳、右耳、嘴巴、左肩、右肩、胸颈处、左肘、右肘、左手、右手、左髋、右髋、左膝、右膝、左脚和右脚图像。

6.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述目标初始特征模板图像是根据人体骨架所提取的目标行人各部位区域特征图像，是在执行目标行人跟踪前建立并保存的目标正常状态下的特征模板图像。

7.根据权利要求1所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，所述目标行人是否处于丢失状态是以跟踪置信度为标准进行判断，若当前跟踪过程的跟踪置信度小于跟踪置信度判断阈值，若判别目标处于丢失状态，则需要更新目标特征模板图像并重新定位目标行人；若当前跟踪置信度大于跟踪置信度判断阈值，则保持当前状态继续跟踪。

8.根据权利要求6所述的基于人体骨架结构化特征的行人目标跟踪方法，其特征在于，设跟踪置信度为q，q∈[0,1]，其中，0表示跟踪过程中目标行人的可信度最低，1表示跟踪过程中目标行人的可信度最高，跟踪目标处于丢失状态的跟踪置信度值为最低值且作为判断阈值记为Q0，正常跟踪过程的跟踪置信度值为最高值且记为Q1，具体判断方法如下：S3.1，对目标进行跟踪，计算获得跟踪置信度值q；

S3.2，当第N帧图像中的目标行人跟踪置信度q N大于跟踪置信度判断阈值Q0时，不需要更新目标特征模板图像，保持当前状态继续跟踪；当第N帧图像目标跟踪置信度q N小于跟踪

2