【CN109977912A】视频人体关键点检测方法、装置、计算机设备和存储介质【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910276687.4
(22)申请日 2019.04.08
(71)申请人 北京环境特性研究所
地址 100854 北京市海淀区永定路50号
(72)发明人 张樯　张挺　李斌　李司同　崔洪　
(74)专利代理机构 北京格允知识产权代理有限
公司 11609
代理人 张沫　谭辉
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/46(2006.01)
G06T 7/269(2017.01)
(54)发明名称
视频人体关键点检测方法、装置、计算机设
备和存储介质
(57)摘要
本发明涉及一种视频人体关键点检测方法，
包括：提取待检测视频中的多帧待检测图像；获
取多帧所述待检测图像之间的光流场，以及获取
各所述待检测图像的特征图；根据所述光流场将
所述特征图融合，得到所述待检测图像的增强特
征图；将所述增强特征图输入预设神经网络，得
到所述待检测图像中的人体关键点。

通过提取多
帧图像之间的光流场，对待检测图像进行增强，
进而提高视频关键点检测的准确率。

权利要求书2页 说明书7页 附图2页CN 109977912 A 2019.07.05
C N 109977912
A
权　利　要　求　书1/2页CN 109977912 A
1.一种视频人体关键点检测方法，其特征在于，所述方法包括：
提取待检测视频中的多帧待检测图像；
获取多帧所述待检测图像之间的光流场，以及获取各所述待检测图像的特征图；
根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图；
将所述增强特征图输入预设神经网络，得到所述待检测图像中的人体关键点。

2.根据权利要求1所述的方法，其特征在于，所述待检测图像包括当前帧图像和至少一个历史帧图像；所述提取待检测视频中的多帧待检测图像的步骤，包括：
提取所述待检测视频中的当前帧图像；
提取所述待检测视频中至少一个历史帧图像，所述历史帧图像的取帧时刻位于所述当前帧图像之前且与所述当前帧图像相邻。

3.根据权利要求2所述的方法，其特征在于，所述获取多帧所述待检测图像之间的光流场，以及获取各所述待检测图像的特征图的步骤，包括：
获取所述当前帧图像和所述历史帧图像之间的光流场；
获取所述当前帧图像的当前特征图，以及获取所述历史帧图像的历史特征图。

4.根据权利要求3所述的方法，其特征在于，所述获取所述当前帧图像和所述历史帧图像之间的光流场的步骤，包括：
将所述当前帧图像和所述历史帧图像输入预设神经光流网络，得到所述当前帧图像和所述历史帧图像之间的光流场。

5.根据权利要求4所述的方法，其特征在于，所述根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图的步骤，包括：
根据所述光流场将所述历史特征图向所述当前特征图对齐，得到对齐特征图；
将所述对齐特征图和所述当前特征图进行时域融合，得到所述增强特征图。

6.根据权利要求3所述的方法，其特征在于，所述获取所述当前帧图像和所述历史帧图像之间的光流场的步骤，包括：
将所述当前帧图像和所述历史帧图像输入预设神经光流网络，得到所述当前帧图像和所述历史帧图像之间的光流场，还得到尺度场；其中，所述尺度场与所述特征图维度相同。

7.根据权利要求6所述的方法，其特征在于，所述根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图的步骤，包括：
根据所述光流场将所述历史特征图向所述当前特征图对齐，得到对齐特征图；
将所述对齐特征图和所述尺度场相乘得到细化特征图；
将所述细化特征图和所述当前特征图进行时域融合，得到所述增强特征图。

8.一种视频人体关键点检测装置，其特征在于，所述装置包括：
图像提取模块，用于提取待检测视频中的多帧待检测图像；
光流特征提取模块，用于获取多帧所述待检测图像之间的光流场，以及获取各所述待检测图像的特征图；
图像增强模块，用于根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图；
关键点检测模块，用于将所述增强特征图输入预设神经网络，得到所述待检测图像中的人体关键点。

2。