人体骨骼关键点检测及在姿势识别中的应用研究

人体骨骼关键点检测及在姿势识别中的应用研究人体姿势识别是人工智能应用的重要方向之一,也是近年来计算机视觉领域的研究热点,已被应用于安防系统、体感技术及人机交互等方面。随着对人体姿势识别研究的不断深入,研究人员发现人体姿势识别的任务充满挑战,其中包括图片背景复杂,人的位置杂乱无章,姿势关键点遮挡严重,且关键点之间关系难以定义等。目前的姿势识别研究主要从人体骨骼关键点检测出发,然而,其中大多数方法只适用于单人,或将多人姿势识别任务分成人物目标检测和关键点检测与姿势识别两个部分分别进行,从而图像的全局信息和上下文信息被忽略,导致人体骨骼关键点识别的速率低,和对多人人体识别的准确性差强人意。

论文首先对人体姿势识别领域的国内外研究现状、公开数据集及相关技术进行了充分调查和理解。其次,基于自上而下人体骨骼关键点检测思路,本文结合目前性能较好的目标检测网络Yolov3分别与级联金字塔深度卷积网络和堆叠沙漏网络融合实现了多人人体骨骼关键点检测算法。在同一个COCO数据集上的实验证明了级联金字塔深度卷积网络的训练速度和准确率都要高于堆叠沙漏网络。

论文随后提出了融合关联嵌入和级联金字塔深度卷积网络的多人人体骨骼关键点检测算法。该算法实现了one-stage和端到端的神经网络结构,通过一个网络同时完成目标人物检测与关键点检测的任务。该网络通过级联金字塔实现提取图像的局部和全局特征信息,和使用关联嵌入方法度量多人的关键点信息。

根据在COCO人体骨骼关键点数据集上的实验表明,论文提出的端到端多人关键点检测算法能够有效检测到多人骨骼关键点,拥有较高的准确率且对遮挡、噪声鲁棒。