【CN110633005A】一种光学式无标记的三维人体动作捕捉方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910262689.8

(22)申请日 2019.04.02

(71)申请人 北京理工大学

地址 100081 北京市海淀区中关村南大街5

号

(72)发明人 陈文颉　游清　李晔　陈杰　

窦丽华　

(74)专利代理机构 北京理工大学专利中心

11120

代理人 高燕燕

(51)Int.Cl.

G06F 3/01(2006.01)

G06N 3/04(2006.01)

(54)发明名称

一种光学式无标记的三维人体动作捕捉方

法

(57)摘要

本发明提供一种光学式无标记的三维人体

动作捕捉方法，解决了传统非光学式及光学式有

标记人体动作捕捉方法对人体运动的束缚问题，

并在一定程度上减少了单次人体动作捕捉的所

用时长。包括：利用不同关节点的位置与其和真

实人体的对应关系，确定人体关节点编号和各个

关节点之间的连接关系；利用深度卷积神经网

络，结合所述编号和连接关系，进行多角度人体

图像的二维关节点提取以及关节点之间肢体骨

骼连线，得到人体关节点的二维坐标信息；利用

不同坐标系之间的转换关系以及所述人体关节

点的二维坐标信息，绘制出三维空间中的人体骨

架模型，使该骨架模型反映出三维空间中真实的

人体姿态运动信息，便于后续将该动作捕捉方法

用于人体运动分析领域。权利要求书1页 说明书6页 附图3页CN 110633005 A 2019.12.31

C N 110633005

A

权　利　要　求　书1/1页CN 110633005 A

1.一种光学式无标记的三维人体动作捕捉方法，其特征在于，包括：

利用不同关节点的位置与其和真实人体的对应关系，确定人体关节点编号和各个关节点之间的连接关系；

利用深度卷积神经网络，结合所述编号和连接关系，进行多角度人体图像的二维关节点提取以及关节点之间肢体骨骼连线，得到人体关节点的二维坐标信息；

利用不同坐标系之间的转换关系以及所述人体关节点的二维坐标信息，绘制出三维空间中的人体骨架模型，使该骨架模型反映出三维空间中真实的人体姿态运动信息，便于后续将该动作捕捉方法用于人体运动分析领域。

2.如权利要求1所述的方法，其特征在于，所述关节点增加了人体双脚脚尖这两个关节点。

3.如权利要求2所述的方法，其特征在于，所述关节点包含18个人体关节点。

4.如权利要求1或2或3所述的方法，其特征在于，所述利用不同关节点的位置与其和真实人体的对应关系，确定人体关节点编号和连接关系采用以下方式：首先确定待提取的人体关节点位置，以及关节点与实际人体骨骼的对应关系，即确定关节点在人体骨骼上的位置；然后为所述对应关系进行关节点编码，确定人体关节点的序号，并根据真实人体肢体与骨骼方向，确定关节点之间的连接方式。

5.如权利要求1或2或3所述的方法，其特征在于，所述利用深度卷积神经网络，结合编号和连接关系，进行多角度人体图像的二维关节点提取以及关节点之间肢体骨骼连线具体包括以下步骤：

步骤一、将由不同角度拍摄出来的人体姿态图像传入深度卷积神经网络；

步骤二、利用深度卷积神经网络中的置信图对人体关节点的二维坐标进行提取；

步骤三、利用深度卷积神经网络中的部分肢体关系向量场以及人体关节点连接关系，判断出人体关节点之间的实际肢体方向；

步骤四、利用深度卷积神经网络中的贪婪分析算法对图像中已提取的人体关节点进行连接；

步骤五、将关节点提取结果以及连接结果显示在原人体姿态图像上，作为二维人体姿态的骨架模型。

6.如权利要求1或2或3所述的方法，其特征在于，所述利用不同坐标系之间的转换关系以及人体关节点的二维坐标信息，正确绘制出三维空间中的人体骨架模型采用以下方法：利用人体关节点的二维坐标信息，通过对图像像素坐标系、图像坐标系、摄像机坐标系以及世界坐标系之间转换关系的推导得出含有关节点未知三维坐标的方程组，利用最小二乘法针对方程进行求解，得到人体关节点的三维坐标，再利用关节点的编码顺序及相互连接关系，绘制出三维人体骨架模型。

2