【CN109886246A】一种人物注意力判断方法、装置、系统、设备和存储介质【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910161953.9
(22)申请日 2019.03.04
(71)申请人 上海像我信息科技有限公司
地址 201114 上海市闵行区紫星路588号2
幢3层318室
(72)发明人 夏立　
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/46(2006.01)
G06Q 50/20(2012.01)
G06T 17/00(2006.01)
(54)发明名称一种人物注意力判断方法、装置、系统、设备和存储介质(57)摘要本发明涉及信息化教学领域，公开一种人物注意力判断方法、装置、系统、设备和存储介质。

所述方法包括如下步骤：获取目标人物所在场景图像，根据所述场景图像建立场景三维空间模型；识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标；根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态。

本发明的人物注意力判断方法，能够客观地、实时的且准确的对目标人物的视觉注意力
进行监测与分析。

权利要求书2页 说明书9页 附图6页CN 109886246 A 2019.06.14
C N 109886246
A
1.一种人物注意力判断方法，其特征在于，包括如下步骤：
获取目标人物所在场景图像，根据所述场景图像建立场景三维空间模型，所述场景三维空间模型位于相机坐标系中；
识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标；
根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；
根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态。

2.如权利要求1所述的人物注意力判断方法，其特征在于，所述识别所述场景图像中目标人物的人体图像，确定所述人体图像上的图像关键点在所述场景三维空间模型中的位置坐标，具体包括：
获取场景图像，所述场景图像包括第一场景图像和第二场景图像，所述第一场景图像和所述第二场景图像分别为从不同位置采集的场景图像；
分别识别所述第一场景图像和所述第二场景图像中的人体图像，确定图像关键点分别在所述第一场景图像和所述第二场景图像的像素位置坐标，所述图像关键点至少包括人体关键点、人脸关键点和眼球关键点；
根据所述像素位置坐标计算所述图像关键点在所述场景三维空间模型的位置坐标。

3.如权利要求2所述的人物注意力判断方法，其特征在于，所述根据所述图像关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量，具体为：
根据所述人体关键点的位置坐标建立以人体为坐标原点的人体三维空间坐标系；
将所述人脸关键点和所述眼球关键点在所述相机坐标系的位置坐标转换为在所述人体三维空间坐标系的位置坐标，以确定在所述人体三维空间坐标系中的人脸方向向量和眼球视线方向向量；
其中，
人体坐标原点计算可用公式表示为：
其中，L为摄像设备的光轴间距，f为摄像设备焦距，W和H为图像的宽和高，(x 1，y 1)和(x 2，y 2)分别为所述人体关键点在所述第一场景图像和所述第二场景图像的像素坐标。

4.如权利要求1所述的人物注意力判断方法，其特征在于，所述根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，判断所述目标人物的注意力状态，具体包括：
根据所述人脸方向向量和所述眼球视线方向向量计算所述人脸方向向量和所述眼球视线方向向量的方向夹角，若所述方向夹角大于90度，则确认所述目标人物注意力异常；和/或
根据所述人脸方向向量、所述眼球视线方向向量和所述场景三维空间模型，计算所述目标人物的视线在所述场景三维空间模型的视线落点，若所述视线落点在指定区域外，则
权　利　要　求　书1/2页2CN 109886246 A。