【CN109919097A】基于多任务学习的人脸和关键点联合检测系统、方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910175223.4

(22)申请日 2019.03.08

(71)申请人 中国科学院自动化研究所

地址 100190 北京市海淀区中关村东路95

号

(72)发明人 雷震　庄楚斌　张士峰　朱翔昱　

(74)专利代理机构 北京市恒有知识产权代理事

务所(普通合伙) 11576

代理人 郭文浩　尹文会

(51)Int.Cl.

G06K 9/00(2006.01)

G06K 9/62(2006.01)

(54)发明名称基于多任务学习的人脸和关键点联合检测系统、方法(57)摘要本发明属于图像处理与模式识别技术领域，具体涉及一种基于多任务学习的人脸和关键点联合检测系统、方法，旨在为了解决人脸和关键点联合检测的问题。本发明系统包括人脸检测模块、特征融合模块、多任务检测模块；所述人脸检测模块基于单步法检测模型构建的轻型网络结构，用于对输入待检测图像进行人脸检测；所述特征融合模块，用于对所述人脸检测模块中三个网络分支的人脸检测输出进行特征融合；所述多任务检测模块用于将所述特征融合模块输出的融合后的特征图映射到三个不同的特征子空间，分别进行分类、人脸框回归、关键点回归。本发明能同步进行人脸和关键点检测两个任务，提升了检测速度的同时，

保证了较高的精度。权利要求书3页 说明书10页 附图2页CN 109919097 A 2019.06.21

C N 109919097

A

1.一种基于多任务学习的人脸和关键点联合检测系统，其特征在于，该系统包括人脸检测模块、特征融合模块、多任务检测模块；

所述人脸检测模块基于单步法检测模型构建的轻型网络结构，用于对输入待检测图像进行人脸检测；

所述特征融合模块，用于对所述人脸检测模块中三个网络分支的人脸检测输出进行特征融合；

所述多任务检测模块用于将所述特征融合模块输出的融合后的特征图映射到三个不同的特征子空间，分别进行分类、人脸框回归、关键点回归。

2.根据权利要求1所述的基于多任务学习的人脸和关键点联合检测系统，其特征在于，所述特征融合模块中“对所述人脸检测模块中三个网络分支的人脸检测输出进行特征融合”，其方法为：

对三个网络分支的人脸检测输出的特征图以自上至下的方式进行融合，在融合过程中采用双线性插值对特征图进行放大处理，并在特征图融合之前，使用了卷积核大小为1×1的卷积层将特征图的通道数进行缩减。

3.根据权利要求1所述的基于多任务学习的人脸和关键点联合检测系统，其特征在于，所述多任务检测模块中，采用关键点锚点框同时对人脸框和关键点的位置进行回归；所述关键点锚点框依据预设宽高比进行设计，并以所述人脸检测模块中人脸检测输出的三个网络分支的网络层为锚点框关联层。

4.根据权利要求3所述的基于多任务学习的人脸和关键点联合检测系统，其特征在于，所述关键点锚点框的预设宽高比为预设训练数据中人脸标注框的宽高比平均值。

5.根据权利要求3所述的基于多任务学习的人脸和关键点联合检测系统，其特征在于，所述关键点锚点框设置有5个关键点初始回归点LE、RE、NT、LM、RM，分别用于对人脸的左眼、右眼、鼻尖、左嘴角、右嘴角的位置进行回归计算。

6.根据权利要求3所述的基于多任务学习的人脸和关键点联合检测系统，其特征在于，该系统优化训练所采用的多任务损失函数L(p，x，

y)为

其中，i是锚点框的标号；p i 是i号锚点框被预测是人脸的概率；为训练标注，锚点框是正样本时训练标注是1，锚点框是负样本时训练标注是0；

分类函数

为二分类softmax损失函数；

检测窗口回归函数

和关键点回归函数均为smooth L1损失函数；

表示检测窗口回归函数只对正样本锚点框进行计算；

表示关键点损失函数值只针对于具有关键点标注信息的正样本锚点框，其

中训练数据为关键点检测数据集时q i 为1，训练数据为人脸检测数据集时q i 为0；N cls 为正负样本锚点框总和，N box 为正样本锚点框数，N lan 为正样本锚点框中存在关键点标注的数目；

权　利　要　求　书1/3页2CN 109919097 A