基于卷积神经网络级联的蒙面人脸检测算法

１ 概述 近年来，国际恐怖势力猖獗。全球多地接连发
生了多起恐怖袭击事件，人们的生命和财产安全遭 受了很严重的威胁。因此，在图像或者监控视频中 精确地检测到潜在的罪犯或者恐怖分子的人脸就变 得越来越迫切。很简单也很重要的一个定义潜在罪 犯或者恐 怖 分 子 的 方 法 就 是 “蒙 面 人 脸 ”。 作 为 一 个特殊的人脸检测任务，蒙面人脸检测相比于那些 已经被研究了几十年的常规人脸检测任务要困难很
ＭａｓｋｅｄＦａｃｅＤｅｔｅｃｔｉｏｎＡｌｇｏｒｉｔｈｍ ＢａｓｅｄｏｎＣＮＮＣａｓｃａｄｅ
ＢｕＷｅｉ ＸｉａｏＪｉａｎｇｊｉａｎ ＺｈｏｕＣｈｕａｎｈｏｎｇ ＫａｎｇＱｉｚｈｅｎｇ ＷｕＢａｏｇｕｏ ＧｏｎｇＤｉｊｕｎ
Ａｂｓｔｒａｃｔ：ＡｃｃｕｒａｔｅｌｙｄｅｔｅｃｔｉｎｇｍａｓｋｅｄｆａｃｅｓｃａｎｂｅａｐｐｌｉｅｄｏｎｔｒａｃｋｉｎｇａｎｄｉｄｅｎｔｉｆｙｉｎｇｃｒｉｍｉｎａｌｓｏｒｔｅｒｒｏｒｉｓｔｓＡｓａ ｕｎｉｑｕｅｆａｃｅｄｅｔｅｃｔｉｏｎｔａｓｋ，ｍａｓｋｅｄｆａｃｅｄｅｔｅｃｔｉｏｎｉｓｍｕｃｈｍｏｒｅｄｉｆｆｉｃｕｌｔｂｅｃａｕｓｅｏｆｅｘｔｒｅｍｅｏｃｃｌｕｓｉｏｎｓｗｈｉｃｈｌｅａｄｓ ｔｏｔｈｅｌｏｓｓｏｆｆａｃｅｄｅｔａｉｌｓＩｎｔｈｉｓｐａｐｅｒ，ｗｅｐｒｏｐｏｓｅａｎｅｗＣＮＮｂａｓｅｄｃａｓｃａｄｅｆｒａｍｅｗｏｒｋＩｔｃｏｎｓｉｓｔｓｔｈｒｅｅｓｔａｇｅｓｏｆ ＣＮＮＷｅｕｓｅａｌｌｏｆｔｈｅｔｒａｉｎｉｎｇｄａｔａｔｏｔｒａｉｎｔｈｅｆｉｒｓｔＣＮＮ，ｔｈｅｎｕｓｅｔｈｅｗｒｏｎｇｌｙｃｌａｓｓｉｆｉｅｄｄａｔａｔｏｔｒａｉｎｔｈｅｌａｔｅｒ ｓｔａｇｅＣＮＮｓｔｏａｃｈｉｅｖｅｇｒｅａｔｅｒｃｌａｓｓｉｆｉｃａｔｉｏｎａｂｉｌｉｔｙＴｏｅｎｓｕｒｅｔｈｅａｃｃｕｒａｃｙｏｆｔｈｉｓａｌｇｏｒｉｔｈｍｗｅａｐｐｌｙｔｈｅｍｉｇｒａｔｉｏｎ ｌｅａｒｎｉｎｇｍｅｔｈｏｄ，ｗｅｐｒｏｐｏｓｅａｎｅｗｍａｓｋｅｄｆａｃｅｄａｔａｓｅｔｔｏｆｉｎｅ－ｔｕｎｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｎｅｔｗｏｒｋｓＢｅｓｉｄｅｓｗｅｏｐｔｉ ｍｉｚｅｔｈｅｓｔｒｕｃｔｕｒｅｏｆｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｎｅｔｗｏｒｋｓｔｏｉｍｐｒｏｖｅｔｈｅｄｅｔｅｃｔｉｏｎｅｆｆｉｃｉｅｎｃｙＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ ｏｕｒｍａｓｋｅｄｆａｃｅｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｈａｓｇｒｅａｔｐｅｒｆｏｒｍａｎｃｅ，ｗｅａｃｈｉｅｖｅｔｈｅｐｒｅｃｉｓｉｏｎｏｆ８６６％ ａｔ８７８ｒｅｃａｌｌＴｈｉｓ ｈａｓｇｒｅａｔｓｉｇｎｉｆｉｃａｎｃｅｉｎｃｏｍｂａｔｉｎｇｃｒｉｍｅａｎｄｍａｉｎｔａｉｎｉｎｇｐｕｂｌｉｃｓｅｃｕｒｉｔｙ Ｋｅｙｗｏｒｄｓ：ｆａｃｅｄｅｔｅｃｔｉｏｎ；ｍａｓｋｅｄｆａｃｅ；ｃｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ；ｃａｓｃａｄｅ；ｐｒｅ－ｔｒａｉｎ；ｆｉｎｅ－ｔｕｎｅ；ｄｅｅｐ ｌｅａｒｎｉｎｇ
基金项目：国家科技支撑计划（２０１５ＢＡＦ１４Ｂ０１），浙江省杰出青年基金（ＬＲ１３Ｆ０２０００４） 收稿日期：２０１８－０５－２２
卜伟等：基于卷积神经网络级联的蒙面人脸检测算法
６９
提出 了 具 有 重 大 意 义 的 “Ｖｏｌｉａ－Ｊｏｎｅｓ人 脸 检 测 器”。Ｖｏｌｉａ－Ｊｏｎｅｓ人 脸 检 测 器 由 一 系 列 从 简 单 到 复杂的分类器组成，这种人脸检测算法基本满足了 实际条件下的实时人脸检测需求。之后很多研究者 在 Ｖｏｌｉａ－Ｊｏｎｅｓ人脸检测器的基础上做更深入的研 究，很多人是通过级联更复杂且描述能力更强的特 征来提高算法的检测效果。
Байду номын сангаас
多。除了常 规 人 脸 检 测 所 遇 到 的 困 难，如 “人 脸 姿 态变化”、“光照条件变化”以及“人脸尺度变化”等， 由于面具的多样性，以及面具遮挡所导致的人脸信 息的大量丢失，进一步增加了蒙面人脸检测任务的 难度。
人脸检测是被研究了很久的计算机视觉课题之 一，这一课题的研究可以被追溯到大约半个世纪以 前。然而，几乎所有的早期人脸检测算法都无法满 足实际的人脸检测需求。在 ２００１年，Ｖｏｌｉａ和 Ｊｏｎｅｓ
近年来，随着计算机硬件性能的飞速提升，以及 大量高质量数据集的发布，深度学习方法在很多计 算机视觉领域取得了巨大突破。例如“通用物体检 测”，“物体分类”，“物体分割”等，当然也包括人脸 检测。与传统的人脸检测算法不同，基于深度学习 的人脸检测算法不需要人工去设计特征，卷积神经 网络可以从训练样本中自动学习到需要的特征。在 ＬｉｊｉａＬｉ等人的论文中，他们提出了一种基于图像分 类模型 ＡｌｅｘＮｅｔ的人脸检测算法———“ＤＤＦＤ”，这个 算法效果明显优于传统的人脸检测算法。在 Ｓｈｕｏ Ｙａｎｇ等人的论文中，他们提出了另一种基于卷积神 经网络的人脸检测算法，这种算法可以通过判断图 像中诸如头发、眼睛、鼻子等人脸部件的存在以及它 们之间的空间关系来检测人脸。这个算法对于脸部 遮挡面积较大的人脸检测效果很好。在 ＨａｏｘｉａｎｇＬｉ 等人的论文中，他们将传统的级联结构和卷积神经 网络结合来进行人脸检测，这种人脸检测算法称为 “ＣａｓｃａｄｅＣＮＮ”，它由三个分类能力从简单到复杂的 二分类卷积神经网络组成。这个算法在通用数据集 ＦＤＤＢ上取得 了 当 年 最 好 的 检 测 效 果。 然 而，以 上 这些人脸检测算法都是对常规的人脸检测任务进行 的研究。在本论文中，考虑到检测的精度和速度，我 们基于“ＣａｓｃａｄｅＣＮＮ”人脸检测算的框架，设计了新 的人脸检测算法用于蒙面人脸检测。 ２ 算法模型
６８
《计量与测试技术》２０１８年第 ４５卷第 １０期
基于卷积神经网络级联的蒙面人脸检测算法
卜 伟 肖江剑 周传宏 康齐正 吴宝国 龚迪军
（上海大学 机电工程与自动化学院，上海 ２０００７２；中科院宁波材料技术与工程研究所 先进制造技术研究所，浙江 宁波 ３１５２０１；宁波蓝圣智能科技有限公司，浙江 宁波 ３１５２０１）。
摘 要：精确地检测蒙面人脸是鉴别和追踪罪犯或者恐怖分子的重要手段，因此，一个高效的蒙面人脸检测算法这对于打击犯罪，维护社会治 安稳定有重要意义。然而，由于面具遮挡导致的人脸信息缺失，传统的人脸检测算法很难取得令人满意的结果。针对这一问题，在本论文中， 我们提出了一种适用于蒙面人脸检测的卷积神经网络级联算法。该级联网络共有三级，在训练时，第一级采用整个训练样本集进行训练，之后 逐级对前一级训练中分类错误的样本进行训练，以获得更强的辨别能力。这一策略也能避免第一级网络的过度拟合。为了进一步保证算法的 检测精度，我们采用迁移学习的方法，利用大型的通用人脸数据集和蒙面人脸数据集来训练和微调分类网络模型。此外，我们还优化了每一级 的网络结构，从而提高了计算效率。我们在蒙面人脸的测试数据集上对算法进行测试。实验结果表明，我们在 ８７８％的召回率下取得了 ８６６％的精确率。并且，相比于传统的卷积神经网络算法，我们的方法具有较高的检测精度和检测效率。 关键词：人脸检测；蒙面人脸；卷积神经网络；级联；预训练；微调；深度学习 中图分类号：ＴＢ９ 文献标识码：Ａ 国家标准学科分类代码：４１０５５ ＤＯＩ：１０．１５９８８／ｊ．ｃｎｋｉ．１００４－６９４１．２０１８．１０．０２４