人脸识别和现有监控系统的结合

Biblioteka Baidu
1.2 人脸识别技术的发展状况 九十年代中后期以来，在“863”、国家自然科学基金（NSFC）和各项攻关计划的资助下，国内 众多研究机构开始对人脸识别进行研究，主要包括中科院计算所、清华大学（自动化系、计算 机系、电子系）、哈工大计算机系、中科院自动化所、北工大、上海交大、南京理工大学、中 山大学、西北大学等。在人脸识别进行了许多很有意义的尝试，积累了宝贵的经验。 上海银晨智能识别科技有限公司（银晨科技,ISVision）作为国家“863”成果产业化基地，多 年来致力于人脸识别核心技术研究及应用产品开发，并先后承担了多项人脸识别技术领域的研 究课题。银晨科技通过与中科院计算所的长期密切合作，已经取得了多项自主知识产权的人脸 识别核心技术研究成果。2002年11月，这些合作研究成果顺利通过了中国科学院组织的国家级 鉴定。由汪成为等五位两院院士及八位著名专家组成的鉴定委员会认为该系列成果“技术水平 居国内领先，达到国际先进水平，其中部分技术达到了国际领先水平。” 迄今为止，银晨科技在人脸识别领域已经取得7项专利，其中发明专利3项。尚有9项发明专利、 5项实用新型专利被受理。同时，银晨科技十分注重科技成果的产业化。银晨科技依托自有知识 产权的人脸识别核心技术，紧密结合市场需求开发出了一系列应用产品，并进行了成功的推广 应用。在人脸识别技术研究及应用方面，银晨科技与合作伙伴一道成功地创造了多个国内第 一： 2002年11月，银晨科技自有知识产权的人脸识别核心技术成功应用于中共“十六大”会议人员 身份认证系统，获得了中央警卫局的高度肯定。这是人脸识别技术在国内最高级别会议的首次 成功应用。2003年3月，银晨人脸识别技术在全国两会得到了进一步应用。 2003年10月，银晨科技在第五届深圳高交会成功发布了全球第一款基于DSP的嵌入式人脸识别 器。 2003年10月，银晨科技承担了2003年度上海重大科技攻关项目（世博专项）“大规模人脸识别 算法研究及应用”，该项目的研究成果将直接为2008年北京奥运会及2010年上海世博会服务。 2003年12月，银晨科技以“人脸识别系统及其应用”项目获得上海市科技进步一等奖，这是人 脸识别技术领域所获得的政府最高奖励。 2、现有数字监控系统存在的缺陷 经过多年的发展，数字监控系统目前已经成为安防行业的主流产品。目前，业内的众多企业广 泛采用了主流的MPEG 4、H.264编解码标准，在编解码效率、图像质量、数据传输等方面取得了 明显的技术进步。但是，由于现行系统着眼于监控场景的记录，而缺乏对图像的进一步分析理 解，因而存在着先天性不足。 2.1 现有数字监控系统面临的四大难题 1）确定监控场景中是否有人。 在绝多数应用场合中人都是监控主体，客观上需要准确判断出监控场景中是否有人存在，进而 触发警报，同时实时确定人脸是否存在对于改善编码效率、提升压缩比也有非常重要的作用。 现有系统可以采用外接各类传感器或运动检测的方法来判断场景中是否有运动物体出现，但无 法确定是否是人引发了场景变化。 2）无法辨认监控对象。 由于光照条件恶劣，或是人脸部分过小，造成图像质量下降，无法辨认场景中的人是谁。这在 很大程度上失去了监控的意义。 3）确定当前监控对象的身份。 在公共安全、出入控制、公安（安全）布控等应用领域，需要确切地识别监控对象的真实身份 进而触发预先定义的各类动作。从监控系统的角度来看，连续的视频序列实质上为识别监控对 象的真实身份已经提供了足够丰富的信息，只是现有监控系统由于技术限制无从使用这些识别 信息。 4）视频检索效率极低、难度大，无法基于人脸图像等AV对象进行智能化检索。 由于现有系统普遍采用了线性顺序存储策略，视频检索难度大。一般情况下必须知道视频相关 的时间信息，否则只能采用大范围的视频回放方式进行视频检索。在已有某人照片的前提下， 如果要确定该人是否在监控场景中曾经出现过，现有系统除了顺序检索所有的视频资料以外， 没有别的办法。 2.2 人脸识别技术与数字监控系统的结合的可行性 不难看出，上述四个问题正是人脸识别的研究范畴及应用领域，通过众多研究人员的共同努 力，目前在一定应用条件下已经较好地解决了这些问题。因此，如果能够实现人脸识别技术与 现有数字监控系统的有机结合，将可以有效地解决目前数字监控系统存在的四大难题。
中科院计算所——银晨科技面像识别联合实验室 陈军 人脸识别技术在数字监控系统中的应用 摘 要：本文介绍了人脸识别技术的研究范围、应用领域及其研究应用现状，同时指出了现有数 字监控系统在图像分析理解方面存在的不足。本人探讨了将人脸识别技术与数字监控系统进行 结合的可行性，并给出了初步的解决方案及技术要求，最后阐明了实现二者结合的重要意义。 关键词：人脸识别(Face Recognition)、人脸检测(Face Detection)、人脸辨识(Face Identification)、数字监控系统(DVS)、嵌入式DVR、嵌入式人脸识别器 1、人脸识别技术 1.1 人脸识别技术的研究及应用范畴 人脸识别（Face Recognition，亦称面像识别）是人类视觉系统的基本功能，也是人类互相辨 识的最直接手段，因此它是生物特征识别中的重要研究内容。人脸识别技术作为一种新兴的生 物特征识别技术，概括来说，它是一种依据人体面部特征的自动身份鉴别技术。人脸识别综合 运用了数字图像/视频处理、模式识别、计算机视觉等多种技术。 人脸识别技术在公共安全、人机交互等领域具有广泛的应用前景，这一点已经为世人所公认。 同时，人脸识别也是人工智能领域的重大研究课题，因此吸引了大量的研究人员对此展开深入 研究，到现在已有30多年的研究历史。自上世纪90年代以来（特别是美国“911”恐怖袭击事件 发生以后），人脸识别技术在研究及应用方面更是得到了长足的发展。 人脸识别的研究范围大致可以分为如下几个方面的内容: 1)人脸检测（Face Detection）：即从各种不同的场景中检测出人脸的存在并确定其位置。在 大多数的场合中由于场景较复杂，人脸的位置是预先不知道的，因而首先必须确定场景中是否 存在人脸，如果存在人脸，再确定图像中人脸的位置。脸部毛发、化妆品、光照、噪声、面部 倾斜和人脸大小变化以及各种遮挡等因素会使人脸检测问题变得更为复杂。人脸检测的主要目 的是在输入的整幅图象上寻找人脸区域，把图象分割成两个部分－人脸区域和非人脸区域，从 而为后续处理奠定基础。 2)人脸表征（Face Representation）：即采取某种表示方式表示检测出的人脸和数据库中的已 知人脸。通常的表示法包括几何特征（如欧氏距离、曲率、角度）、代数特征（如矩阵特征矢 量）、固定特征模板、特征脸、云纹图等。 3)人脸辨识（Face Identification）：即将已检测到的待识别的人脸与数据库中的已知人脸进 行比较匹配，得出相关信息，这一过程的核心是选择适当的人脸的表征方式与匹配策略，系统 的构造与人脸的表征方式密切相关。通常或是选择全局的方法或是选择基于特征的方法进行匹 配。显然，基于侧面像所选择的特征和基于正面像的特征是有很大的区别的。 4）表情分析（Expression Analysis）：即对待识别人脸的表情信息（快乐、悲伤、恐惧、惊 奇等）进行分析，并对其加以归类。 5）生理分类（Physical Classification）：即对待识别人脸的生理特征进行分析，得出其种 族、年龄、性别、职业等相关信息。显然，完成这一操作需要大量的知识并且通常是非常困难 和复杂的。 目前，对人脸识别的研究工作主要集中在前3个方面。 一个完整的人脸识别系统通常要包括人脸检测与跟踪、特征提取与选择、分类判别三个步骤。 人脸识别的原理如图一所示： 人脸识别的关键是特征提取和人脸建模，也就是采用什么样的特征描述人脸的问题。而且对于 基于光学图像的人脸识别而言，这些特征必须是可以从图像中获得的。 与其它生物特征识别技术相比，人脸识别技术在可用性方面具有独特的优势： •可以隐蔽操作，适于安全、监控与布控等应用； •非接触式信号采集，没有侵犯性，容易被人们接受； •强大的事后追踪能力； •使用通用设备，设备成本较低； •基础数据容易获取； •符合人类的识别习惯及认知规律； •可交互性强。 基于上述明显的优势，人脸识别在公共安全、商业、金融、人机交互等领域有着广泛的应用前 景。
图二
图三 对于I型数字监控系统而言，其音视频采集、编码过程一般由音视频压缩卡上板载的DSP（数字 信号处理器）完成；应用系统则一般运行于Windows 2000/xp平台之上，完成录像（存储）、视 频预览及回放、视频传输、系统配置等任务。在I型数字监控系统上要实现人脸检测功能有三种 途径： 1）在音视频压缩卡板载的DSP上完成人脸检测。这种实现方式的优点是无需通过PCI总线传输未 经编码的原始视频流到监控主机，减轻了对PCI总线的传输压力；其缺点则是对DSP的音视频编 码过程造成一定的性能下降，对于负荷饱和的DSP而言，需要减少音视频编码的路数（如四路变 为两路）以完成人脸检测。 2）基于监控主机的CPU完成人脸检测。这种实现方式的优点是不影响音视频压缩卡的编码，不 会给板载DSP带来新的负荷，同时由于目前监控主机一般采用P4以上的高性能PC，与基于DSP的 人脸检测相比具有一定的效率优势；其缺点则是需通过PCI总线传输未经编码的原始视频流到监 控主机，加重了对PCI总线的压力。同时，一定程度上也提升了CPU的占用率（一般会达到6070%）。 3）结合使用音视频压缩卡的DSP及监控主机的CPU。由板载DSP完成图像预处理及人脸粗检，粗 检结果由DSP通过PCI总线传至主机（数据量比未编码的原始视频流少1-2个数量级），最终由 CPU完成人脸检测。这种方式综合了1）、2）两种方式的优点，同时又避免了二者的不足，因此 在实际应用过程中得到了普遍的应用。 完成人脸检测过程后，检测到的人脸图像由数字监控应用系统调用人脸检测SDK实现压缩、关联 存储、检索。这里所称“关联存储”是指通过视频通道ID、时间将人脸图像与视频进行关联。 对于II型数字监控系统而言，由于其实现采用了封闭式的体系结构，因此基于该型系统要实现 人脸检测功能需要使用其它的方式： 银晨科技已经实现了基于DSP的嵌入式人脸检测及识别器。该装置的核心部件为DSP处理板。该 装置可以作为独立的人脸检测器完成人脸检测，检测得到的人脸图像可通过RJ45口、RS232/485 口传输给嵌入式DVR，最终由嵌入式DVR完成人脸图像压缩、关联存储、检索等功能。 就目前的技术水平而言，基于TI DM642 DSP可达到8-10fps的人脸检测帧率，而基于P4 2.4GCPU可达到12-15fps的人脸检测帧率。上述性能指标均基于CIF格式的视频。 4、人脸识别技术与数字监控系统结合的意义
从系统实现的角度来看，现有数字监控系统所使用的前端设备与人脸识别系统所使用的成像系 统是一致的，数字监控系统所产生的视频流（未编码）也正是人脸识别系统所需要的数据源， 换言之，人脸识别技术与数字监控系统的结合不存在系统实现方面的障碍。在数字监控系统中 应用人脸识别技术，主要是为了完成人脸对象提取、图像理解等智能化处理。应用人脸识别技 术可实现对数字化监控系统的智能化升级。可保留原有监控系统的前端，系统的升级主要在后 端实现，对大部分已有数字监控系统而言，无需增加新的硬件。同时，二次开发商可依据用户 实际需求采用不同类型的人脸识别技术，对系统功能进行合理剪裁。 3、技术解决方案 3.1 问题一、二解决方案：人脸检测技术。 •利用人脸检测技术从原始视频流中检测并分离出人脸图像 •针对人脸区域进行光照补偿，改善图像关注区域的视觉效果 由于人脸检测技术是人脸识别系统的基础，因此下面将重点对人脸检测技术的实现展开论述。 在此使用的是广义的“人脸检测”概念，包括了图像预处理、人脸粗检、人脸细检、归一化 （统一图像规格）、光照补偿（以改善图像质量）等过程。 目前主流的数字监控系统不外乎下述两种实现形式： I型：工控机+音视频压缩卡（见图一）； II型：嵌入式DVR（见图二）；