人脸识别大数据应用设计方案_商汤

人像识别大数据应用
设
计
方
案
目录
1.建设背景 (4)
2.整体规划设计 (5)
3.建设依据 (6)
4.设计原则 (8)
5.软件架构 (9)
6.业务流程 (11)
7.功能设计 (12)
7.1数据研判 (12)
7.1.1路人分析 (12)
7.1.2徘徊分析 (13)
7.1.3同行分析 (13)
7.1.4区域碰撞分析 (14)
7.1.5落脚地分析 (14)
7.2感知预警 (15)
7.2.1人员聚集感知 (15)
7.2.2驾驶人员感知 (15)
7.2.3异常行为感知 (15)
7.2.4 疑犯感知 (16)
7.2.5标签感知 (16)
7.2.6 越界感知 (16)
7.3智慧社区 (16)
7.3.1 流动人口感知 (16)
7.3.2 异常人员感知 (17)
7.3.3 实有人口感知 (18)
8.数据安全保障 (18)
8.1数据安全 (18)
8.2数据存储安全 (18)
8.3安全传输 (19)
8.4数据传输可靠性 (19)
8.5断点续传 (19)
8.6服务接口安全 (20)
9.硬件配置 (21)
1.建设背景
人像比对应用在国内公安行业已有相当规模的应用，其中在出入境、治安、刑侦等部门应用中实际成果尤其突出，为打击骗取出入境证件，震慑违法犯罪份子、挖出洗白身份的在逃人员等重要工作方面起到了传统方法难以达到的重要作用。

使用先进的人像识别技术实现对各类人员的身份验证和警务应用，既是公安局实际业务需求，又是实现“向科技要警力”的重要途径，同时也能为治安、网安、刑侦、反恐、国保、基层派出所等多个部门提供跨部门、跨警种的业务支撑。

动态人像卡口技术是人脸识别技术在实战领域中的另一项应用，技术应用范围更广。

它是利用前端摄像头采集含有人脸的图像或视频流，并自动检测和跟踪人脸，进而对获取到的人脸图像进行一系列技术处理，以达到识别不同人身份的目的。

它可以在非配合条件下从监控视频图像中获取人脸信息，汇聚形成“路人库”（包括人像图片和场景图片），方便事后以图搜图，真正实现了“过人留影”。

同时，通过自动人脸抓取和实时布控报警，动态人像识别比对系统的融入可以让民警从重复、繁杂的视频观察中解放出来，减少人工肉眼排查的时间，做到对违法犯罪行为进行预防预警。

另外，汇聚形成的“路人库”也可以用于轨迹查询，为办案人员提供嫌疑对象行踪的直观展示。

通过大数据关联分析，得到一个人的出现频率、出行特点等信息，办案部门可根据此信息有针对性地部署警力进行精准打击和定点抓捕。

随着人像识别技术的发展，特别是深度学习技术的应用，人像识别具有了实战应用的条件。

深化人脸识别技术，实现人像数据的分析、研判、应用，从海量非结构化视频数据中实现以人像为主要特征的档案聚类，有效解决视频海量处理的难题，已成为建设公安大数据、开展智能分析应用的重点。

通过人像识别大数据应用，实现对在逃人员布控报警、重点人员（涉毒、前科、异常人员等）感知预警、流动人员建模推送，开展轨迹分析、随行分析、区域碰撞、聚集感知等智能研判大数据分析，能够有效提高公安机关预防预测和预警能力。

2.整体规划设计
人像识别系统以人脸识别为核心。

其人脸识别算法，结合了深度学习及图模型算法。

本方案提供的系统设计，是先进的市、区（县）两级联动应用系统架构。

根据业务需求和设计原则，其总体系统架构如下：
依托视频专网、公安信息网作为承载网，分别建设市、区（县）两级视频深度应用系统。

视频专网人像平台应用实现对本级前端设备采集数据的汇聚、解析、存储、归档。

下级视频专网人像平台应用纵向级联后，将数据推送至上级视频专网人像平台应用，实现对全市所有人脸数据的共享、管理、应用。

详细过程如下：
1）、区县级
在区县视频专网内摄像头采集到视频流/图片流，视频及图片信息传输到视频专网内的人像平台视频专网服务器。

人像平台视频专网服务器即动态人像识别系统，对采集到的视频流/图片流进行人脸识别，并保存人脸照和场景照。

随后，对识别到的人脸进行特征码抽取工作，形成路人抓拍照库及路人特征码库、场景抓拍图库。

依托于本市已建人像库（含常口、暂口及旅馆等人像库）将路人抓拍特征码进行实时归档，采用档案聚类以及递归分析等技术提高归档准确性，为人像识别的大数据研判提供数据支撑。

所有的归档数据通过网闸进入本级公安网内的数据库服务器。

2）、市级：
市级人像识别系统将所有区县的归档数据通过公安网汇聚到市局数据库服务器，结合公安网人像平台常口库、暂口库、旅馆网吧库以及重点人员库等业务数据并将所有数据进行清洗、整理和合并，打造全市范围的智慧社区管控平台人像识别系统。

该系统架构可实现：
（一）多级部署。

市、区（县）二级部署视频深度应用系统。

（二）统一标准。

统一人像信息采集标准，统一人像信息数据建库及接口标准。

（三）多级联动。

在符合全市统一标准和选择最优性能产品的前提下，实现
设区（县）级与市级系统对接，实现市区（县）多级人脸信息查询、联动布控、路人归档、智能研判。

（四）支持完整的第三方调用接口，满足第三方平台对接系统，通过结构获取对应人像系统信息。

3.建设依据
《软件工程术语》 GB/T11457-1989
《计算机软件产品开发文件编制指南》 GB/T8567-1988
《计算机软件配置管理计划规范》 GB/T 12505-90
《计算机软件质量保证计划规范》 GB/T 12504-90
《计算机软件可靠性和可维护性管理》 GB/T14394-93
《质量管理和质量保证标准》 ISO9000-3
《质量管理和质量保证标准第三部分》 GB/T19000 3-94
《规定与质量有关的术语》 ISO 8402
《可靠性管理标准》 ISO DIS 9000-4
《信息处理-流程图编辑符号》 GB/T15538-1995
《信息处理-程序构造约定》 GB/T13502-90（ISO5806）
《信息处理系统配置图符号及其约定》 GB/T14085-93（ISO8790）
《信息技术软件生存周期过程》 GB 8566-2007
《软件维护指南》 GB/T14079-93
《对 ISO9000-3 未具体示出的软件质量特性规定标准》 ISO/IEC 9126
《对质量体系核查指南中核查步骤的规定》 ISO 13011-1
《应用软件接口标准编写技术要素》 GA/T 1293-2016
《地理信息分类与编码规则》 GB/T25529-2010
《地理信息数据产品规范》 GB/T25528-2010
《地理信息服务》 GB/T 25530-2010
《地理信息目录服务规范》 GB/Z 25598-2010
《地理信息注册服务规范》 GB/Z 25599-2010
《基础地理信息数据库基本规定》 CH/T 9005-2009
《城市基础地理信息系统技术标准》 CJJ/T100-2017
《城市地理信息系统设计规范》 GB/T 18578-2001
《地理信息一致性与测试》 GB/T 19333.5-2003
《基础地理信息数字产品数据文件命名规则》 CH/T 1007-2001
《地理信息技术基本术语》 GB/T 17694-1999
《警用地理信息系统系列标准规范》（公安部）
《公共安全视频监控联网系统信息传输、交换、控制技术要求》（GB/T28181-2016）
《安全防范视频监控联网系统信息传输、交换、控制技术要求》 GB/T28181-2017
《公安云计算建设指导意见》 (公科信[2015]119 号)
《城市监控报警联网系统技术标准》（GA/T669-2008）
《全国公安机关视频图像信息整合与共享工作任务书》（公科信[2012]11 号）《全国公安机关图像信息联网总体技术方案》
《中华人民共和国公安部行业标准》（GA70-94）
《视频安防监控系统技术要求》（GA/T367-2001）
《机动车号牌图像自动识别技术规范》（GA/T833-2009）
《全国道路交通管理信息数据库规范》（GA329.3 第 3 部分）
《视频图像分析仪第 1 部分：通用技术要求》 GA/T 1154.1-2014
《视频图像分析仪第 2 部分：视频图像摘要技术要求》 GA/T 1154.2-2014 《安全防范系统验收规则》（GA308/2001）
《软件系统验收规范》 GB／T28035-2011
《公安视频图像信息应用系统》第 1、 2、 3、 4 部分 GAT1400-2017
《江苏省公安机关人像比对系统联网应用技术规范》（试行）
4.设计原则
（一）标准化和整体性
项目建设遵循行业内标准技术体系和设计方法，使系统最大程度地具备各种层次的平台无关性和兼容性。

同时充分考虑技术的国际标准化，严格按照国际国内相关标准设计实施。

系统采用符合《信息技术软件生存周期过程》GB 8566-2007、《应用软件接口标准编写技术要素》 GA/T 1293-2016 的规范和要求搭建，可以方便与其它业务系统对接，方便进行二次开发。

（二）先进性和超前性
在系统设计和设备选型方面，考虑系统的实用性前提下，尽量采用国际上先进的视频图像算法与数字通讯技术。

确保系统在国内的领先地位，使系统具有完备的功能，并且易于升级换代，在保证其先进性的前提下具有较长的生命周期。

（三）实用性和方便性
平台建设要以服务实战应用为目标，切合业务需求，与公安实战业务相结合，保证平台的各项功能能够满足动态布控、视频侦查、情报研判、侦查协作、反恐指挥等需要。

基础架构可以适配不同硬件环境，充分保障用户现有投资，降低总体建设成本，支持适配不同前端采集设备。

（四）安全性和保密性
重点人员库的数据安全至关重要，其人像相关信息只能保存于后端服务器。

人像应用系统需在后端服务器中对图片进行特征值抽取，在前端解析中心只保留不可逆的特征值。

实现特征值和图片分离，以确保图像数据安全。

（五）稳定性和可靠性
故障造成平台不能使用时，各子建设中心可以独立工作，不影响正常安保工作。

整个系统保证长时间、不间断的稳定运行。

大规模接入数据下的信息存储需要可备份，可容错。

（六）兼容性和可移植性
由于智能视频分析需要占用大量的网络带宽和计算资源，为了缓解资源压力，人像平台需要支持灵活的部署方式，能够在各部门独立部署。

支持各子系统独立
运行，支持各功能模块可以独立使用。

系统充分考虑系统的跨平台、跨系统、跨应用和在各种操作系统、不同的中间件平台上可移植。

系统采用基础云架构技术构建，模块化的设计，组件化的技术，模块可裁剪，组件可增扩，保证新功能、业务模块添加的便捷，在线服务扩容。

客户端模块动态加载机制，降低对客户机的性能要求。

平台产品兼容国际、行业标准和主流厂商的SDK的编解码设备的兼容性接入，同时提供插件化管理方式，采用不同的接入模块兼容不同厂家设备，相互独立、互不影响；平台提供开放的第三方系统对接方案，提供相应的对接开发包，提供 Webservice 接口。

（七）可维护性和可扩展性
系统信息内容统一，方便日后的系统维护。

人像大平台的架构设计需要具有良好的兼容性和可扩展性，在以后的系统中方便与第三方系统集成，或扩充其他设备产品。

5.软件架构
在软件的架构设计上，我们实现分布式平台层解决运维、资源共用和跨网能力，通过分布式存储层、分布式计算层实现大规模输入下的存储备份、异构计算和数据安全等问题，通过应用层解决各类功能需求，其软件架构图设计如下
应用级API
功能应用层
分布式存储和计算接口
存储层计算层
分布式平台
图：软件架构图
1、分布式平台层
分布式平台层会隐藏下层故障恢复和数据冗余等细节，通过弹性调度，最大
化利用物理资源，从而将一个集群看成一个“超级计算机”。

其负责对于上层应用提供跨集群的计算和存储资源的冗余和调度。

其实现满足如下需求：
a)能够按照不同部门进行独立部署，支撑未来规模扩大后不同解析中心的管理。

b)底层支持硬件资源的相互调用，所有部署单元可以互连，统一部署管理、整合硬件资源、支持集约化管理。

c)支持不同类型硬件资源条件下的部署，包括GPU服务器、CPU服务器等。

d)实现网络通信层的互连，可以适配不同模式的网站，可以在是视频网和公安网实现交互。

e)在底层部署监控运维模块，监控运维所有设备状况以及通信信息，并将信息记录进行反馈。

2. 分布式存储和计算层
分布式存储层实现了业务数据的逻辑汇集，从而实现了全局的数据调用和访问控制。

分布式计算层提供了特征抽取、人像检测、比对检索等模块，统一调配所有计算资源和模块。

计算层通过实时计量视频流接入数量和分布式平台的空余存储、计算资源，来优化调度，进而实现异构计算，解决大规模视频接入下的实时处理和比对计算的问题。

a)单个计算中心具备人脸图存储365天、人脸特征值存储365天，场景图存储180天（由动态人像识别平台的存储能力决定）的数据存储能力。

b)海量实时处理能力：针对日益增加的人脸相机具备实时归档的能力。

c)分布式存储能力：实现热备份、可线性扩展，对上层应用透明。

d)分布式计算能力：实现动态人像系统的计算逻辑，跨多个集群的计算资源统一调度，实现大规模视频流接入下的异构计算能力。

e)在故障时，可集约、有效组织和配置多个部署集群的计算、存储资源，满足运行中的任务。

f)支持多种数据的存储，包含结构化信息、图像、特征值，支持密级划分、传输加密、安全隔离、实时审计，提供灵活的数据共享和授权机制。

3. 应用层（应用级API和网站）
动态人像卡口在应用层提供了各业务模块功能以及应用级API接口服务，实
现跨集群的权限管理、资源统一调度。

其实现需满足如下要求：
a)能够和视频平台打通，从视频汇聚平台获取实时数据流。

b)支持跨级群、跨网络的配置能力。

c)支持其他应用系统的API集成，在应用层实现PKI对接、警务通对接以及数据库对接等功能。

d)支持对数据的统筹管理、完备的权限系统和审计功能。

e)支持视频流的布控功能。

6.业务流程
人像识别大数据应用业务流程入如下：
7.功能设计
7.1数据研判
7.1.1路人分析
系统通过对城市海量路人抓拍照片的汇聚，并与静态库（如常住人口库）进行聚类大数据分析，确认路人身份。

结合PGIS系统在地图上画出路人轨迹，为办案人员提供嫌疑对象行踪的直观展示。

系统支持输入姓名、证件号或人像照片来查询某个人在一段时间内的行动轨迹。

将显示由摄像头对应经纬度的位置所串起来的路人时空位置变化，实现对目标历史动向的还原展示。

业务场景：用于检索重点人员、关注人员或嫌疑犯的实时活动轨迹，广泛应用于刑侦、情报、治安、禁毒等场景；实时分析人员的活动轨迹，协助民警确定人员的活动范围、规律及常去地、出没时间等。

功能：
轨迹：按时间轴人员经过的轨迹范围及抓拍头像，地图支持联动。

个人信息：左侧面板显示人员身份信息、标签及轨迹时间轴
场景照：支持查看每个抓拍的场景照
7.1.2徘徊分析
通过姓名、证件号或人像照片来查询某人在一定时间段内的出现频次。

系统会根据目标人员在每个摄像头下的抓拍次数进行排序，从而来找到目标人员在哪些摄像头点位出现的次数较多。

支持高频出现报警功能，用户可定义一个黑名单库，设置摄像头范围和出现次数，只要此静态库中的某个人在其中任何一个摄像头，一天出现次数高于设定次数，就会给予告警的标识。

7.1.3同行分析
在案件侦破中，通过疑犯排查确认一名疑犯后，可通过人像识别系统，侦查该疑犯在整个系统中的某些重要点位前后一段时间内是否一直有相同的人员出现。

根据出现的吻合点位数量及时间差长短，列出可能为疑犯团伙成员清单，且系统将根据积分模型给出疑似团伙成员概率
业务场景：用于分析嫌疑人的同行者及轨迹，协助警方查找同案人员、同伙或受害者可疑跟随人员，广泛应用于刑侦、情报、治安、禁毒、反恐等场景。

功能：
轨迹：地图支持显示两人的同行轨迹
同行信息：符合结果人员按照同行次数降序排列，最右侧面板默认显示与设定人员同行次数最多人员的身份信息、标签及轨迹时间轴
场景照：可选择查看具体摄像头下的同行抓拍场景照
7.1.4区域碰撞分析
针对两个或多个区域，根据时间维度筛选出同时出现过的人员信息。

业务场景：通过指定时空，碰撞结果，快速定位连环案件等场景下的可疑人员，在刑侦、情报、治安、禁毒等场景下协助警方进行破案。

功能：
碰撞结果：支持按区域筛选，一键定位到有嫌疑人员
7.1.5落脚地分析
针对特定档案进行分析，统计档案主人在各个摄像头下累计被抓拍的次数，并按照从多到少的顺去排列显示。

有助于民警分析特定目标的习惯性落脚点，记性重点关注和蹲点抓捕。

7.2感知预警
7.2.1人员聚集感知
涉赌、涉毒人员的行动规律中有聚集的特点，建立全区重点人员信息库，对辖区内出现相关类型人员聚集的情况，进行实时报警，报警信息通知到辖区派出所，由所部人员及社区人员进行判别，确认有明确行为时进行强制检查。

对容易出现涉黄赌毒案件的场所，进行重点布控，并形成相关案件多发区域信息档案。

业务场景：报警信息通知到辖区派出所，由所部人员及社区人员进行判别，确认有明确行为时进行强制检查。

对容易出现涉黄赌毒案件的场所，进行重点布控，并形成相关案件多发区域信息档案。

功能：
按时间轴列表将已经判断为聚集的人员信息实时显示。

个人信息：显示人员身份信息、标签及轨迹时间轴
场景照：支持查看每个抓拍的场景照
7.2.2驾驶人员感知
实时监控面板对接车辆闸道抓拍数据，接收、提取抓拍抓拍系统提取的人脸，并建模、入库，同时与布控库进行比对产生报警；支持将提取到的人脸照片与车牌号码进行关联，对人脸进行信息标注；支持从车辆卡口中拍到的驾驶员，与重点人员库进行比对，出现时报警。

7.2.3异常行为感知
针对在一段时间内，在一个摄像头下或一个区域的所有摄像头下人群的异常行为分析。

比如频繁经过某地或某区域次数超过设定值的路人可判定为异常行为，进行预警。

7.2.4 疑犯感知
非白或特定名单出现满足后台一种或多种异常行为规则后（如夜行指数等）可判定有嫌疑倾向进行预警。

7.2.5标签感知
可针对具备某种特定标签的档案人员进行感知提醒，标签可以手动标记或是满足规律模型后自动生成。

7.2.6 越界感知
对于公共场所（学校，医院，宾旅馆，危险品厂房），出现在了其权限可达地区以外的地方，系统通过数据比对，发出警报，并且可以查看现场实时视频，提醒监管人员有越界行为发生，防止无关人员进入敏感区域。

7.3智慧社区
7.3.1 流动人口感知
社区流动人员与常驻人员的行动规律不同，采用人脸识别系统对社区常驻人员行动规律进行建模，首先确认人员和小区的关联属性，然后将人员信息和一标三实数据进行比对。

业务场景：用于主动发现制定区域内流动人员，并实时将流动人员信息推送到制定账号，将非小区户籍的常驻人员进行报警，由民警核实。

功能：
按时间轴列表将已经判断为暂住、流动的人员信息实时显示。

个人信息：显示人员身份信息、标签及轨迹时间轴
场景照：支持查看每个抓拍的场景照
7.3.2 异常人员感知
针对在一段时间内，在一个摄像头下或一个区域的所有摄像头下人群的异常流动行为的发现、分析、推送信息。

业务场景：在多个时间范围、区域范围内，系统主动发现异常流动行为，主要用于未知情况的预警。

如：将2个小时经过3个以上不同小区的人员进行预
警，告知民警进行关注。

功能：
按时间轴列表将已经判断为异常行为的人员信息实时显示。

个人信息：显示人员身份信息、标签及轨迹时间轴
场景照：支持查看每个抓拍的场景照
7.3.3 实有人口感知
面向综合治理，感知辖区实有人口，房屋数据的动态变化，掌握实有人口，房屋状态异常变化情况，标识和识别流动人口和出租屋；还原被识别人员生活轨迹，通过人脸聚类归档应用，智能感知可疑人员
8.数据安全保障
8.1数据安全
对有特殊要求的数据，系统支持根据其安全等级设置对应的用户调用权限，具体可分为数据存储安全、传输安全、传输可靠性等方面。

8.2数据存储安全
防火墙在做信息包过滤决定时，有一套遵循和组成的规则，这些规则存储在专用的信息包过滤表中，而这些表集成在Linux 内核中。

在信息包过滤表中，规则被分组放在链表中。

iptables信息包过滤系统是一款功能强大的工具，可用于添加、编辑和移除规则，对特定的IP、端口进行保护限制。

用定制开发的Linux系统中的iptables功能，可对oracle访问的IP、端口进行保护，防止源数据维护视图被非法访问。

图1 iptables用于保护数据存储安全
8.3安全传输
使用SSL 加密传输通道进行数据传输，保证数据传输安全性；系统采用加密算法和各种加密技术对重要的核心数据文件进行加密处理。

当外部系统不可信时，无法正确解析文件；试图查看时，显示密文（既显示乱码），有效避免内部核心信息泄漏。

8.4数据传输可靠性
确保传输过程中的不丢包，传输验证等可靠性保护功能；
定制开发的Linux系统安全可靠。

系统传输数据可以完整保存整个目录树和文件系统，同时能保留所有文件的权限、时间、软硬链接等所有属性。

系统自带MD5值校验工具，可保证数据传输的完整性和安全性。

8.5断点续传
定制开发的Linux系统自带FTP服务，支持文件断点续传。

FTP（File Transfer Protocol）客户端软件断点续传指的是在下载或上传时，将下载或上传任务（一个文件或一个压缩包）人为的划分为几个部分，每一个部分采用一个线程进行上传或下载，如果碰到网络故障，可以从已经上传或下载的部分开始继续上传下载未完成的部分，而没有必要从头开始上传下
载。

用户可以节省时间，提高速度。

系统导图建库支持断点续传。

人脸识别系统后台导图采用image_loader导图建库工具。

并且可以显示导图进程。

在导图建库的过程中，导图工具会生成相应的日志log文件（包括image_list.task,image_list.done等）。

如果遇临时中止或者系统出现故障，重启服务开启导图任务后，系统会自动跳过已完成的任务，继续导入未完成的图片，支持断点续传的功能。

8.6服务接口安全
系统管理服务接口通过连接安全、消息安全、底层架构安全的特性，实现所有服务接口的安全性。

接口连接安全主要依靠现有的HTTPS协议和SSL安全加密协议，对外提供安全连接；接口消息安全主要依靠XML安全扩展标准，实现数字签名功能，保证消息是来自特定方并没有被改动过；系统底层架构安全主要依靠Webservice安全机制提高服务的安全性。