公安大数据处理平台的探索

2014年第3期广东公安科技总第117期公安大数据处理平台的探索*

吕益民1宫夏屹2聂春华1

(1.广州市公安局科技通信处，广东广州510030;

2.中国航天科工集团二院北京仿真中心，北京100854)

摘要本文通过对大数据应用的发展现状和广州公安视频数据进行分析，从广州市公安局对大数据应用的需求出发，构建了公安大数据支撑平台的体系架构，并提出建设一个用于解决视频及

图像等大数据存储、分析处理等问题的公安大数据处理平台的构想。

关键词公安大数据平台

引言

大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。［1］业界将其归纳为4个“V”———Volum、Variety、Value、Velocity，即具有4个典型特征：第一，数据大体量巨大，从TB级别跃升到PB级别；第二，数据类型繁多，网络日志、视频、图片、位置信息等等；第三，价值密度低，以视频为例，连续不间断监控过程中，可能有用数据只有几秒；第四，速度快，俗称“秒级定律”，即速度要求很高，一般要在秒级时间给出分析结果，时间太长就失去价值［2］。目前大数据的研究和应用已成为各行业数据研究的重点。

当前，各行业数据爆发性增长，亟需转变数据处理模式。在公共安全领域，治安系统、智能交通视频数据呈井喷式增长，已显现出行业大数据的典型特征。如广州的社会治安视频监控系统，目前进入第二期建设阶段，如果我们将社会上所有的视频监控数据都接入公安系统，每天将产生PB规模的视频、图像及相关数据。如何对如此大规模的数据进行智能、高效的组织管理和分析处理，在此海量信息中提取有用信息，以辅助公安机关开展治安防控、警情研判及指挥决策已成为当前公安业务中亟需解决的难题。针对这些难题，我们就需要建立面向公安大数据的处理平台。有鉴于此，我们从广州市公安局对大数据的应用出发，研究分析出一种用于解决视频及图像等大数据存储、分析处理等问题的公安大数据处理平台。该平台通过综合运用云计算、云存储、并行数据挖掘等技术，针对图像、视频等非结构化数据开展存储、挖掘和联动分析等应用研究。

1大数据应用技术及公安业务现状分析

从2009年开始，“大数据”逐渐成为互联网信息技术行业的热门词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。“大数据”作为一个较新的概念，目前尚未直接以专有名词被我国政府提出来给予政策支持。不过，在工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传

*首届公安信息化建设优秀论文评选活动优秀论文

2014(3)吕益民等:公安大数据处理平台的探索

输技术、信息安全技术，也都与“大数据”密切相关。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

国内学者针对大数据分析平台应具备的重要特性进行研究，并对当前的主流实现平台———并行数据库、MapＲeduce及基于两者的混合架构进行了分析归纳；基于虚拟化管理技术和Hadoop平台构建基于云计算的动态可伸缩的海量数据处理平台，并应用于电网海量数据的处理、信息情报机构内部数据挖掘、电信运行数据分析处理等［3］。在数据挖掘方法上，针对云计算环境下的大数据存储，提出基于协同计算模型的分布式数据的协同管理和任务的协同调度方法［4］；基于网格划分的大数据离群点监测方法［5］；以及基于粗糙集、聚类分析等方法的大数据挖掘方法［6］；部分学者针对大数据的压缩技术进行了研究。

通过对国内在大数据方面的研究工作进行分析，可以发现目前大数据的研究还比较零散，在大数据处理平台架构上大多基于Ha-doop技术，大量的研究集中在大数据的挖掘分析方法上，还没有形成支撑大数据处理平台开发的相关技术体系。而数据挖掘技术在公安工作中的研究与应用尚处于起步阶段，许多公安业务信息系统还停留在初级处理水平，缺乏综合性的开发应用，智能化的分析研判，科学性的决策预警。

公安业务领域中治安系统、智能交通视频数据呈爆发性增长，具有非结构化等大数据典型特征，也是政府部门重要的信息资源。各类视频监控系统仍在进行补充建设及高清化处理能力，预计未来广州市公安业务领域每天将产生PB规模的视频及图像数据。

面对海量的公安业务数据，我们面临以下难题：1）如何从海量数据中获取支持公安业务的关联特征？2）如何对公安视频类大数据进行高效组织、智能分析处理？3）如何应用大数据辅助公安人员快速开展治安防控、警情研判及指挥决策？同时，如何发掘公安信息资源价值，提高公安大数据的利用率也是当前公安大数据应用关注的重点问题。

结合以上需求分析，针对公安领域视频、图像数据规模大、数据关联性强等特点，亟需公安大数据处理平台的系统性研究。

2公安大数据支撑平台体系架构

针对公安领域视频、图像等非结构化数据所具有的容量大、多样性、非结构化、冗余度大等特点，以及实际业务中快速开展大数据分析处理的应用需求，研究提出支持横向扩展，具有分布、并行、高效特点的基于云计算的大数据处理平台的体系架构。

公安大数据处理支撑平台在逻辑上表现为一种层次架构，自上而下包括应用层、数据处理层、数据存储层、中间件层和资源层。而相关的标准、规范和安全机制贯穿所有层次。

应用层：面向视频、图像等大规模数据的公安业务应用，提供智能监控、事态预测、统计分析、分析模拟、指挥决策等核心应用服务。

数据处理层：面向应用，在大数据分布式存储和管理的基础上，基于MapＲeduce技术框架，提供视频、图像大数据的索引描述、特征提取、并行数据挖掘、智能关联分析等支撑服务。

数据存储层：实现大数据的高效存储和高并发访问控制，基于Hadoop技术体系，综合应用HDFS、Hbase、Hive，提供数据检索、存储监控、负载均衡、容灾备份等支撑服务，实现结构化、非结构化数据的集中管理。

中间件层：为支撑平台提供运行所需的基础中间件，主要包括虚拟化服务化中间件、资源管理与集成中间件、分布式存储中间件。

资源层：为大数据平台的运行提供基础支撑，包括存储服务器、计算服务器等高性能硬件资源，结构化和非结构化的数据资源，以及各类感知资源。

3构建公安大数据平台要解决的关键问题

构建一个能够有效支撑广州市公安局大