大数据技术在公安综合情报工作中的落地与应用

我国政府部门目前几乎没有使用大数据技术，很多政府部门 并未对利用大数据提升业务能力予以足够重视，大数据资源 管理的思维尚未建立。大数据在政府治理中的技术运用尚在 探索。因此，现阶段最基本的思想认识就是“务实”，特别 是综合情报部门不能跟着互联网商业“大数据”的套路“瞎 起哄”。要把成熟的商业“大数据”工具、技术与公安综合 情报业务实际相结合，与当前数据现状相结合，与公安的其
鼍爹ｊ辫
摘要：
“大数据”在公安综合情报领域的应用是一项系统工程，理清实际应用需求，找准实现路径与方法，结合实战引入成 熟的“大数据”技术，逐步形成具有公安综合情报工作特点的“大数据”应用体系。
关蝴：大数据公安综刽青报应用
的综合情报分析过程中，查询或者检索将不再是主要的应用
一、引言
综合情报应用是近年来公安机关为实现警务机制升级 转型而衍生的一项重要新职能，各级公安综合情报部门作为 一支研判违法犯罪规律、辅助警务战略决策和指导“打防管 控”警务实战的新兴力量，无可避免要与“大数据”亲密接 触。海量、动态、多样的“大数据”浪潮使传统的公安情报 分析思维和行为方式面临着巨大挑战。高效整合数据资源， 将“大数据”的理念、技术手段和运作模式率先在公安综合 情报部门“落地”，已经成为当前公安机关迫切需要研究和 着手解决的重大课题。
三、解决路径
当前公安机关面临的“大数据”应用还属于起步阶 段， “现阶段，大数据在政府治理领域还未得到足够重视。
（二）统筹不同类型数据库技术的综合应用 数据处理的核心手段和支撑是数据库技术。 “大数
据”应用也不例外，当前公安机关遇到的主要数据库技术首 先是关系型数据库。如ＯＲＡＣＬＥ、ＭＹＳＱＬ等；其次是 ＮＯＳＱＬ类的数据库，这一部分在公安行业处于起步阶段， 目前集中在一些应用比较发达的地区使用，比如 ＨＡＤＯＯＰ的Ｈｂａｓｅ等；第三是内存数据库，又包括集中内 存技术和分布式内存技术，其ＳＰＡＲＫ就属于后者。对于 上述三类数据处理技术。 “大数据”应用更为侧重后两者，
的、或者涉及多个变量运算以及一些实时处理。内存数据库
的优势就比较明显。
数据存储
Ｓ
数据资源
Βιβλιοθήκη BaiduＤＳ
ｒａＣｌｅ
Ｔ Ｏ
‘＼√
ＫＡＦＫＡ
基础算法包括聚类、决策树算、贝叶斯等。虽然这些算法都 已经非常成熟，但是，如何将公安数据源和公安综合情报分
公安 各类 数据 采集 应用 服务
ＭＹＳＯＬ
Ｒ Ｍ
消息 队列
＼——一／
Ｐａｒａｌｌｅｌ
据的集中度等．观测分布的主要目的就是了解数据稳定性和
集中度。三是洞察趋势。即研判目标数据的发展趋势。通过 既往积累的海量数据判断未来数据是波动还是平缓。分析哪 个阶段变化较大，预判异常数据点可能何时发生。洞察趋势 的目的就是把握工作的整体的走向。因此这是综合情报部门 “大数据”应用的最高级方式。 从技术支撑看：综合情报部门欲顺利将“大数据”落 地应用，以下三个基础技术支撑能力必不可少：一是具备高 效处理海量结构化数据的能力。随着信息化应用的深入。常 规数量的数据已经远远不能满足警务实战的需要，如现在的 侵财型犯罪分子驾车流窜作案特征明显，这就需要我们对车 辆卡口的抓拍信息进行细致分析。通过车辆信息来确定相应 人员的轨迹，目前一个地级市一天的卡Ｅｌ车辆数据就有上千 万条，对一个月的信息进行处理。面临的数据就是数个亿。 二是具备高效处理分布存储数据的能力。由于目标数据量呈
增长、结构不断更新。公安综合ｒ褂艮应用面临的形势已经从
原先的基础信息登记加常规数据集数据统计，发展到了海量 数据汇聚加“大数据”分析预测的新阶段。在“数据为王” 的时代。公安综合情报部门对“大数据”应用落地的需求主 要集中在内容、方式和技术支撑三个方面： 从内容看：基于数据进行相关规律分析将是一段时期 内公安“大数据”落地应用的主要内容。在基于“大数据”
大数据专家委员会．
［２１ Ａｍｎｄ
Ｉ加ｍａｍ著［美］，王斌译．大数据 ／互联网大规模数据挖掘与分布式处理． 术研究．警察技术２０１３（０５）．
它代表着用系统的方法描述解决问题的策略机制。对于综合 情报而言，其主要工作是研判分析，因此对数据分析的系列
算法的研究与落地是“大数据”应用落地的关键。所谓的基
础算法是根据数据创建数据挖掘模型的一组试探法和计算 为了达到创建模型的目的，算法首先将对目标数据进行分 析，并查找特定类型的运行模式或者发展趋势。数据分析的
Ｓｅａｒｃｈ
图２买时处理与离线处理相结合的应用模式
（三）研发一个灵活的“大数据”建模工具平台 公安综合情报分析的深化应用牵引着“大数据”技术 的“落地”进程，驱动着信息化建设从传统的系统集成向海 量数据存储、—体化调度管理和深度整合应用发展。面临海 量数据进行情报的挖掘分析，必须搭建一个基于模型的海量 数据挖掘分析工具平台。综合情报部门对海量数据挖掘分析 的本质特征是演绎、归纳、推导，循序渐进，由此及彼，由 表及里，由浅入深的过程，也是一个建模、验证、流程化、 智能化的过程。“大部分数据建模的方法可以描述为下列两 种做法之一：一是对数据进行简洁的近似汇总描述；二是从 数据中抽取出最突出的特征来代替数据并将剩余内容忽 略”，公安情报分析的业务建模也是如此，它是具体情报分 析业务的抽象和概括。面对海量的数据的压力，实现从业务 模型到数据模型、软件模型的统一。综合情报部门的“大数 据”建模工具平台，必须依托分布式并行处理的总体架 构。通过统一的数据服务总线。支持不同类型的海量数据的 分布存储与异地计算，支持结构化数据及非结构化数据的标 准化处理。应当采用图形化的模型搭建工具，支持流程化的 模型配置。需要集成第三方插件，支持将其他工具及服务简 易地集成与应用，实现从业务模型到数据模型、软件模型的 流程化与智能化。 （四）实现数据分析基础算法向公安情报分析专业算 法的演进 算法是针对某一类问题而形成的完整和准确的解题方 案。在信息化领域，算法就是一系列解决问题的清晰指令，
综合情报应用 数据处理
传统关系型数据 处理体系：
常麓结构化敛据 ＯＬＡＰ／ＯＬＴＰ，元数据．锁
现出几．何级数的增长，动辄以数亿来计量的数据显然已经无
法用常规数据交换工具来进行汇聚，以往使用的清洗转换汇 聚的手段已经无法完成任务。因此必须具备和掌握处理分布 数据的统一架构与相应的工具手段。三是具备高效处理实时 数据的能力。对于综合情报部门而言，实现以上两项能力还 不够，因为它们大多是建立在离线数据非实时处理基础上。 处理的数据对象—般相对静止。综合情报部门的部分工作带 有很强的时效性，需要实时处理数据，如对机动车的布控与 路面查缉，若信息延迟数分钟，被查缉的车辆早已经在数十 公里之外，可能所有的路面查缉动作都会成为摆设。只有具 备数据实时处理的能力，才能使情报服务实战落到实处。
公安综合情报的应用，是一场真正意义上的变革，在技术推 进的同时，必须要对传统的情报工作流程、管理规范乃至组 织架构进行重组，对相关的控制节点进行重构，最终还要对 效果评估进行重新定义和设计。技术与业务两者互相促进， 互相推动，方能真正实现“大数据”在综合情报音６ｉ－］的落地
与应用。目
眨弱圜
『１１中国大数据技术与产业发展白皮书∞１４），中国计算机协会
商业“大数据” 处理体系：
巨■怔价值密虞螂
机制．索引．ＳＯＬ执行与 优化．埋存处理，备份． 监控臂理
箍裟瓣‰擀篙器 ：！ｌ鬻墓５｜ｍ
基础数据源
ＨＡＤＯＯＰ框架Ｉ ＨＤＦＳ存 储．ＭＩＲ计算框架．ＨＩＶＥ 等）．ＳＰＡＲＫ框架．
ＫＡＦＫＡ辅．ＳＴＯＲＭ流
式处理ＮＯＳＱＬ数据库…
圈１以ＭＰＰ为主体的总体架构
对关系的洞察是公安“大数据”应用的杨ｂ内容，包括信息
与信息之间的关系、数据与数据之间的关系、数据与警员之 间的关系等。 从方式看：对公安行业而言，数据收集、汇总可能不 是难事，难点在于对收集好的数据按照何种方式进行解读， 最终如何展现才能服务实战应用。当前“大数据”比较容易 在公安综合情报部门落地应用的方式。包括以下三种：一是 进行比对。其中包括微观形态的数据碰撞形式和宏观形态的 整体对比形式。前者类似于小数据集条件下的应用，比如在
Ｐｒｏｃｅｓｓｉｎｇ）并不是一个新事物，提出这个架构是因为它与 当前公安层级管理模式和应用现状比较匹配。在技术上又能 兼顾传统关系型数据库处理与商业“大数据”处理两个套路 的优势。特别是目前“大数据”处理的主要对象还是海量结 构化、半结构化数据，在大多数情况下要进行包括元数据，
数据表、索引文件等基础管理，且要求能够比较好的支持
万方数据
逃人员比对：后者简单的如环比和同比方式，复杂一点是基 于时间轴或者区域划分来判断延续性、变量关系和相关关系 等。二是观测分布。对目标数据段的整体分布进行分析。得 出发散度或者集中度，还包括中间值判断或者某个占比的数
他信息化应用相结合，有的放矢，循序渐进。找到“大数 据”在公安综合情报部门“落地”途径，除了领导重视、组 织领导等常规工作举措以外，需要做好以下四项重点内容。 （一）搭建一个以分布式并行处理体系为主体的总体 架构 分布式并行体系（ＭＰＰ，Ｍａｓｓｉｖｅ
形式。综合情报部门的应用重点是使用海量的数据去洞察客 观规律。以及通过各种工具和方法发现警务活动中隐含的知 识。与以往警务决策更依赖直觉和经验相比，随着“大数 据”时代的到来，之前处于主导地位的公安传统业务专家的 地位会逐步改变，
“大数据”思维将大大优化我们警务“知
识库”。这个“知识库”主要包含三个方面内容：一是警务 信息背后的规律。涉及到公共安全的每一张图片、每一段文 字、每—个视频，都是警务信息，对所有与警务相关信息的 规律洞察和理解是公安“大数据”应用第一个重要的领域。 二是警员行为背后的特征。这项可以扩大到每一个参与公共 安全活动的对象，包括警员、辅警甚至是治安积极分子，主
析方法与之相结合，最终封装出一批直接服务警务决策和警 务实战的公安“专业算法”，是综合情报部门研判工作深化 发展的必由之路。比如聚类算法在公安情报部门的落地应 用，就可以以相关人员的行为特征进行聚类，得出嫌疑指数
Ｃ…’
搜索
０ＬＡＰ
Ｌ—
Ｈｂａｓｅ
ｅａｉｓ
圄
高。刁
ＨＡＤＯＯＰ离线处理
ｍ怕ｅ ｌ同
一ｓ
／
比较高的人群。当然。专业算法的落地是与建模工具平台密 切相关的，只有基于建模工具平台进行具体专业算法的应 用，这类算法才可能真正得到固化和更大范围的普及共享。
但在具体应用时，要看到上述三个方面都是各有所长、互相 补充的，比如，结构化程度很高的轻量级数据使用关系型数
Ｐｏｌｉｃｅ
Ｔｅｃｈｎｏｌｏｇｙ
２０１５年第３期
９
万方数据
目囤
据库；海量数据检索。特别是类似车辆轨迹动辄会达到百亿 的巨量结构化的信息，基于Ｈｂａｓｅ进行检索就是一个比较合 适的选择。还有一些数据量不是很巨大。但是要求找出频次
二、需求分析Ｉ 一、ｒｒ日１、／Ｊ’Ｉ』
近年来，全国公安机关大力推进信息化建设工作，为 公安综合情报应用向纵深发展奠定了坚实基础。特别是在数 据层面。各级公安机关掌控的数据种类不断丰富、总量急速
要体现在每个参与对象的基本行为特征、潜在操作习惯，应 用发展走向等内容。三是警务活动形成的“关系知识库”。
四、结语
“大数据”的在综合情ｔＥ音Ｓｌ＇７的应用最终的落脚点是 业务价值，最终目的是对海量的数据进行处理后，不但能够 全局共享。实现查询、比对、统计等基础应用，更能支撑趋 势预测、辅助决策、洞察规律等进一步的深度应用，只有这 样才能最大限度的体现“大数据”在公安情报战线的价值。 “大数据”在公安综合情报部门的应用是公安工作实现新一 轮跨越的一项ｔ，？，４－Ｔ－工程，在此过程中，我们除了技术的推进 外，更要关注相匹配的机制体制配套，没有相应的机制体 制，技术更新永远只是属于小打小闹的局部“手术”或者是 一种改良，只能在个别环节上提高工作效率。 “大数据”在
ＳＱＬ体系，便于与目前已经存在的公安业务应用进行对接。 采用这种架构的另一个好处是可以有效衔接列存储、大索引 文件、流式比对、并行数据加载等多类“大数据”处理技 术，使这些“大数据”技术在当前警务活动中找到合适自己 的应用场景。另外，这个架构也可以有效支撑ＰＢ级别的结 构化、半结构化的数据分析。对于搭建公安情报中心的新一 代“数据仓库”，分布式并行处理架构是一个比较合适的 解决路径。