情指行一体化体系中大数据技术的应用
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
DCW
Technology Application
技术应用
0 引言
随着互联网特别是移动互联网的发展,一个以信息爆炸为特征的大数据时代已到来,这对公安机关来说既是挑战,也是机遇。
传统警务机制在处置突发性事件、预防与打击新型违法犯罪时往往“力不从心”,难以达到机制构建与运行之目的[1]。
为此,公安部加快推进全国公安机关深化警务改革工作,要求加快构建适应新发展阶段要求的现代警务体系,深化推进情指勤舆一体化实战化运行机制改革。
按照公安机关深化警务改革总体要求,2019年6月,公安部成立了情报指挥中心,担负情报分析、研
判预警、指挥调度、应急值守等重要职责,同时牵头推
进情指勤舆一体化实战化工作机制并下发了《情指勤舆一体化实战平台建设任务书》,各省紧跟公安部的脚步陆续实现了情报和指挥部门的合并。
近年来,各地公安机关结合区域实际,积极探索,深入创新,延伸拓展,先行一步,积累经验,在情指勤舆探索和建设方面取得一定成效[2]。
在情报会商研判、风险预测预警、指挥调度、舆情监测分析等方面已经取得了丰硕的成果。
但是情报指挥工作仍面临着警情数量持续攀升、情报信息处理工作量井喷式增长,资源壁垒、手段壁垒、信息来源单一化等问题始终困扰着情报指挥工作的进一步提质增效[3]。
同时由于情报平台
情指行一体化体系中大数据技术的应用
张金鹏1,2,王菁怡1,2,孙慧超1,2
(1.河北远东通信系统工程有限公司,河北 石家庄 050200;
2.河北省社会治安风险感知与防控重点实验室,河北 石家庄 050200)
摘要:
作为公安机关提高犯罪侦查和治安防控能力重要的手段,大数据在公安工作中发挥着不可忽视的作用。
但随着公安信息化的不断发展,信息量逐渐呈现出了指数级的增长,不断加强对公安内部的信息数据、社会资源和互联网资源信息的整合和处理以及对数据的深度挖掘,成为公安信息化新的发展方向。
利用大数据技术将海量情指行相关的数据进行汇聚、清洗、治理、分析、预测,从复杂的数据中挖掘隐性规律和内在联系,构建立体化、空间化的信息关联体系,综合分析应用并产生巨大价值是构建智慧警务的重要途径。
文章在深入分析情指行一体化建设的现状和问题的基础上,研究并设计了大数据融合应用平台,借助大数据技术实现情报、指挥、行动等警务活动的一体化协同运转,进一步提升公安机关在应急重大突发事件的处置能力。
关键词:
大数据;情指行;数据挖掘;协同运转doi:
10.3969/J.ISSN.1672-7274.2024.03.027中图分类号:
TP 3 文献标志码:A 文章编码:1672-7274(2024)03-0087-04The Application of Big Data Technology in the Integration of “Intelligence,
Command and Operations”
Zhang Jinpeng 1,2, Wang Jingyi 1,2, Sun Huichao 1,2
(1.Hebei Far East Communication System Engineering Co. Ltd., Shijiazhuang, 050200, China;
2. Hebei Key Laboratory of Social Security Risk Perception and Prevention.,Hebei Shijiazhuang, 050200, China)
Abstract: As an important means for public security organs to improve their criminal investigation and public security prevention and control capabilities, big data plays an indispensable role in public security work. But with the continuous development of public security informatization, the amount of information has gradually shown exponential growth. Continuously strengthening the integration and processing of information data, social resources, and internet resources within public security, as well as deep mining of data, has become a new development direction of public security informatization. The use of big data technology to gather, clean, govern, analyze, and predict massive amounts of integration of intelligence, command and operations, excavate hidden laws and internal connections from complex data, construct a three-dimensional and spatial information correlation system, comprehensively analyze and apply it, and generate huge value is an important way to build smart policing. On the basis of in-depth analysis of the current situation and problems of the integrated of intelligence, command, and operations, this article studies and designs a big data integration application platform, which utilizes big data technology to achieve an integrated collaborative operation mechanism for police activities such as intelligence, command, and action, further enhancing the ability of public security organs to handle major emergency events.
Key words: big data; intelligence, command and operations; datamining; collaborative operation
I G I T C W
技术 应用Technology Application
与指挥平台都是旧有系统,处于条线建设、分散自治的情况,而且建设标准规范不一,难以适应新形势下情指中心的工作模式,主要表现为以下几个方面。
(1)基础数据支撑薄弱。
信息采集、监测能力弱,现有基础数据难以支撑业务有效开展。
情报指挥部门在可用信息监测、感知、探察方面缺乏基础数据支撑,可应用于预警监测、感知、探察的数据资源鲜活度、完整性不够。
(2)数据交换共享困难。
由于现有情报与指挥业务系统是各自分散建设的,采取异构设计方式,数据建设标准规范不统一,导致“数据孤岛”“数据壁垒”“数据烟囱”等问题普遍存在,数据碎片化现象严重,信息交换和信息共享困难。
(3)数据应用能力不足。
情报研判预警、情报协作的技术支撑能力不足,难以形成合力。
一是缺乏统一高效的智能检索工具。
现有智能检索工具智能化关联程度不高,各类数据资源需到多个业务系统查询。
二是缺乏成熟、实用的预警发现、风险监测模型。
通过系统分析研判为基层提供预警预判情报的智能预警模型仍然较少,无法进行深度合成研判,无法实现跨部门、跨警种、跨地区开展情报合成研判工作。
针对上述问题,本文深入研究了大数据在情指行一体化中的应用,设计了数据融合应用平台。
1 概述
数据融合应用平台为公安机关提供一站式的数据交换、数据开发、数据治理和数据服务能力,将海量、多源异构的数据整合并资产化,提升数据处理能力和融合能力,增强数据的及时性和一致性,解决公安机关内部数据孤岛问题。
2 方案设计
2.1 系统架构
数据融合应用平台各组成部分的主要技术框架均基于业内成熟的开源框架进行搭建,集成和扩展,支撑数据采集接入、数据存储、数据治理、数据服务、数据应用、安全管控、审计分析等方面的能力。
从分层的角度,平台分为数据集成层、数据治理层、数据开发层、资产目录层、数据服务层。
(1)数据集成。
针对结构化和非结构化数据,通过前置机的方式采集,提供文件、数据导入;针对互联网数据,采用互联网爬虫抓取技术进行采集,同时对数据采集过程进行监控;然后对各种不同类型的海量
异构数据进行存储与管理服务。
(2)数据治理。
数据融合应用平台提供元数据服务、数据清洗、加工及增值数据产品制作的能力,包括元数据管理、数据清洗加工、数据血缘分析、数据质量分析等。
(3)数据开发。
数据融合应用平台提供图形化大数据分析流程设计方式,用户可以通过平台的流程管理界面设计数据流(Dat aFlow )、工作流(WorkFlow )和实时数据流(Streamflow )。
(4)资产目录。
数据融合应用平台通过资产目录树或多维度检索条件来查询数据资产信息,支持用户对资产溯源,查看具体的数据源,元数据等详情信息。
(5)数据服务。
通过服务化的方式,在整合汇聚数据资源后,采用主题分类、模型算法、分析展现等数据服务方式,提供涵盖业务数据、共享交换数据、音视频数据等范畴的历史数据、离线数据、实时数据的服务发布,为上层业务应用提供数据支撑。
2.2 部署架构
数据共享平台采用微服务架构,支持分布式部署,最小支持单节点部署。
3 系统功能
3.1 数据集成
公安机关在履行社会管理职责过程中,已经掌
握、管理、储存了各类数据信息,这使得公安机关掌握的数据储存海量化和类型多样化。
针对这些互联网信息、生物特征信息、行为轨迹、图片影像等海量数据进行智能化处理分析,是公安机关应用大数据的优势,也是当前公安信息化建设的重点。
按照公安数据标准规范体系,全面汇聚人口管理、110警情、铁路购票、民航通行、旅店住宿、车辆卡口、人像卡口、出入境等公安系统内部异构数据,外部对接企事业单位和政府部门等数据资源,采用E T L 技术抽取与情指业务相关的数据或调用相关的数据服务接口,形成情报类、指挥类、勤务类以及舆情类等4大类业务专题库,并以标签化的形式进行分组管理,为情指行上层业务应用提供基础的数据支撑。
3.2 数据采集
为了方便对大数据平台之外的数据源进行采集,除了直接连接各种数据库(Oracle 、MySQL 、SQL
Server 、PostgreSQL 等),还支持在数据源处的前置
机上部署采集器程序,通过对采集器进行采集任务下发、脱敏、数据同步等操作获取数据。
与传统的ETL工具最大的不同在于数据采集任务可以充分利用大数据平台的计算能力,采用分布式的方式并行执行采集任务,使数据采集过程中的数据加载和数据转换操作更加高效,保证了大数据量和高速数据流环境下的数据导入效率。
3.3 数据治理
(1)数据探查。
通过对来源数据存储位置、提供方式、总量及更新情况、业务含义、字段格式语义、数据结构、数据质量等进行多维度分析,以达到认识数据的目的。
(2)数据质量定义。
根据数据探查结果,结合情指行实际业务需求定义数据的完整性,格式的有效性、值域的有效性、逻辑的合理性、主键的唯一性、数据唯一性以及数据更新的及时性,从而保障接入数据鲜活、实用。
(3)数据读取。
在完成数据探查及数据质量定义后,对抽取数据或者推送数据中检查其是否与数据质量定义一致,不一致的停止接入,并重新进行数据的探查和定义;一致的执行进一步接入、处理。
(4)数据质量校验。
对读取后的数据进行评估,及时修改接入和处理中出现的问题,使数据质量提升形成闭环。
(5)数据质量校验。
由于数据来源较为庞杂,海量的原始数据中存在许多不完整、不一致、有缺失、有重复、有异常的数据,直接进入各库会大幅降低数据质量,会影响基于这些数据进行的各类分析的执行效率,甚至可能导致分析结果的偏差,所以进行数据清洗显得尤为重要。
在数据清洗的过程中,需要依据数据质量定义将不合符规范的原始数据转化为期望的格式、满足数据质量要求的数据。
(6)数据关联。
数据关联以人员为核心,将公安机关内部业务系统数据,如常口数据、轨迹数据、监所数据等进行关联,并根据数据关联信息,将不符合数据质量定义的数据进行关联补充。
3.4 数据共享
情指行业务专题库的建立需要依赖各种数据来源,情指行平台是其中重要的数据来源,这部分数据如何安全可控地对接是一个很关键的问题。
为解决该问题,设计了数据共享架构体系,在数据融合应用平台汇聚上级单位、各业务警种、铁路、民航等数据的基础上进行清洗治理,从而形成数据资产,通过情指数据共享平台,以数据资源目录的形式共享给其他单位,其他单位可以申请需要的数据,申请通过后即可使用这部分数据,数据的使用和访问都是全流程记录的,这样可以在确保情指数据充分共享共用的基础上,保证数据的安全可控。
3.5 数据分析
数据分析是公安机关情报研判环节中重要的支撑手段。
一是利用高效的智能检索工具,将人员、案件、车辆、警情、预警、轨迹等各类治安要素深度聚合后形成统一的知识库,为实际案件研判分析提供百科式的检索能力;二是构建算法模型加工厂,结合情指实际业务场景和公安实战经验,设计了数十种技战法模型。
(1)智能检索。
将人员、案件、车辆、警情、预警、轨迹等各类治安要素深度聚合后形成统一的知识库,为实际研判分析提供百科式的检索能力。
主要包括以下几点。
①可视化研判分析平台:通过直观的可视、交互手段,将与事件相关的多源数据关联并可视化展现、交互分析。
②全息档案:将关联的数据整合,通过以档案的方式集中展示人员的基础信息、管控信息、轨迹信息和关系信息等4大类70多子类的相关信息,并利用大数据进行人员的二次网络拓展,构建人员轨迹和知识图谱。
③会商研判管理:基于研判主题,构建研判主题、研判任务、研判协作请求、任务指令、研判结果、研判报告、研判交流的标准化管理体系。
(2)技战法模型。
预防打击犯罪是我国公安工作的重要任务,讲求打防结合,重在预防[4]。
在当前公安信息化建设不断深化的形势下,将应用模式由事后研判转向事前预防预警已成当务之急[5]。
情指行平台构建了丰富的战法模型,通过对社会治安相关的警情、安保、卡口、违法、事故、事件等多源数据的采集,运用大数据、机器学习等技术,深度挖掘数据背后的隐性规律,搭建监测预警模型,实现涉黄、涉赌、同行人分析、进入预警区域、离开指定区域、隐性重点人挖掘、群体异常串联等隐性社会风险的预测预警,助力公安各警种的执法能力提升、安全保障任务的高效开展。
(下转第107页)
3.3 道路交通智能信号灯
道路交通智能信号灯是将人工智能技术应用于交通信号灯控制系统的一种创新应用。
传统的交通信号灯系统通常根据定时或感应设备来控制信号灯的时序,缺乏实时的交通流量和需求信息。
而采用人工智能技术,交通信号灯可以根据交通情况进行智能调度。
通过搭载摄像头和计算机视觉技术,道路交通智能信号灯可以实时监测和分析道路上的交通状况。
通过人工智能算法的支持,信号灯可以根据交通流量和拥堵情况自动调整信号时长和时序。
当路口交通流量较大时,信号灯可以自动延长绿灯时间,以减少拥堵。
相反,当交通流量较小时,信号灯可以根据需求调整信号时序,以提高交通效率和减少等待时间[5]。
此外,道路交通智能信号灯还可以结合交通大数据和预测模型,根据预测的交通流量和拥堵情况提前做出调整,以避免拥堵发生。
智能信号灯还能减少不必要的行车停顿,降低尾气和二氧化碳排放量,减少交通对环境的影响。
3.4 道路交通警用机器人
道路交通警用机器人是一种利用人工智能技术和机器人技术来辅助交警工作的创新应用。
随着交通拥堵问题的不断加剧,交警需要投入大量人力资源进行交通管理和指挥。
道路交通警用机器人可以通过智能视觉识别、语音交互和人机协作等技术,来辅助警力进行交通管理。
警用机器人可以通过搭载摄像头和传感器来实时监测道路交通状况,并将信息传输给交警指挥中心。
它可以通过对交通信号灯的控制,对违法行为进行实时监测、识别和记录,如闯红灯、超速、逆行等。
通过人机协作,警用机器人可以向交警提供实时的交通违法信息,并辅助交警进行处罚和处理。
此外,警用机器人还可以与驾驶员和行人进行语音交互,提供交通指引和路况信息,增强他们的交通安全意识。
它还可以为民众提供交通事故处理指导、紧急救援指引等服务,提高社会大众的道路交通安全意识和应急能力。
4 结束语
综上所述,人工智能技术在道路交通管理中的应用极具潜力。
通过道路交通视频功能、道路交通大数据预警、道路交通智能信号灯和道路交通警用机器人的应用,可以实现道路交通的智能监测、预警和调度,提高道路交通效率,减少交通拥堵,保障交通安全,从而为城市的可持续发展做出贡献。
■
参考文献
[1] 刘建宁.人工智能和物联网技术在交通中的应用分析[J].长江信息通
信,2022(11):233-235.
[2] 吴探微.人工智能技术在城市智能交通系统中的应用[J].时代汽车,
2021(5):179-180.
[3] 王吉豪,王在俊,王乾垒.人工智能在空管中应用的研究进展[J].自动
化技术与应用,2021(1):1-4,19.
[4] 杨奕烨,樊重俊,安艾芝.人工智能在智慧民航建设中的应用研究[J].
智能计算机与应用,2020(12):214-215,219.
[5] 周锐鑫.人工智能技术在城市智慧交通管理中的应用展望[J].信息记录
材料,2020(5):1-3.
4 结束语
情指行一体化建设是新时代公安改革的重要组成部分,顺应了中央深化公安改革的时代潮流,是提升公安整体战斗力的重要途径[6]。
借助大数据技术打破部门警种壁垒,无障碍归集整合公安机关内部数据,建立数据标准管理体系,对入库的海量数据进行全面分类、清洗、标注,实现数据资源有效分流合流,把一个个“数据孤岛”整合成为一片“共享大陆”,实现数据价值最大化,将是推进情指行一体化体系建设的重要支撑手段,更是建设智慧公安,推进公安工作现代化的具体体现。
■参考文献
[1] 王彬.论“情指勤舆”一体化运行机制之构建[J].辽宁警察学院学报,
2022(03):1-7.
[2]齐立伟.情指勤舆一体化实战化运行体系研究[J].公安研究,
2022(08):34-39.
[3] 黄爱国.“情指行”一体化运行机制建设的实践与思考[J].公安研究,
2022(12):20-24.
[4] 张鹤飞.大数据技术与公安工作:应用于挑战[J].北京警察学院学报,
2015(03):77-81.
[5] 金吉.大数据背景下公安积分预警系统设计研究[J].中国安全防范技术
与应用,2019(01):58-62
[6] 赵峰.新时代背景下“情指行一体化”建设的思考[J].辽宁警察学院学
报,2020(05):12-15.
(上接第89页)。