基于大数据的海上目标实时处理架构

140 •电子技术与软件工程 Electronic Technology & Software Engineering
数据库技术
• Data Base Technique
【关键词】大数据 实时数据 流处理 并行处
理海洋是我国领土的重要组成部分，根据国家海洋战略要求，为维护国家主权、领土安全和海洋权益，实现建设“海洋强国”目标，需要进一步提升海上目标态势感知能力，为海域综合管控、海上维权执法和突发事件处置等提供及时、可靠的海上目标态势保障。

随着AIS 、北斗以及雷达技术的不断发展，相关系统/装备对海洋目标的覆盖范围更为全面，可提供的信息内容更为丰富，大数据技术发展应用可为海量实时数据处理提供关键技术解决方案。

本文对海洋目标数据现状进行了分析，设计提出面向大数据的情报系统实时处理架构和运行模式，对于情报系统的研制开发有参考价值。

1 海上目标数据现状
海上活动的船只，渔船、商船、货船等民用占了绝大部分。

根据公开资料，中国海军部队拥有主力舰艇300余艘，武警部队拥有海警船300余艘；我国渔船总数为101.1万余艘，主要航运企业沿海船队规模近1000艘，沿海省际运输干散货船、集装箱船、油品船、化学品船、液化气船等共计3700余艘。

目前，海上目标数据主要获取手段有三类：
（1）AIS 目标数据；（2）北斗船位数据；
（3）岸基、海上、空中等平台雷达探测的目标数据。

1.1 AIS目标数据
AIS 是船舶自动识别系统（Automatic Identification System ）的简称，AIS 数据包括船位、船速、航向等动态信息以及船名、呼号、吃水及危险货物等船舶静态资料。

根据AIS 国际标准ITUR-M.1371和国家标准GB/T 20086，AIS 动态数据密度为：锚泊船3分钟/点、0-14节航速的船12秒/点、0-14节航速
基于大数据的海上目标实时处理架构
文/蒋保富1 陈秀英2
并且在改变航向的船4秒/点、14-23节航速的船6秒/点、14-23节航速并且在改变航向的船2秒/点、超过23节航速的船3秒/点、超过23节并且在改变航向的船2秒/点；静态数据6分钟/点。

国际海事组织规定300总吨及以上的国际航行船舶、500总吨及以上的非国际航行船舶、所有客船应配备AIS 系统；中国海事局要求中国籍沿海200总吨及以上的航行船舶应配备AIS 系统；随着我国海洋渔业捕捞和航运经济的发展，国家多部门联合加强了渔业船舶的安全管理，目前大部分渔船已配备AIS 终端。

AIS 数据来源主要通过岸基AIS 和卫星AIS ，岸基AIS 基站接收目标范围为周围30-50海里，实时获取船舶AIS 信息；卫星AIS 通过多颗低轨卫星覆盖全球主要海域和地区，根据其探测和通信技术特点，报告船舶的时间间隙为几分钟或者几个小时。

中国于2002年起开始AIS 岸基网络系统建设，现已
建成覆盖中国所有沿海水域和内河四级以上高等级巷道水域的岸基网络。

“船讯网”提供卫星AIS 国内数据服务，英国劳氏（LRF ）授权提供船舶档案服务，完整收录全球300总吨以上国际航行船舶12万多艘。

如图1所示。

1.2 北斗目标数据
北斗卫星导航系统是中国自行研制的全球卫星定位与通信系统，在全球范围内全天候、全天时为各类用户提供高精度、高可靠定位、导航、授时服务，并具短报文通信能力。

北斗卫星导航系统2012年形成区域覆盖能力，计划2020年形成全球覆盖能力。

公开数据显示，我国渤海、黄海、东海、南海等海域的5万多条渔船已安装北斗终端，后续有更多渔船列入规划。

通过北斗终端，北斗卫星导航系统以空间精度
10m
，时间采样间隔3分钟，实时掌握渔船的动态特征数据。

1.3 雷达目标数据
图1：中国海事局AIS 和船讯网AIS 船舶位置
船讯网AIS
中国海事局AIS
Data Base Technique •
数据库技术
Electronic Technology & Software Engineering 电子技术与软件工程• 141
雷达探测距离取决于雷达输出功率、天线增益、接收机噪声系数等参数，天线与目标的高度，以及波长、大气等因素。

受天线高度和地球曲率影响，岸基警戒雷达对海探测距离60-80公里、船载警戒雷达10-30公里、机载雷达200-300公里；微波超视距雷达距离100-200公里；地波超视距雷达距离300-400公里；天波超视距雷达最远可达数千公里。

1.4 海上目标数据量级
综上，考虑季节、天气、休渔等影响，按海上船舶40%在港、60%活动且活动船舶有50%在岸基雷达和岸基AIS 覆盖范围内估计，全域海上情报系统每分钟处理目标航迹数据达228万点，全天最大可达32.8亿点，见表1。

2 多源目标信息融合架构
海上目标情报系统核心能力是多源信息融合。

信息融合军事概念可定义为战场态势感知的多源信息处理过程，包括信息获取、信息处理、态势估计和态势展现等环节，其目的是获取及时、准确、连续、完整和一致的战场态势。

鉴于融合系统运行过程离不开人的操作、选择、判断、行动、管理和控制，信息融合研究者们致力于建立一个人在回路的信息融合系统，发挥用户对信息融合的主导作用，其典型融合模型是用户-融合模型，如图2所示。

基于这个融合模型，情报系统目标数据处理典型流程如图3所示，对于接收、处理分析、分发共享、评估、反馈等过程，考虑目标数据有时序和多源共同掌握，信息汇集、预处理、综合处理（含航迹关联、状态估计、综合识别）、情报分发、态势展现等之间的信息流程为串行过程，系统目标数据处理能力决定于单个过程的最大处理能力。

根据经验数据，单个海上目标数据的综合处理过程需要1-2毫秒，系统目标航迹数据处理密度最大3-6万点/分钟。

由于多源目标数据之间的相关性，考虑到系统应用功能实现的可靠性，一般采用不超过2-3个应用进程并行处理的改进方法，系统可达到10-20万点/分钟的处理能力。

如是，当前目标数据融合架构和方法已无法支持更大批量（228万点/分钟）的实时目标数据处理，
需要应用大数据相关技术，提高数据融合质量
和处理效率。

3 大数据之实时处理架构
表1
覆盖船只数量平均更新频率每分钟总点数每天总点数备注
岸基AIS 300,00012秒1点1,500,0002,160,000,000卫星AIS 120,0001小时1点120,000172,800,000北斗180,0003分钟1点60,00086,400,000岸基雷达100,00020秒1点300,000432,000,000分辨率影响，有盲区，覆盖系数1.5
船载雷达20,0006秒1点200,000288,000,000无线通信传输能力限制机载雷达
10,0006秒1点
100,000144,000,000无线通信传输能力限制
合计
2,280,000
3,283,200,000
3.1 大数据处理系统
大数据技术已成为促进行业技术进步、
效益增长的关键支撑技术。

根据数据处理的时效性，大数据处理系统可分为批式（batch
）
图2：用户—融合模型
图
3：多源目标数据处理典型流程图
图4：数据流程大图
数据库技术 •Data Base Technique
大数据和流式（streaming）大数据两类。

其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。

目前主流的大数据处理技术体系主要包括Hadoop及其衍生系统，在此基础上发展出了Spark Streaming、Storm、Flink等开源流处理框架，这些流处理框架已被应用于部分时效性要求较高的领域。

相较于批处理大数据系统，流处理大数据系统将系统接入实时数据通过流处理，存入高性能内存数据库，基于内存数据库实现实时数据的高效查询和分析处理。

但是受限于内存容量，系统只能存储部分最新数据，不能基于完整大数据集进行查询分析处理。

因此，需要构建一个融合批处理和流处理的系统架构，基于批式大数据挖掘分析新的知识和经验，基于流式大数据实现海量实时数据高效处理，同时应用相关知识和经验时，能够具备“事中”甚至“事前”模式实现感知、分析、判断、决策等功能。

数据从产生到被使用，主要包含四大过程：数据产生、数据采集和传输、数据存储和管理、数据应用。

具体数据流程图和关键环节如图4所示。

对于实时数据处理，支撑技术也主要包含四个方面：实时数据采集、消息中间件、流计算框架以及实时数据存储。

在数据应用全过程中，还需要建立包括数据资源、技术产品、运维管理、数据安全、集成应用等在内的数据标准体系，确保传输高效、交换一致、结果准确。

3.2 情报系统实时处理架构设计
面向海量实时目标数据，应用大数据技术构建情报系统流式大数据实时处理平台。

基于多台高性能计算机构建服务器集群，以内存数据库、分布式数据库及分析计算引擎提供平
台支撑，服务器集群内业务应用的实时目标数
据依托内存数据库进行管理、查询和分析计算。

对系统目标实时数据处理典型流程进行
分析，其中，信息汇集过程、目标预处理过程
以及情报分发过程目标数据不相关，多源目标
航迹关联、状态估计、综合识别、异常告警等
过程目标数据相关。

基于数据的相关性，设计
将多源目标航迹关联、状态估计、综合识别、
异常告警等过程进行解耦，如图5所示。

多源
目标状态估计采用流处理方式，这样从信息接
收至态势生成的主要过程为信息汇集、目标预
处理、多源目标状态估计、情报分发，过程之
间为串行方式，确保目标数据处理实时可靠，
百微秒级完成处理。

多源目标航迹关联、综合
识别、异常告警采用微批处理方式，与多源目
标状态估计等过程之间为并行方式，确保目标
数据处理正确有效，秒级完成处理。

另外，所
有实时数据存入分布式数据库，基于分布式数
据库定时进行目标特征分析、行为分析、活动
分析、流量分析等处理，分析得到的知识数据
可支撑实时目标数据处理过程中的目标综合识
别和行为异常告警处理。

我们利用3台高性能服务器（每台服务器
配置2颗CPU共24核、256GB内存和SSD
硬盘）进行试验。

试验结果表明：对单个目标
数据的预处理、状态估计等处理平均时延可控
制在150微秒内，单个应用具备了40万点/
分钟处理能力。

通过集群应用并行处理和负载
均衡，具备对全域海上情报系统目标数据的实
时处理能力。

4 结语
大数据时代的到来，改变了传统情报处
理系统的运行模式。

基于先进大数据处理技术
和工具，构建情报大数据系统成为了一种新的
解决思路。

随着实时数据量的不断增加，对其
进行高效、可信的处理分析更加重要，难度也
更大。

通过批量大数据处理以及流式大数据处
理的技术融合，构建基于大数据的系统实时处
理架构，实现了大批量实时数据的快速处理和
准确分析，能够更好的满足全域海上目标处理
的实际需要。

参考文献
[1]赵宗贵,熊朝华,王珂等.信息融合概
念、方法与应用[M].北京：国防工业出
版社,2012:4-10．
[2]赵宗贵，李君灵.信息融合发展沿革
与技术动态[J].指挥信息系统与技
术,2017,8(01):1-8．
[3]陈纯.流式大数据实时处理技术、平台及
应用[J].大数据,2017,3(04):1-8.
[4]朱松岭.离线和实时大数据开发实战[M].
北京：机械工业出版社,2018:18-28．
[5]严红,孟德鑫.数据中心的数据体系架
构及关键技术[J]．指挥信息系统与技
术,2017,8(05):70-75．
作者简介
蒋保富（1973-），男，江苏省泰兴市人。

高
级工程师。

主要研究方向为目标信息融合，情
报系统总体。

作者单位
1.中国电子科技集团公司第二十八研究所
江苏省南京市 210007
2.解放军92403
部队 福建省福州市 350007
图5：基于大数据的情报系统实时处理架构图
142 •电子技术与软件工程 Electronic Technology & Software Engineering。