基于大数据的电磁频谱感知数据管理与挖掘
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据已经逐渐渗透到当今每一个行业和业务职能领域， 成为重要的生产因素 [2]，特别是在电磁频谱感知领域，随着用 频武器装备和台站的种类不断增加，频谱使用方式不断演进， 半结构化和非结构化数据日益增多，短波监测站、超短波监测 站、卫星监测站、短波探测站等设备产生了大量电磁频谱感知 数据，数据类型包括频谱数据、音频数据、文本数据、地理信息 和时间标记等，具备了多类型数据的特点。传统的电磁频谱 感知主要是开展实时的电磁环境感知，产生的感知数据量较 小，也满足大数据分析的基础要求，其结果也很难形成大数据 的预测性分析，但随着数字化接收机的扫描速度越来越快、实 时带宽越来越宽、站点部署越来越多，电磁频谱感知的数据量 按指数增长，不断呈现出很强的大数据特征 [3]，电磁频谱感知 数据已迎来大数据时代。
当前我军电磁频谱管理领域的业务范围和装备技术发展 迅速，也极大地促进了电磁频谱频管理数据获取和处理能力 的提升。然而，电磁频谱感知数据的管理融合一直是研究的 难点和热点问题，特别是电磁频谱感知“全过程”在战备值勤、 重大任务保障、干扰查处、信息服务和科研工作等方面积累了 大量数据，这些数据存在“文件类型多、地理位置分散、历史周 期长、存储数据量大、融合运用难”等问题，而大数据、云计算 等新技术给感知数据管理提供新的思路和手段，笔者受全频 谱作战启发，提出了电磁频谱感知全过程数据管理和融合的 概念，并在文中对系统组成和相关内容进行了阐述。
3 基于大数据的电磁频谱感知数据管理和分析
3.1 电磁频谱感知大数据构成 未来信息化战场，频管数据量大，类型繁多，感知网数据
汇聚速度快，频谱信息蕴藏丰富。频谱数据可以归结为三部 分组成。一是频管基础类数据，包括信号样本、频率划分、卫 星资源数据，频管法规、频管基础知识、频管新闻动态、频管训 练、计量、监控装备故障检测数据，电波传播计算、干扰分析、 工程计算分析结果数据。二是感知类数据，包括感知网获得
２０１６ 年第 ９ 期 （总第 １６５ 期）
信息通信
INFORMATION & COMMUNICATIONS
２０１６ （Ｓｕｍ． Ｎｏ １６５）
基于大数据的电磁频谱感知数据管理与挖掘
罗争 （中国人民解放军 61123 部队，北京 101309）
摘要：文章在系统梳理我军电磁频谱感知数据管理现状基础之上，提出基于大数据的电磁频谱感知数据管理和挖掘的概
（3）管理缺乏统一的硬件保障，数据抗毁和容灾能力极低。 目前我军电磁频谱感知数据从网络到服务器配置均不高，没 有集中的数据管理中心或者平台为感知数据存储提供软硬件 运行环境，各台站要素有的自行购买台式计算机保障运行，台 式计算机可靠性差、不稳定、易出现死机等硬件故障；有的依 托其他系统的服务器进行存储，数据存在误删风险，且管理灵 活性无法得到保障。且电磁频谱感知数据缺少双机备份机制， 网络不甚稳定，这为数据的高效管理和融合利用也带来了很 大的阻力。
文献标识码：A
文章编号：1673-1131（2016）09-0137-02
电磁频谱贯穿于陆、海、空、天、电、网“六维”作战全时空， 是唯一能够支持机动作战、分散作战和高强度作战的理想介 质，是信息化战争“无形之魂”，而电磁频谱感知数据是实现“无 形之魂”可见、可控、可用的核心和基础。因此，亟待实现准确、 可信、全面的电磁频谱感知数据的综合管理，从而有效履行电 磁频谱感知职能、提高电磁频谱管理能力、实现装备高效用频。
2 电磁频谱感知数据管理现状
电磁频谱感知数据基本样式包括原始数值、频谱图、统计 数据表、分析报告等。经过多年的积累，我军的电磁频谱感知 数据从数量到覆盖面上都有了长足的发展和进步，但是数据
管理仍存在着很多问题。 （1）数据类型多，管理方式落后。电磁频谱感知数据存在
“台站要素多、设备种类较多、控制终端多、存储格式多、数据 属性多”等“五多”问题，根据设备类型分，包括固定监测数据、 机动监测数据、探测数据和频谱参数检测数据等；根据控制终 端分，包括设备原始感知数据、工控机人工记录数据、备份存 储数据等；根据存储格式分，包括以 CSV、Excel 等格式存储的 原始感知数据，以 Excel、Word、PDF 等格式存储的人工记录数 据，以 JPG、BMP 等格式存储的图片数据，以 MP3、wav 等格式 存储的音频数据，以及以 avi、wmv 等格式存储的视频数据，而 且数据分散存储在机房中、办公室中和单独的服务器上，没有 形成统一的电磁频谱感知数据服务。
念，描述了数据管理系统组成架构，横向上实现各电磁频谱感知要素综合管理、纵向上实现各节点数据全面存储，并在综
合管理存储的基础之上，深度融合各源感知数据，从海量电磁频谱感知全过程数据中挖掘出潜在的有价值的信息和知
识，更好地为作战服务。
Hale Waihona Puke Baidu
关键词：电磁频谱感知；全过程管理；大数据；数据融合
中图分类号：TM935.1
1 电磁频谱感知迎来大数据时代
近年来，大数据迅速发展成为世界各国和军事应用关注 的热点，不同于传统的数据，信息社会的大数据具有“4V”特征[1]， 即数据体量大（volume）、产生速度快（velocity）、数据模态多 （variety）和价值大密度低（value）。但大数据的主要难点并不 在于数据量大，难以对付的挑战来自于数据类型多样、要求及 时响应和数据的不确定性。
（2）处理方法单一，有价值信息亟待深入挖掘。目前常用 的数据库管理技术可以高效地实现对监测数据的录入、查询、 统计、修改、删除等功能，同时利用数理统计的相关知识也可 对电磁频谱感知数据库中的数据进行简单的统计分析，从而 得到一些统计知识 [4]，但这些数据处理方法单一，简单的统计 分析不能发现海量数据中潜在的相关联系和规则，不能探测 到异常信号数据，也不能根据现有的数据预测未来的频谱特 性，而且现有的感知数据分析手段仅仅是对单一种类的感知 数据进行分析，不能实现多类数据融合分析和关联分析，很难 在原始监测数据的基础之上进行二次分析获得有用价值，进 而不能为高效监测和使用频谱资源提供辅助决策。
当前我军电磁频谱管理领域的业务范围和装备技术发展 迅速，也极大地促进了电磁频谱频管理数据获取和处理能力 的提升。然而，电磁频谱感知数据的管理融合一直是研究的 难点和热点问题，特别是电磁频谱感知“全过程”在战备值勤、 重大任务保障、干扰查处、信息服务和科研工作等方面积累了 大量数据，这些数据存在“文件类型多、地理位置分散、历史周 期长、存储数据量大、融合运用难”等问题，而大数据、云计算 等新技术给感知数据管理提供新的思路和手段，笔者受全频 谱作战启发，提出了电磁频谱感知全过程数据管理和融合的 概念，并在文中对系统组成和相关内容进行了阐述。
3 基于大数据的电磁频谱感知数据管理和分析
3.1 电磁频谱感知大数据构成 未来信息化战场，频管数据量大，类型繁多，感知网数据
汇聚速度快，频谱信息蕴藏丰富。频谱数据可以归结为三部 分组成。一是频管基础类数据，包括信号样本、频率划分、卫 星资源数据，频管法规、频管基础知识、频管新闻动态、频管训 练、计量、监控装备故障检测数据，电波传播计算、干扰分析、 工程计算分析结果数据。二是感知类数据，包括感知网获得
２０１６ 年第 ９ 期 （总第 １６５ 期）
信息通信
INFORMATION & COMMUNICATIONS
２０１６ （Ｓｕｍ． Ｎｏ １６５）
基于大数据的电磁频谱感知数据管理与挖掘
罗争 （中国人民解放军 61123 部队，北京 101309）
摘要：文章在系统梳理我军电磁频谱感知数据管理现状基础之上，提出基于大数据的电磁频谱感知数据管理和挖掘的概
（3）管理缺乏统一的硬件保障，数据抗毁和容灾能力极低。 目前我军电磁频谱感知数据从网络到服务器配置均不高，没 有集中的数据管理中心或者平台为感知数据存储提供软硬件 运行环境，各台站要素有的自行购买台式计算机保障运行，台 式计算机可靠性差、不稳定、易出现死机等硬件故障；有的依 托其他系统的服务器进行存储，数据存在误删风险，且管理灵 活性无法得到保障。且电磁频谱感知数据缺少双机备份机制， 网络不甚稳定，这为数据的高效管理和融合利用也带来了很 大的阻力。
文献标识码：A
文章编号：1673-1131（2016）09-0137-02
电磁频谱贯穿于陆、海、空、天、电、网“六维”作战全时空， 是唯一能够支持机动作战、分散作战和高强度作战的理想介 质，是信息化战争“无形之魂”，而电磁频谱感知数据是实现“无 形之魂”可见、可控、可用的核心和基础。因此，亟待实现准确、 可信、全面的电磁频谱感知数据的综合管理，从而有效履行电 磁频谱感知职能、提高电磁频谱管理能力、实现装备高效用频。
2 电磁频谱感知数据管理现状
电磁频谱感知数据基本样式包括原始数值、频谱图、统计 数据表、分析报告等。经过多年的积累，我军的电磁频谱感知 数据从数量到覆盖面上都有了长足的发展和进步，但是数据
管理仍存在着很多问题。 （1）数据类型多，管理方式落后。电磁频谱感知数据存在
“台站要素多、设备种类较多、控制终端多、存储格式多、数据 属性多”等“五多”问题，根据设备类型分，包括固定监测数据、 机动监测数据、探测数据和频谱参数检测数据等；根据控制终 端分，包括设备原始感知数据、工控机人工记录数据、备份存 储数据等；根据存储格式分，包括以 CSV、Excel 等格式存储的 原始感知数据，以 Excel、Word、PDF 等格式存储的人工记录数 据，以 JPG、BMP 等格式存储的图片数据，以 MP3、wav 等格式 存储的音频数据，以及以 avi、wmv 等格式存储的视频数据，而 且数据分散存储在机房中、办公室中和单独的服务器上，没有 形成统一的电磁频谱感知数据服务。
念，描述了数据管理系统组成架构，横向上实现各电磁频谱感知要素综合管理、纵向上实现各节点数据全面存储，并在综
合管理存储的基础之上，深度融合各源感知数据，从海量电磁频谱感知全过程数据中挖掘出潜在的有价值的信息和知
识，更好地为作战服务。
Hale Waihona Puke Baidu
关键词：电磁频谱感知；全过程管理；大数据；数据融合
中图分类号：TM935.1
1 电磁频谱感知迎来大数据时代
近年来，大数据迅速发展成为世界各国和军事应用关注 的热点，不同于传统的数据，信息社会的大数据具有“4V”特征[1]， 即数据体量大（volume）、产生速度快（velocity）、数据模态多 （variety）和价值大密度低（value）。但大数据的主要难点并不 在于数据量大，难以对付的挑战来自于数据类型多样、要求及 时响应和数据的不确定性。
（2）处理方法单一，有价值信息亟待深入挖掘。目前常用 的数据库管理技术可以高效地实现对监测数据的录入、查询、 统计、修改、删除等功能，同时利用数理统计的相关知识也可 对电磁频谱感知数据库中的数据进行简单的统计分析，从而 得到一些统计知识 [4]，但这些数据处理方法单一，简单的统计 分析不能发现海量数据中潜在的相关联系和规则，不能探测 到异常信号数据，也不能根据现有的数据预测未来的频谱特 性，而且现有的感知数据分析手段仅仅是对单一种类的感知 数据进行分析，不能实现多类数据融合分析和关联分析，很难 在原始监测数据的基础之上进行二次分析获得有用价值，进 而不能为高效监测和使用频谱资源提供辅助决策。