基于海量数据传输方式及融合研究

基于海量数据传输方式及融合研究
摘要本文简要的论述了海量数据传输方式及融合技术，将电力大数据通过高效、快速、安全的进行传输，以分布式消息机制进行数据交互和传输，从而达到数据快速交付及应用，满足不同业务层级人员的数据需求。

基于以上的目标本文主要对数据传输技术和融合技术进行论述。

关键词电力；微服务；海量数据；技术难点；数据接口服务；文件传输接口；数据交互技术
Research on mass data transmission and fusion
zhangxinyang，chenda
The Information Centre of Yunnan power grid limited liability company，Kunming 650217
Abstract This paper briefly discusses the massive data transmission and fusion technology，the power of big data in an efficient，fast and secure transmission of data to the micro application services，so as to achieve rapid delivery of data and application，to meet the different levels of staff business data needs. Based on the above objectives，this paper mainly discusses the data transmission technology and fusion technology.
Key words Electric power；Micro service；Massive data；Technical difficulties；Data interface service；File interface service；Data delivery technology
1 概述
电力行业在海量数据采集方面，目前着重单一领域的数据采集，电网及设备的状态运行数据、管理类数据、在线监测数据以及用户用电计量数据都未能进行数据统一规划，另外，针对外部的气象信息、宏观经济、用电舆情等数据也未纳入统一。

存在单一系统主数据完整性不足，各系统间数据单独采集、分散存储、独立应用等问题。

数据存储技术落后。

目前面向结构化数据存储的关系型数据库已经不能满足相互电力大数据快速访问、大规模数据分析的需求，较难支撑电力业务的更专业应用需求。

针对海量状态监测、用电计量等准实时数据，基于原有存储技术的落后都不能实现永久存储，电网中大量的历史数据都只能被定期转存并逐步清理，没有发挥出更多的价值[1]。

2 海量数据传输及融合研究
海量数据采集、分布式存储、机器学习、实时流处理等先进技术，以电网设备为核心，集成CSGII业务系统、实时监测系统和外部系统数据，构建全电压等级电网网架，聚合设备运行、业务及环境气象数据，建设为云南电网统一的海量数据中心。

2.1 多源异构数据集成研究
电网海量数据存在数据量大、结构复杂、存储分散等特点，首先需要有效解决多源异构数据的采集技术。

电力数据的主要包括以下方面特征：①数据量巨大：电网输电、变电、配电、用电等各环节的终端采集了大量的监测数据、记录数据，数据量巨大。

②数据分散：大量的数据分散在管理系统、监测系统、专业系统中，之间没有统一的模型和规范。

③数据类型多：存在大量的结构化、非结构化、半结构化的数据。

④存储格式复杂：关系数据库、文件系统、实时数据库等多种存储格式[2]。

研究海量数据传输和融合不同粒度、不同实时性要求的多源异构信息接入、交互技术，实现电网数据全景信息间的高度集成，按管理、专业、业务分类，将经营信息、用电信息、安全信息、实时信息、潮流信息、频率信息、电流电压信息等数据进行聚合，提供给上层单位进行应用。

跨平台数据采集/转换技术
2.2 数据混合式存储研究
海量数据中心需要存储、处理和分析的种类繁杂，应用场景也各有差异，针对实时数据、关系数据、台账数据等，都有不同的处理技术。

各类数据从采集端到服务端，最终在展现端的处理架构如下：
2.3 数据传输和融合关键技术
（1）流数据实时处理技术
随着物联网技术在电网领域的不断发展与實用化，海量数据中心必然面临大量监测终端接入、实时监测类数据的及时高效处理、分析、存储及海量系统运行日志数据分析的挑战；流式数据实时处理技术主要以大数据、集群化、分布式的思路，以并行换效率的方式满足海量实时数据处理需求；流式数据生产者将数据上报到统一的分布式消息中间件，分布式消息中间负责动态负载均衡、消息路由、保證消息的确认处理等功能，实现数据的生产者到消费者之前的衔接[3]。

基于Storm流的分布式程序从消息中间件的不同主题消息队列中源源不断的获取消息，处理消息；最终实现监测终端监控、海量实时数据存储、电网设备状态预警、数据统计分析、日志审计等功能。

（2）分布式消息交互机制
通过在海量数据融合的基础上，建立分布式消息交互体系，不仅能够有效解决实时＼准实时数据展现和分析的性能需求，还能有效解除电网各功能组件和模块之间的耦合度，大大提高各组件的扩展性和稳定性[4]。

分布式的消息中间件，需要具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。

采用队列模型消息中间件，服务器使用Java语言编写，可在多种软硬件平台上部署，客户端可支持Java、C++编程语言，适用于大吞吐量、顺序消息、在线监测和电能质量数据传输等场景。

（3）数据融合工作流技术
针对海量数据融合过程中往往涉及非常烦琐、多类型的电网监测数据，通过采用工作流数据融合机制，建立多个数据融合流程和融合模型。

另外融合数据集会发生变化，如增加和删除数据集以及数据配置参数发生相应的变化，这样就需要数据融合过程和步骤是灵活的，是可配置和实时调整的[5]。

通过研发一套基于数据融合工作流平台，允许数据融合跨越空间、时间和数据结构差异化的限制，允许建立单个和多个数据融合工作流，能够对电网台账、在线监测和电能质量等数据进行有效的融合。

通过数据融合工作流技术的应用，一方面对外可提供黑盒子的服务，数据服务调用者不必关心复杂的融合过程；另一方面对内可提供直观的融合过程细节，方便数据服务提供者对误差、异常、掉线等情况进行有效监督和维护[6]。

参考文献
[1] 柴晓路.WebService技术系列概述[J].互联网世界，2002，（5）：80-83.
[2] 程炜，杨宗凯，乐春晖.基于WebService的一种分布式体系结构[J].计算机应用研究，2002，19（3）：105-107.
[3] 王春樵.面向服务架构——分布式网络应用的方向—Web Services及其相关技术[J].广东通信技术，2002，22（1）：40-44.
[4] 王绘，尹治本.WebService的深入剖析与研究[J].电脑知识与技术：技术论坛，2005（11）：66-67.
[5] Robbins J N. Web design in a nutshell[M].南京：东南大学出版社，2001：21.
[6] 吴岳忠，李长云.Web服务技术综述[J].株洲工学院学报，2006，20（06）：
127-130.。