大数据在电力系统中的应用 詹先鹏

大数据在电力系统中的应用詹先鹏

发表时间：2018-07-02T11:48:11.347Z 来源：《电力设备》2018年第9期作者：詹先鹏

[导读] 摘要：近年来，移动应用技术的不断完善，使得基础设施越来越多。

（国网朔州供电公司山西 036002）

摘要：近年来，移动应用技术的不断完善，使得基础设施越来越多。电力企业的快速发展，使得不同类型的智能终端、移动业务被推广，这在一定程度上加速了互联网时代发展步伐。大数据技术背景下，如何做好电力系统信息正常运行和安全防护工作，为电力企业当前首要需解决的问题。因为只有确保电气系统信息的安全，才能为广大用户提供更加稳定、安全的网络环境，降低对人们所构成的损失，推动电力企业的良好发展，提高企业的经济效益、工作效率。

关键词：大数据技术；电力系统；信息安全防护

在我国的电力行业，电网技术朝着更加智能的方向发展，随着“物联网”、“大数据”“互联网+”等新概念的不断提出，电力企业迎来了新的发展机遇与挑战。作为科技创新的主攻方向之一，国家电网、南方电网等电力公司在智能电网、电力信息与通讯及网络安全、用电能效与环境保护等多领域方面开展了关于大数据的研究与应用。面对海量数据，如何选择合理的方法把它们充分利用起来，成为人们普遍关注的问题。在电力系统中应用大数据技术，需要在多角度、全方位上改革现有业务模式和运行模式，需要建立一个完善的电力系统大数据平台。

1电力系统中大数据特点

随着人们从更深层次对大数据进行认识与理解，加之考虑到电力公司的业务要求和数据状况，在电力系统中应用大数据技术，旨在通过挖掘数据价值，对未来业务趋势进行有效预测，同时整合数据的计算、存储、集成管理等功能，从而创造出适应当前和未来发展趋势的新型业务管理模式。在电力系统中应用大数据就是，有利于促进企业业务发展、有效提升企业内部的管理水平。在电力系统中，大数据表现为以下几个特征。第一，体量大。随着科学技术的发展和现代化水平的提高，我国电力企业逐渐朝着信息化发展，电力数据的增长比率远远超出人们的预期。第二，类型多。在电力系统中，数据包括多种类型，如半结构化数据、结构化数据、非结构化数据。非结构化数据是指那些不能用数据二维逻辑表描述的数据，如图片、影音等，需要对它们进行如图像识别、语音语义识别等处理后，转化为结构化数据，结构化数据是指那些可储存在数据库中、用二维逻辑表结构描述，而半结构化数据介于二者之间。随着电力行业在运行过程中不断加大视频的应用力度，使得音频和视频等非结构化数据的占比越来越重。第三，速度快。在这里主要指电力数据的采集、处理、分析速度越来越快。第四，电力大数据可以不受磨损、不受消耗、不受污染且易传输，还能在使用的过程中不断得到增值。第四，安全性。这一点要求保证数据质量，无论是收集、存储、调用、处理、分析等的哪一个环节，都必须保证数据的质量。整个电力系统的综合能力水平与系统的弱势环节息息相关，电力系统大数据的安全性也取决于最薄弱环节的数据质量。在建设电力系统应用大数据技术时，需要在各个环节上保证大数据的安全性。

2电力系统大数据概述

2.1电力大数据概念和特征

电力行业与民生息息相关，也涉及多个环节，包括输、变、售电、调度等，每个环节会产生大量的数据，这些数据被称作电力大数据。与大数据特征类似，电力大数据具有“5V”特征，即数量庞大、数据类型众多、数据处理速度快、数据准确和数据有价值。电力大数据中非结构化数据增长速度更快，数据类型不仅包括结构化数据，如负荷数据、变电站数据等，也包括大量的非结构化信息，如信息数据、资产管理信息等；为使电力决策符合安全要求，需严格保障数据的真实可靠，与社会经济和生产水平相切合；电力大数据可以反映系统性能，进行挖掘分析并为决策提供依据，因此具有实用价值。

2.2电力大数据技术

（1）存储部分。物联网技术可发现大量数据，也会出现新的数据格式，对于电力行业而言，传统的结构化数据存储方式已经不能满足要求，面对越来越多的非结构化数据，传统数据库存储容量受到限制，进行数据库集群搭建则会产生大量的成本消耗，不易于电力企业可持续发展。对此，需将大量的非结构化数据存储于低廉的硬件设备上，这就需要采用Hadoop大数据架构，既能完全解决上述问题，又无需考虑硬件配置性能导致的数据丢失问题，HDFS文件系统具冗余机制，一般会备份三份以免丢失，同时架构中也存在Hive、Hbase组件，共同完成存储工作。

（2）计算部分。需要利用Hadoop中的Map Reduce计算框架，还可辅助Spark分布式计算框架以进行分布式计算，完成对数据的去重、排序、单表或多表关联等操作。

（3）挖掘部分。数据挖掘技术就意味着分辨信息中的垃圾与黄金，其流程为数据准备、规律寻找和规律表示，其分析方法包括关联、聚类和演变分析等。对此，Hadoop中开发了Mahout功能，可用于频繁模式挖掘、协同过滤等操作，除此之外，许多开源软件和项目的开发使得机器学习算法增多，包括回归算法、高斯过程回归、最近邻居法等，需根据不同的数据特点选择恰当的算法。

（4）可视化。在智能电网数据下，需将大规模数据通过有限屏幕空间直观的呈现给用户，将大规模数据集进行分析提取，通过算法将其绘制为高精度、高分辨率的图片，在交互工具和视觉系统的帮助下完成数据处理。

3大数据在电力系统中的应用

3.1数据的存储、传送技术

随着电网的规模越来越大、相关电力设备数量越来越多，产生了越来越多的数据，给监控系统造成巨大负担。为了合理存储大量数据，可以选择不同的存储方式。如：对于历史数据和非结构化数据，可利用分布式文件系统进行存储，把不同类型的数据信息进行分类存储。对于存储要求较高的数据，可以使用数据库系统。对于那些核心、保密性的数据，可利用数据仓库系统。数据仓库技术包括三个部分，首先是数据抽取，即把需要的相关数据从数据源系统中抽取。其次是数据转换，即把抽取获得的数据，按照一定的要求转换成另一种形式，对存在错误、偏差的数据进行清洗、加工。最后是数据加载，即是把前面两个环节得到的数据进行加载，保存至数据源系统。

3.2数据处理技术

在电力系统中应用大数据技术，需要对采集的庞大数据进行分库、分区、分表等合理处理。分库处理即指以一定的处理原则为基础，提高数据库相关数据利用率。分区处理，即对不同文件的数据进行合理载入，尽可能减少大型表的压力，提高数据的访问性能。分表处