智能电网大数据平台及其关键技术研究_孟祥君

特别策划

S p e c i a l F e a t u r e

摘　要：智能电网是大数据的重要技术应用领域之一。智能电网大数据平台是大数据挖掘的基础，首先分析智能电网大数据特征及业务需求，然后结合业务详细分析大数据的关键技术，最后给出了大数据平台架构和业务应用架构。智能电网大数据平台实现了智能电网全数据共享，并为业务应用开发和运行提供支撑平台。关键词：智能电网；大数据技术；平台技术

智能电网大数据平台及其关键技术研究

孟祥君1，季知祥2，杨祎3

（1.国网山东省电力公司，山东 济南 250001；2.中国电力科学研究院，北京 100192；

3.国网山东省电力公司电力科学研究院，山东 济南 250002）

0 引言

智能电网是以物理电网为基础，将现代先进的传感测量技术、通信技术、信息技术、计算机技术和控制技术与物理电网高度集成而形成的新型电网［1］，见图1。它涵盖发电、输电、变电、配电、用电和调度等各个环节，对电

力市场中各利益方的需求和功能进行协调，在保证系统各部分高效运行、降低运营成本和环境影响的同时，尽可能提高系统的可靠性、自愈性和稳定性。随着智能电网的发展，电网在电力系统运行、设备状态监测、用电信息采集、营销业务系统等各个方面产生和沉淀了大量数据，充分挖掘这些数据的价值具有重要的意义。

大数据是近年来受到广泛关注的新概念，一般是指无法在可容忍的时间内用传统的IT 技术、软硬件工具和数学分析方法，对其进行感知、获取、管理、处理和分析的数据集合［2］。智能电网被看作是大数据应用的重要技术领域之一。目前许多学者正在进行智能电网大数据研究，包括发展战略研究［3］、大数据技术研究［4］、应用研究［5-7］等。

智能电网大数据应用众多，涉及电网安全稳定运行、节能经济调度、供电可靠性、经济社会发展分析等诸多方面，进行智能电网大数据分析需要统一智能电网大数据，并且由于应

用众多，对计算、存储、网络等性能提出了较高要求，因此需要构建面向智能电网应用的统一大数据处理平台。本文首先分析智能电网大数据特点以及业务应用需求，接着结合业务应用介绍大数据关键技术，进而提出智能电网大数据平台和应用框架。

基金项目：国家电网公司科技项目（XX71-14-036）。

Project Supported by State Grid Corporation of China （XX71-14-036）.

图1　智能电网示意图

Fig.1　Schematic diagram of smart grid

3

特别策划

S p e c i a l F 会经济状况分析与预测、政府决策支持与相关政策评估，如电价政策、新能源补贴政策等是否合理等。这些需求需要综合电网运行状态信息、用户用电信息、客服系统信息、气象数据、经济社会数据和互联网数据等。

2 智能电网大数据关键技术

根据信息处理流程，大数据在智能电网中的应用可以分为数据采集、数据清理、数据存储及处理、数据分析、数据解读和数据应用6个环节，其关键技术包括数据集成技术、数据存储技术、数据处理技术和数据分析技术。2.1 数据集成技术

智能电网大数据具有分散性、多样性和复杂性等特征，这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据，首先就需要对众多数据源的数据进行集成，通过数据抽取、转换、剔除、修正等处理，建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用的数据集成模型包括数据联邦、基于中间件模型和数据仓库等。

ETL 是企业数据集成的主要解决方案。ETL 指Extract 、Transform 、Load ，即抽取、转换、加载。数据抽取是从源数据源系统抽取目的数据源系统需要的数

据；数据转换是将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；数据加载是将转换后的数据加载到目的数据源。ETL 过程中的主要环节就是数据抽取、数据转换和加工、数据加载。为了实现这些功能，各个ETL 工具一般会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。

数据集成是智能电网大数据应用的关键环节。智能电网大数据集成涉及众多各类型的应用系统，这些系统类型和特征复杂，在实时性要求、数据规模、数据类型等方面存在较大的差异，在智能电网大数据集成中需要综合考虑各种因素，在集成技术上单一技术可能很难实现，需要结合多种技术来实现智能电网大数据的集成。2.2 数据存储技术

在智能电网大数据中，绝大多数数据为结构化数据，同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储，对结构松散无模式的半结构化数据可采用分布式

1智能电网大数据概述

1.1 智能电网大数据特点

根据数据来源的不同，可以将智能电网大数据分为电力企业内部数据和电力企业外部数据。电力企业内部数据源主要包括广域量测系统（WAMS ）、数据采集与监控系统（SCADA ）、在线监测系统、用电信息采集系统、生产管理系统、能量管理系统、配电管理系统、客户服务系统、财务管理系统等；电力企业外部数据源包括气象信息系统、地理信息系统、互联网数据、公共服务部门数据、社会经济数据等。这些数据分散放置在不同地方，由不同单位/部门管理，具有分散放置、分布管理的特性。

智能电网大数据结构复杂、种类繁多，除传统的结构化数据外，还包含大量的半结构化、非结构化数据，如客户服务中心信息系统的语音数据，设备在线监测系统中的视频数据与图像数据等。这些数据的采样频率与生命周期也各不同，从微秒级、分钟级、小时级，一直到年度级，见图2。

图2　智能电网数据采样频率和生命周期

［8］

Fig.2　Sampling frequency and life cycle of smart grid data

1.2 大数据业务需求分析

智能电网大数据业务应用根据对象不同可分为面向电力公司运行管理、面向电力用户服务、面向政府部门辅助决策等3类。面向电力公司运行管理类应用包括电力系统稳定性分析与控制、输变电设备故障诊断与状态检修、配电网运行状态评估与预警、配电网故障定位、负荷预测、城市电网规划等；面向电力用户服务类应用包括用户用电行为分析、需求侧管理、能效分析、供电服务舆情分析等；面向政府部门辅助决策类应用包括社