基于云计算技术的电力大数据预处理属性约简方法_曲朝阳
基于云计算的电力大数据分析技术与应用
基于云计算的电力大数据分析技术与应用电力大数据分析技术是一种通过对电力系统中海量数据的收集、管理、处理和分析,从中提炼出有价值的信息和知识的方法。
它可以帮助电力系统的管理者和决策者更好地了解和把握电力系统的运行状况,优化电力系统的运行策略,预测电力系统的故障和异常情况,提高电力系统的故障处理速度和效率,从而提高电力系统的运行效率和可靠性。
云计算是一种基于互联网的计算模式,它将计算和存储能力提供给用户,用户通过互联网可以随时随地使用这些计算和存储能力。
云计算可以提供强大的计算和存储能力,能够满足电力大数据分析的需求。
云计算还具有高可靠性、高可扩展性、灵活性和经济性的特点,可以提供稳定、安全、高效和经济的电力大数据分析环境。
基于云计算的电力大数据分析技术主要包括四个步骤:数据采集、数据存储、数据处理和数据分析。
通过各种传感器和设备对电力系统中的各种数据进行采集,包括电力负荷数据、电力设备数据、电力消费数据等。
然后,将采集到的数据存储到云服务器中,以便随时随地访问和使用。
接下来,对存储在云服务器中的数据进行处理,包括数据清洗、数据聚合、数据预处理等,以便提取出有用的信息和知识。
通过数据分析算法对处理后的数据进行分析,提取出有价值的信息和知识,帮助电力系统的管理者和决策者做出正确的决策。
基于云计算的电力大数据分析技术可以应用于电力系统的各个方面。
可以通过对电力负荷数据的分析,预测未来电力需求,合理制定电力供应计划,避免能源浪费和电力供应不足的问题。
可以通过对电力设备数据的分析,检测电力设备的故障和异常情况,及时采取措施进行修复和保养,提高电力设备的可靠性和使用寿命。
可以通过对电力消费数据的分析,发现电力消费的规律和模式,制定合理的电力消费政策,引导用户节约用电,降低能源消耗和环境污染。
面向智能电网应用的电力大数据关键技术符式阳
面向智能电网应用的电力大数据关键技术符式阳发布时间:2021-11-07T09:56:27.316Z 来源:《中国科技信息》2021年10月下30期作者:符式阳[导读] 随着智能电网技术的日益成熟,智能电网的建设速度也在日益加快,随之而来的是各种传感器和智能电表的大量使用,导致产生了海量的电力数据,如何处理这些数据是现阶段智能电网发展面临的最主要问题。
云计算技术因为可以向用户提供海量的存储空间和强大的计算能力近年来被广泛的关注,在数据处理方面跟其他技术相比也具有很大的优势,已经广泛的运用到互联网、电商等领域。
结合上述技术的不足,本研究构建出新型云计算电力数据平台来处理电力大数据,将云计算技术和智能电网进行深度融合,构建出基于云计算技术的电力大数据分析处理系统,采用多维度检索、支持数据等新的多存储模型以及自动翻译工具等方式解决传统电网信息数据处理速度慢、存储空间不足等问题。
广东电网有限责任公司广州供电局符式阳广东广州 510000摘要:随着智能电网技术的日益成熟,智能电网的建设速度也在日益加快,随之而来的是各种传感器和智能电表的大量使用,导致产生了海量的电力数据,如何处理这些数据是现阶段智能电网发展面临的最主要问题。
云计算技术因为可以向用户提供海量的存储空间和强大的计算能力近年来被广泛的关注,在数据处理方面跟其他技术相比也具有很大的优势,已经广泛的运用到互联网、电商等领域。
结合上述技术的不足,本研究构建出新型云计算电力数据平台来处理电力大数据,将云计算技术和智能电网进行深度融合,构建出基于云计算技术的电力大数据分析处理系统,采用多维度检索、支持数据等新的多存储模型以及自动翻译工具等方式解决传统电网信息数据处理速度慢、存储空间不足等问题。
关键词:智能电网;电力大数据;关键技术1 基于云计算的电力大数据分析系统架构设计云计算技术在处理大数据方面已经有比较成熟的应用,但是多用于互联网行业,而互联网大数据与电力大数据存在很多不同,比如检索、读写和编写等方面,但是基本的架构依然可以参考。
基于Hadoop的广域测量系统数据处理_曲朝阳
DOI:10.7500/AEPS201111169基于Hadoop的广域测量系统数据处理曲朝阳,朱 莉,张士林(东北电力大学信息工程学院,吉林省吉林市132012)摘要:为解决目前广域测量系统(WAMS)海量数据处理中存在的数据冗余、处理效率低等问题,设计并实现了一个基于Hadoop的WAMS数据处理云计算平台。
首先,给出了平台的体系结构。
其次,设计了基于Hadoop分布式文件系统(HDFS)存储的WAMS海量数据加载方法和利用MapReduce模型实现多个文件数据的并行抽取、转换和加载(ETL)操作流程。
提出了结合MapReduce的MPApriori数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响。
最后,通过对区域电网WAMS实际数据进行处理,验证了Hadoop处理海量数据的高效性。
所述平台适用于高性能局域网络连接的计算机集群对海量电网数据进行文件数据处理。
关键词:云计算;数据处理;广域测量系统;MapReduce收稿日期:2011-11-23;修回日期:2012-06-07。
国家自然科学基金资助项目(51077010);吉林省自然科学基金资助项目(20101517)。
0 引言电网广域测量系统(WAMS)[1]作为电网动态监测技术平台,是智能电网实时监控的重要部分,可实现对全网同步相角及电网各个站点主要数据的实时高速率采集。
但是,目前基于WAMS平台的故障信息系统建设和诊断方法的研究也存在问题。
1)数据冗余,且冗余性存在于量测装置内部、不同量测装置之间及相邻子站间。
2)对现有数据采集过程的预处理不够,没有对数据按应用特征分类,也没有根据应用类别对数据进行分类传送。
因而在电网规模增大、故障影响范围扩大的情况下,采集装置上传了大量无用数据,数据挖掘算法无法高效运行。
3)WAMS数据处理分析平台仍然采用常规数据存储与管理方法,基础架构大多采用价格昂贵的大型服务器,存储硬件采用磁盘阵列,系统扩展性较差、成本较高。
云计算技术在电力系统中的应用
云计算技术在电力系统中的应用引言:随着信息技术的迅速发展,云计算技术日益受到各行各业的青睐。
电力系统作为国民经济发展的重要组成部分,也积极探索并应用云计算技术,以提高电力系统的可靠性、效率和智能化水平。
本文将探讨云计算技术在电力系统中的应用,包括基于云计算的电力系统管理、电力能源预测、智能电网等方面的应用,并展望未来云计算对电力系统的进一步发展。
一、基于云计算的电力系统管理1. 数据存储与分析云计算技术提供了强大的数据存储和分析能力,这对电力系统的管理非常重要。
传统上,电力系统需要建立大规模的数据中心,付出高昂的维护成本。
而云计算技术可以将数据存储在云端,实现集中管理和远程访问。
同时,云计算平台还能对大量的数据进行高效的分析和处理,从而为电力系统管理提供了更为智能和便捷的手段。
2. 系统监控与控制云计算技术可以实现电力系统的远程监控与控制。
通过网络,监控设备可以将实时数据传输到云端,运行在云端的算法可以对数据进行分析,提供系统健康状况的实时监控和预警。
而在控制方面,云计算平台可以实现对电力设备的远程操作,包括开关切换、参数调整等,提高了电力系统的灵活性和控制能力。
二、云计算在电力能源预测中的应用1. 能源数据采集与处理电力能源预测是电力系统调度和运营过程中的重要环节,云计算技术可以实现对电力能源数据的采集与处理。
传统上,能源数据采集需要大量的人力和物力投入,且过程繁琐。
而通过云计算技术,可以实现对分布式能源数据的自动采集和实时处理,涵盖了发电、输电、配电等环节,实现能源数据的自动化管理。
2. 能源交易与调度优化云计算技术可以支持电力能源交易和调度优化。
通过云计算平台,可以建立多方参与的能源交易市场,并提供全天候的在线交易服务。
同时,云计算还可以对不同能源调度方案进行智能化分析和优化,以提高电力系统调度的效率和准确性,降低能源消耗和成本。
三、云计算在智能电网中的应用1. 智能电网监控与管理云计算技术为智能电网的监控与管理提供了有效手段。
云计算技术在电力系统中的应用
云计算技术在电力系统中的应用在当今信息化的时代,云计算技术的应用越来越广泛。
云计算通过虚拟化技术,提供了一种可扩展、按需付费的计算服务模型,可以更好地满足用户的需求,提高企业的效率和竞争力。
在电力系统中,云计算技术的应用也越来越受到关注。
电力系统是一个复杂的系统,其运营需要大量的数据分析和计算,而云计算正是应用于此的一种有效的技术手段。
一、 1. 大数据处理电力系统中的数据数量庞大,包括电力生产设备的数据、电力消费设备的数据、电价数据、市场数据等。
这些数据需要进行分析和处理,以便更好地管理电力系统。
云计算提供了大规模数据处理和存储的能力,可以将这些数据存储在云端,进行数据分析和处理,并提供实时分析报告,实现数据的可视化和可控。
2. 电力负荷预测电力负荷预测是电力系统管理的重要手段,能够提高电力系统的运行效率,降低成本。
云计算技术可以应用于电力负荷预测中,通过大数据的处理和分析,提高预测的准确性。
同时,云计算还可以提供实时的监控和反馈,以及针对不同时段的运行策略和优化方案。
3. 电网调度电网调度是电力系统的核心,决定了电力系统的安全、稳定和可靠运行。
云计算可以提供实时的、基于数据的电网调度方案,通过对电力设备、负载和市场数据的实时分析和处理,以及对电力系统的优化调度,为电网的运行提供了有力的支持。
二、云计算技术在电力系统中的优势1. 资源共享电力系统中的各个子系统需要访问、处理和共享大量的数据和计算资源,而云计算技术可以提供一个资源共享的平台,实现资源的动态配置和利用,提高了资源的利用率和效率。
2. 实时性电力系统需要及时响应用户的需求和变化,而云计算技术可以提供实时的数据处理和分析能力,为电力系统的实时运行提供了有力的保障和支持。
3. 可扩展性电力系统的规模和复杂度不断提高,而云计算技术可以提供可扩展性的计算、存储、网络和应用服务,随着电力系统的扩展而无缝升级和扩展。
4. 安全性电力系统的信息安全是电力安全的重要方面,而云计算技术可以提供多层次、多方面、多种形式的安全保护措施,从物理安全到网络安全、应用安全和身份认证等多方面加强电力系统的信息安全保障。
云计算技术在电力行业中的应用
云计算技术在电力行业中的应用近年来,随着互联网技术的高速发展,云计算作为其中的一种核心技术,已经开始广泛应用在众多领域,尤其是在电力行业这样的科技前沿领域。
云计算技术不仅可以提高电力行业的工作效率和数据安全性,而且还能够推动电力行业的创新发展。
下面我们将详细地探讨云计算技术在电力行业中的应用。
一、云计算技术在电力行业中的概念云计算技术是指一种能够为用户提供网络服务和应用程序的高效的计算方式。
它通过多个计算服务器、存储设备和网络组成的一个集群式计算系统,实现了大规模、高效的计算、存储和服务。
在电力行业中,云计算技术可以将数据存储在云端,实现资源共享、灵活管理和数据集中化管理的目的。
二、云计算技术在电力行业中的应用1、智能电网智能电网是指利用先进的信息技术进行现代化和智能化的电网。
在智能电网运行中,可以采用云计算技术来进行数据的存储、计算和管理,提高电网的智能化水平。
通过云计算技术,可以对电网中的数据进行智能化处理和管理,为设备运维、能源计量、电网分析等业务提供数据支撑,提高智能电网的效率和安全性。
2、电力营销电力营销主要是指电力企业在市场中的销售和服务活动。
在云计算技术的帮助下,电力企业可以借助云计算平台的能力,在市场中高效地推广电力产品,同时提高客户满意度和保证客户信息的安全性。
3、数据分析数据分析是指对电力行业中的数据进行分析,为企业的决策提供数据支持。
在云计算技术的应用中,电力企业可以通过云端存储的数据,对业务数据进行分析和挖掘,提高企业的经营水平。
通过云计算技术可以实现对多数据的云端存储及分析,快速解决大数据存储及处理问题。
4、电力质量控制电力质量控制是指电力行业中对电力设备、电力设施和电力质量进行控制的技术。
云计算技术可以提供电力质量控制的数据支持,通过数据分析,可以为电力企业提供更高效、安全、准确的电力设备质量监控和预警。
三、云计算技术在电力行业中的优势1、提高工作效率云计算技术可以实现资源共享,减少重复性工作。
“基于云计算技术的智能电网在线分析系统研究与开发”等两项目通过验收
i n v e r t e r [ J ] . I E E E T r a n s a c t i o n s o n P o we r E l e c t r o n i c s ,
2 0 0 5 , l 2 ( 1 ) :1 6 7 , 1 7 1 .
[ 6 ] S h e n g mi n g L i , L o n g y a Xu , L o n g y a X u . S t r a t e g i e s o f
15 88 . 1 5 96
【 2 】 安群 涛 .容 错三 相 四开 关逆 变 器控 制 策略 [ J ] .中 国 电机 工程 学报, 2 0 1 0 , 3 0 ( 3 ) : 1 4 — 2 0 .
[ 3 ] S .C e b a l l o s .T h r e e — l e v e l c o n v e r t e r ・ t o p o l o g i e s wi t h s wi t c h b r e a k d o wn f a u l t — t o l e r a n c e c a p a b i l i t y [ J 1 . I E E E
i n v e r t e r s [ J ] . I E E E T r a n s a c t i o n s o n P o w e r E l e c t r o n i c s ,
2 0 0 6 , 2 1 f 4 1 : 9 3 3 . 9 4 0 .
( 7 】 T .B r u c k n e r ,S .B e r n e t , H. Gu i l d n e r . T h e a c t i v e NP C
c o n v e r t e r a n d i t s l o s s — b a l n a c i n g C o n t r o l [ J ] .1 E E E
基于云计算技术的电力大数据属性离散化方法
_ _ 十 f 丽
l 【 孛 技 术
应用 研 究
2基于 Ma p R e d u c e 改进 的 连续 属性 离 散 化 方法
Ma p Re d u c e 并行计 算框架作为Ha d o o p云计算平 台的两大核
了处理大数据的效率 。
1基于似然比假设检验 的属性 离散化方法分析
实验结果表 明, 该改进方法在保证离散效果的 同时, 有效提高 果 的精度 。 文献[ 4 】 中结合粗糙集 和信息熵理论来离散化 连续型数 方法。 据, 取得 了比较好的离散 化效果 。 文献[ 5 - 6 1 基于粒计算理论提 出区
6 OO O
崞日 时o o
迥誊 O o 0 0
To t a l
1
I 2
n 2 1
n 2 l
n m 1 n1
.
n , 2
n
.
n m , N
.
2
收 稿 日期 : 2 0 1 5 — 0 1 — 2 0
作 者简介: 王璐鑫( 1 9 8 7 一) , 男, 福 建宁德人, 硕士研 究生, 学生, 现就读于 东北 电力大 学, 研 究电力大数据 处理 。
应用 研 究
_ _ 十 I r 数 日 啦术 面
基于云计算技术的电力大数据属性离散化方法
王 璐 鑫
( 东北 电力 大 学信 息工程 学 院 吉林 吉林 1 3 2 0 1 2 )
4
摘 要: 由于 电力大数据 背景下 电网设备监 测数据 具有体 量大 、 种 类 多、 产 生速度 快、 精度 高等特 点, 传 统的连 续属性 离散化方 法 已经无法 满足 高 效处 理的要 求。 为 了对 电网设备监 测大数据进行 有效 的数 据预 处理 , 本研 究利 用Ma p Re d u c e 框 架对基 于似 然比假设检 验的连 续属性 离 散 化方 法进行 图 了并行化改进。 最后’ 在Ha d o 0 p 平台上对变电设备监测数据进行属性 离散化, 实验结果证明改进后的离散化方法可靠有效, 适合 当前电力大数据背景
基于云计算技术的电力大数据预处理属性约简方法
的 电力大数据处理 中。 因此 ,为 了能够 有 效解 决该 方面 问题 , 电力 企业便 开始 对 C P U、 内存 以及 计算 机硬 盘 等 进 行 扩 充 和 升 级 ,但 是 这 种 方 式 虽 然 能够 在一定程度上解决属性约简 中数据规模和 时效 受硬件制约 的问题 ,可却也提高了成本 ,会对 电力企业的经济效益造成影 响。而 随着 网络以 及信息技术的不断发展 ,云计算技术 的出现很 好的解决 了该方面所存在 的问题 ,与传 统网络 以及计算机技术相 比,利用云计算技术不仅能
3 基于M a p R e d u c e 技 术 的 电 力大 数 据 预 处 理 属 性 约 简
在 基 于云计 算技 术的 电力大 数据 预处 理 属性约简中,可以将一个 电力大数据集 当成是
一
个 电 力 知 识 表 达 系 统 , 而 在 此 前 提 下 ,再 进
理属性约 简进行详 细分析 。
键词 】云计 算技 术 电力大数据 属性约简
够提高对计算机硬件资源的有效应用 ,同时也 e y值相 同的键值对 序列,并对其相同等 全方面 ,大幅度提高 了数据 处理技 术,为电力 送 的 k 价类 的个数进 行计算 。 大数据预处理属性约简提供 了科学有效 的新途 自进入 二十 一 世纪 以来 ,人类 社会 便 正 径 。 而利 用 Ha d o o p在 对 复 杂任 务 进 行 处 理
D a t a B a s e T e c h n i q u e・ 数据库技术
基于云计算技术的电力大数据预处理属性约简方法
文/ 崔晓优 杨 健
统的 电力数据处理 中,而不适合应用在现代化 基 于 云 计 算 技 术 的 电 力 大 数据 预处 理 属性 约 简是 当前 电 力 企业 数据 处 理 的主要 发 展 方 向。 文 中对 其发 展 进行 了简单 介 绍, 并对 M a p R e d u c e 在 电 力 大数 据 预 处理 属 性 约简 中 的应 用 以及 基 于
基于云计算技术的电力大数据预处理属性简约方法
信息科学科技创新导报 Science and Technology Innovation Herald158身处于当今的大数据时代,电力企业信息化程度和智能电力系统的建设,将促使电力数据的体量实现指数级增长;在电力大数据应用方面,对于行业内外各方面的数据分析均会导致电力数据计算与处理类型成本增多。
充分挖掘软硬件资源的潜在价值,减小投入支出,更多的从海量的数据信息当中发掘出其中有价值的数据,促使相关的管理人员能够获得更加多元化的知识内容,将是在大数据时代开展电网管理与控制工作最为重要的一项难题。
1 概述在具体的电网数据分析工作中,对于最终决策起到主导作用的因素很可能仅是其中的某一部分,而要将这些最为关键的因素及时寻找出来将会对于缩减数据处理规模、提升数据处理效率意义重大。
有研究人员就通过应用经典粗糙集理论将对于风力速度有可能产生影响的属性进行了约简处理,同时在对风力速度的预测过程之中也达到了较为满意的效果。
一般的数据约简处理方法尽管在减小时间复杂程度、提升效率上价值明显,然而,此类属性所采取的约简算法都是假定将所有的数据内容一次性录入系统内,很明显这无法适用于电力大数据系统。
还有研究采用传统关系数据库技术属性约简方式,来处理小规模属性约简问题,尽管在时间性能方面取得了较为满意的效果,然而采取此类方法所能够应对处理的数据规模及时效性均会受制于硬件限制。
而将云计算技术应用于电力大数据预处理当中,则能够给予其软件及硬件资源和相关的数据处理提供以新的途径方式。
在本次研究中重点就针对美国谷歌公司所提出的M apRe du c e 编程模型展开了深入的分析与探讨,具体就粗糙集相对正域理论和现行的知识约简计算方式展开了深入剖析,结合其模型设计与计算最终对基于云计算技术的电力大数据预处理属性约简方法的正确性,及其对节点数目的影响展开了实证分析,最终的实验结果显示,此项计算方法不当可大幅度提升电力大数据集的属性约简计算效率,同时还DOI:10.16660/ k i.1674-098X.2017.12.158基于云计算技术的电力大数据预处理属性简约方法皮霄林(广东电网有限责任公司珠海供电局 广东珠海 519000)摘 要:随着当今时代信息技术的快速发展,大数据概念一经提出便被广泛应用到了多个行业领域当中,将之应用于电网系统当中表现出了十分明显的多类型、大体量、高效率特性,基于这一现状之下显然已经无法再用传统的属性约简方式来对电力大数据进行计算与处理。
基于云计算的电力大数据分析技术与应用
基于云计算的电力大数据分析技术与应用随着电力行业信息化的发展和智能电网的建设,电力系统中积累了大量的电力数据,这些数据包括电力负荷数据、电网运行数据、电力用户信息等。
这些数据具有巨大的潜力,可以为电力系统的运行管理、优化调度和能源规划提供依据。
由于电力大数据的规模庞大、种类繁多和分布广泛,传统的数据处理方法已经无法满足实时分析和决策支持的需求。
基于云计算的电力大数据分析技术应运而生。
云计算是一种通过互联网进行资源共享和按需服务的计算模式。
云计算具有强大的计算能力和可扩展性,可以将数据存储、处理和分析功能集中在云端,以减少数据传输和处理成本。
电力大数据分析技术通过云计算平台提供各种数据分析服务,包括数据清洗、数据挖掘、数据可视化等,为电力系统的运行管理和决策提供有效支持。
数据存储与管理。
云计算提供了海量数据存储和管理的能力,可以将电力系统中的各种数据集中存储在云端,提供高可靠性和高可用性的数据存储服务。
云计算还提供了数据管理和访问控制的功能,可以基于用户需求进行数据的分类、归档和备份。
数据清洗与预处理。
电力数据中存在着各种噪声和异常数据,需要进行清洗和预处理才能得到准确可靠的数据。
云计算可以提供强大的数据清洗和预处理功能,包括数据去噪、数据插补和数据平滑等方法,以提高数据的质量和可用性。
数据挖掘与分析。
电力大数据中蕴含着大量的信息和规律,可以通过数据挖掘和分析方法进行发现和提取。
云计算平台提供了强大的数据挖掘和分析工具,包括机器学习、数据挖掘算法和统计分析方法等,可以从电力大数据中发现潜在的关联和趋势,并提供决策支持和预测分析。
数据可视化与应用。
电力大数据的结果需要以清晰直观的方式展现给用户,以便用户理解和利用。
云计算可以提供强大的数据可视化和应用平台,可以根据用户需求生成各种形式的数据可视化图表和报表,以帮助用户理解和分析数据,并为决策提供参考。
基于云计算的电力大数据分析技术已经在电力行业得到了广泛应用。
基于云计算的电力大数据分析技术与应用
电力系统2020.15 电力系统装备丨79Electric System2020年第15期2020 No.15电力系统装备Electric Power System Equipment云计算是从计算机领域产生的,现如今各行各业已经都在使用。
但是我国云计算与电力系统的结合仍处在初期。
因此如何在电力大数据分析技术中引入云计算成为当前研究的热点。
云计算具备大众性、扩展性以及无基建投资的特点,在使用过程中,可以保证用户更加便捷高效地获取各类信息与资源,实现数据源的有效存储与利用,而且投资低,收益高,将会成为电力系统发展的趋势,可以解决当前电力系统面临的一些操作不一致、资源不共享等问题。
如今随着我国大数据分析技术的稳步发展,云计算势必会在电力系统大数据分析中得到广泛普及,为我国电力企业的成长起到促进作用。
1 我国云计算在电力系统中的应用现状云计算作为一种新型技术,是基于网络的一种顶级计算方法,可远程为用户提供数据储存与计算等。
云计算具备三大特点:(1)大众性。
云计算使用成本低、效率高,因此普遍应用于各行各业的生产管理中。
(2)扩展性。
云计算不需要频繁的维护系统,可有效解决公司内部高峰时段的资源分配,为企业节省运营成本,其灵活机动性强,具备一定的扩展性。
(3)无基建投资。
云计算对基建要求较低,因此可为企业省去大量的资金。
在电力企业致力于信息化进程中,云计算在信息化发展中起着无可替代的作用,帮助电力企业极大地优化了运营效率。
但现阶段,各地区电力企业发展不均衡,一些电力企业仍存在管理体制落后,缺乏有经验高水平员工,信息化水平较为落后,导致云计算平台的建设跟不上企业的发展、数据信息不真实、资源共享出现问题等问题,阻碍了云计算在电力企业的发展,具体从以下三方面展开论述。
1.1 缺乏系统性的规划云计算作为一种全新的模式,不断影响着我国电力企业的变革与发展。
我国电力系统中已经建立了诸多信息系统,对我国电力相关基础业务发挥了重要作用。
基于云计算技术的电力大数据预处理属性约简方法
基于云计算技术的电力大数据预处理属性约简方法摘要:随着我国信息技术的快速发展和不断应用,其影响力已扩散到传统建筑业的各个方面。
近年来,随着经济的快速发展,我国市场经济的总体发展趋势良好,在社区服务方面也提出了较高的要求,同时在建设相关服务项目的同时,也存在一定的问题,相关法律法规不断完善,这就要求社区项目质量监督工作的效率也相应提高。
信息管理系统已被证明是一种有效的社区项目质量管理的快捷键,而且还需要研究解决我们目前的建设。
社区对建设社区项目质量的监督管理是一项庞大的系统社区项目,笔者认为从信息化入手可能是解决问题的契机。
下面说说信息化建设质量监督管理的建设的粗浅看法。
关键词:云计算;电力大数据;预处理属性一、大数据的概念、发展及应用大数据时代是互联网发展的产物。
随着大数据移动应用技术的不断完善,基础设施也越来越多。
各企业的快速发展,使用不同类型的智能终端,进行移动业务的推广,加速了互联网时代的发展步伐。
大数据技术的背景下,为了向客户提供更稳定,更安全的网络环境保证计量监管信息的安全性,促进了企业的良性发展人的损失,提高经济效益,企业的效益,需要加强对计量监管的工作。
任何行业的数据都是作为对一些行业的了解进行推动作用。
人们希望使用数据,分析用户的需求,造成了大量的新产品。
用传统的软件工具来获取、存储、管理和分析足够大的数据的集合。
它是指超越传统数据库系统的数据量大,而且变化非常快的海量数据结构不能满足现有的数据库架构。
同时,大数据是指传统技术、软硬件工具在一定时间内无法感知、获取、管理和服务的数据采集。
大数据是时代发展的新成就,我们希望让大数据发挥其最大的作用,需要用新的技术来管理和分析。
二、云计算技术和虚拟平台的设计及构建2.1云计算技术和虚拟平台的设计云计算虚拟实验室主要通过对服务器的计算整合以及存储和对网络资源的管理和分配,实现虚拟化。
主要为教学和科研实验以及创新实践提供更好的实验环境以及资源,达到注重应用的同时减轻设备的目的。
基于云计算的智能电网大数据处理技术研究
研制开发
图6 PLC控制示意图
)自检:当设备上电时,控制箱内控制器通过自检确定设备连接正常,异常时发出异常告警。
)功能:具有解锁和同步功能。
)解锁:解锁状态时,伺服驱动电机可以实现独立的单步操作。
)同步:同步状态时,伺服电机成组控制;电机前端为一组,后端为一组;同步时,同组伺服电机一进一退,保持相反的同步。
)步进模式:通过触摸面板可以快速选择步进方式、持续和点动。
)持续步进:持续键有效时,按下进
伺服电机持续进/退,直到按键松开为止。
)点动步进:点动有效时,按下进
通过松开或者持续按着按键,伺服电机步进到预先设定
(8)步进距离:步进距离可以预先设定,步进距离最小步进精度为0.02 mm,在伺服电机运行中同时设
(上接第2页)。
基于云计算的电力大数据分析技术与应用探析
基于云计算的电力大数据分析技术与应用探析发表时间:2018-08-06T14:18:03.580Z 来源:《电力设备》2018年第12期作者:丁再贤[导读] 摘要:对电力大数据分析技术的研究,在电力应用领域具有重要的意义。
(国网青海省电力公司海东供电公司青海海东 810600)摘要:对电力大数据分析技术的研究,在电力应用领域具有重要的意义。
本文对云计算过程的电力大数据进行了分析,通过分析旨在提高人们的认识,进而通过云计算大力发展电力数据信息的统计效率,提升电力企业现代发展进程。
关键词:云计算;电力大数据;分析技术与应用随着互联网与时代的不断发展,数据的问题已经成为当下云计算系统的主要问题。
由于系统对数据作出分析、处理之后,能够通过固有的程序得到在操作上相关性的数据。
在互联网快速发展的时代,已经有系统的时代转向了数据的时代。
全新的数据发展时代,对数据在处理方法和工作效率上有了更高的要求。
普通式数据处理器在工作方式以及效率方面都已经不能满足数据时代的发展需求。
为了解决这一问题,在云计算的环境下研究高效的数据处理器,并达到高性能的处理方式。
通过对数据系统在资源上进行合理性的配置,以达到大数据在处理方式上以及性能上的要求。
1 云计算与电力大数据云计算在新的网络时代,具有更新颖式的计算模式,实现大规模、分布式的计算方式,能够满足系统对数据的计算和存储的时代要求。
它聚合了大数据的相关资源。
而电力大数据,则是在智能的电网下形成的具有大容量数据。
由许多的传感器、设备附属在用户的家用型智能电表之上,采集用户的反馈意见,并将信息、数据统一发送至数据的存储、管理中心。
电力的大数据,能够维持智能电网的稳定性、可靠性与高效性,全面提升智能电网的使用、管理性能。
2 基于云计算的电力大数据分析技术的研究2.1 电力大数据的分析系统电力大数据的分析系统是在分布式、并行式的计算框架基础上构建起来的,其数据的分析软件是利用数据的仓库工具软件建立。
基于Spark的电力设备在线监测数据可视化方法
基于Spark的电力设备在线监测数据可视化方法曲朝阳;熊泽宇;颜佳;辛鹏;曲楠【摘要】With the strengthening of range and quality of the electrical equipment online monitoring in smart grid, the collected data volume in online monitoring is growing exponentially. All the attributes and the operating state in electrical equipment online monitoring data which is of massive amounts can be presented directly by the big data visualization, which can provide powerful guarantee to effective and timely monitoring and analyzing of the operating state. However, the application of the big data visualization to electrical power big data is still in a preliminary stage, and there is still lacking of visualization method of electrical equipment online monitoring data under big data environment. Therefore, a visualization method of the electrical equipment online monitoring data based on Spark is proposed. To realize rapid extraction of electrical equipment state information, the state information extracting algo⁃rithm based on FCM and evaluation system is constructed on Spark. For the multi⁃dimensional and time⁃serial fea⁃ture of electrical equipment online monitoring data, the representation based on 3⁃D parallel scatter is constructed, and the data information of the electrical equipment online monitoring is realized. The method is applied to the WTGS online monitoring data set, and the efficiency of the method is proved by the experiment result.%大数据可视化可以实现海量电力设备在线监测数据中各种属性、运行状态等电力特征信息的图形、图像化直观呈现,为设备运行状态的及时有效监控分析提供有力保障。
智能用电环境下的家庭电力能效评估方法
智能用电环境下的家庭电力能效评估方法曲朝阳;王冲;潘峰【摘要】针对家庭电力能效评估精度不高的问题,提出了智能用电环境下的家庭电力能效评估方法.该方法根据家庭电力能效评估指标体系中评价指标影响因素的不同,综合采用层次分析法和贝叶斯方法对家庭电力指标体系进行能效评估建模,最后建立总的家庭电力能效评估模型,对家庭电力能效情况进行综合评估.经实例验证,该方法能准确地检测和评估家庭能耗情况,有效提高居民用电效率.【期刊名称】《电工电能新技术》【年(卷),期】2015(034)010【总页数】7页(P61-67)【关键词】家庭电力能效评估;能效评估方法;层次分析法;贝叶斯方法;能效评估模型【作者】曲朝阳;王冲;潘峰【作者单位】东北电力大学信息工程学院,吉林省吉林市132012;国网内蒙古东部电力有限公司信息通信分公司,内蒙古呼和浩特010020;东北电力大学信息工程学院,吉林省吉林市132012【正文语种】中文【中图分类】TM73在国家加大能源建设和智能电网迅速发展的形势下,人们逐渐加深了对能源效率的认识和对能源消耗指标的关注,工业、建筑、交通运输、政府机构以及电力等部门都纷纷开展了对节能降耗指标体系的研究,并且取得了显著的成果,但对占社会总用电量比重不断增长的居民家庭能耗评价,国内还没有突破性的研究,居民家庭电能消耗管理仍面临缺乏完整的指标体系、重要指标不能量化、评估结果难以反映全面能耗情况等问题。
针对以上问题,有必要设计更为全面的家庭电力能效评估方法,监测和评价家庭能耗,为居民家庭提供高效的用电方案,从而提高居民用电效率。
文献[1-4]主要介绍指标体系的构建原则及如何构建指标体系,但并没有深入研究评估方法。
文献[5-7]主要讲述了基于层次分析法的能效评估方法,但由于忽略了评价指标所受影响因素的不同,造成评估结果不准确。
文献[8,9]主要讲述了关于氨气制冷系统和空调方面的能效状态评估方法,并通过实例验证该方法的有效性。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
电力大数据 。 文 献 [ 中的基于传统关系数据库 7 8] - 技术的属性约简方法在处理小规模属性约简问题时 表现出了良好的时 间 性 能 , 但是这些方法可处理的 数据规模和时效均受到硬件的严重制约 。 通过增加 或更换 C 内 存、 硬盘等纵向扩展方式十分不经 P U、
C 为条 件 属 性 集 , D 为 决 策 属 性 集, V 为属性 ∪D, , 。 值集合 , 为信息函数 其指定每个对象的属性值 f 定义 2 令 P, QA, P∩Q= , Q 的P 正域
1] 。有效利用软 分 析 的 速 度 要 求 更 高[ 对数据处理 、 降低投 入 , 节 约 成 本, 及时地从数据海洋 硬件资源 ,
济, 而系统中新节点 的 加 入 将 导 致 重 新 组 织 数 据 库 以均衡负载 , 这些都 使 关 系 数 据 库 ( 并行数据库) 的 但系统的扩展性是 扩展性遇到了前所 未 有 的 障 碍 , 9] , 大数 据 分 析 的 重 要 前 提 [ 所以基于关系数据库技 术的属性 约 简 方 法 无 法 胜 任 电 力 大 数 据 处 理 的 要 求。 电力 云 为 有 效 利 用 软 硬 件 资 源 、 处理海量增长 的电 力 数 据 提 供 了 新 途 径 。 云 计 算 技 术 之 一 的 M a R e d u c e是 G o o l e提 出 的 一 种 并 行 编 程 模 型, p g 可以实现大规模数据集的并行处理 。 本文深入研究了 M 对粗糙 a R e d u c e编程模型 , p 集相对正域理论及 现 有 的 知 识 约 简 算 法 进 行 剖 析 , 利用相对正域的性 质 , 给出了电力大数据预处理属 性约简中的相关定义和定理 , 结合 M a R e d u c e 模型 p 设计了并 行 计 算 电 力 大 数 据 集 相 对 正 域 势 的 算 法 并利用 H MP_ P O S R S, a d o o p平台实现了云环境下 的电力大 数 据 预 处 理 属 性 约 简 算 法 。 实 验 结 果 表 明, 该算法不仅能够 高 效 地 进 行 电 力 大 数 据 集 属 性 约简计算 , 而且具有较好的可扩展性 。
2 基 于 M a R e d u c e技 术 的 电 力 大 数 据 预 处 p 理属性约简
将一个电力大数据集视为一个电力知识表达系 统, 则求影响指定决策属性集的条件属性 , 即求此电 力大数据集的属性约简问题就转化为计算正域的势 的问题 。 利用 M a R e d u c e计算上述问题方法如下 : p 根据需求 , 提取属 m a p 函数同时访问多个数据分片 , , 〉 性及属性值 , 形成〈 键值对( 表示意义如 k e v a l u e y 〈 “ ” , 〉 ) 。 故障区域 C O 1 1 S e c 1 1 R e d u c e函数接收来 自不同节点 m a e p 发送的 k y 值相同 的 键 值 对 序 列 , 计算相同等价类的个数 。 H a d o o p 在处理复杂任 务 时 的 思 想 是 增 加 任 务 数, 而不 是 增 加 m 所以 a e d u c e函 数 的 复 杂 性 , p和r 在云环境下的电力 大 数 据 预 处 理 属 性 约 简 算 法 中 , 、 _ 分别设计 了 2 个 m a 3个r e d u c e 1个c a l l o b函 p、 j 数和主程序 。 下面给出各算法的描述 。 ) 算法 1: 1 m a p 函数 步骤 1: 输入条件属性 C, 决策属性 D, 对象 X。 。 步骤 2: f o r e a c h o b e c t xd o j 步骤 3: 将x 存 i 的C 和 D 属 性 及 属 性 值 提 取 , 。 入k 中 e y , 〉 。 步骤 4: 输出 〈 k e 1 y ) 算法 2: 2 m a p 函数 步骤 1: 输入前次 M a R e d u c e任务的结果 。 p , 〉 。 步骤 2: 读出 HD F S 中的键值对 〈 k e v a l u e y , 〉 。 步骤 3: 输出 〈 k e v a l u e y ) : 算法 函数 3 3r e d u c e , _ 步骤 1: 输入 m a k e v a l u e s p聚类后的结果〈 y 〉 。 l i s t 步骤 2: s u m=0。 ) , 步骤 3: f o r i=1t o v a l u e_ l i s t . s i z e( s u m= _ [ ] 。 s u m+v a l u e l i s t i 步骤 4: 去掉 k e y 中 D 属性及其属性值 。 步骤 5: v a l u e =s u m。
( ,即 p 相 对 正 域 )记 为 p Q) Q )= o s o s P ( P ( PX, Q 的 P 正域是 U 中所有根 据 分 类 U/ P ∪X∈U/ Q
-
;修回日期 : 。 收稿日期 : 2 0 1 3 0 6 0 1 2 0 1 4 0 1 1 4 - - - - ) 。 国家自然科学基金资助项目 ( 5 1 0 7 7 0 1 0, 5 1 2 7 7 0 2 3
] 3 6 - , 方面取得了显 著 效 果 [ 但 是, 这些属性约简算法 均假设所有数据一 次 性 装 入 内 存 中 , 显然理
定义 1 设电力决策信息表 S= ( 为 U, A, V, f) 一个电力知识表达系统 , 其中 U 为对象集合 , A=C
的信息可以 准 确 地 划 分 到 关 系 Q 的 等 价 类 中 去 的 ( ) 对象集合 。C 表示 Q 的 P 正域中包 o u n t o s Q) p P( — 6 7 —
( ) 2 0 1 4, 3 8 8
含的元素个数 , 也称为 Q 的 P 正域的势 。 定义 3 令 P, 如果 Q A, P ∩Q = , r∈P, , 则称r 为 P 中 Q 不必要的 , }( o s Q) =p o s Q) p P( P- { r 否则r 为 P 中 Q 必 要 的 。P 中 所 有 Q 必 要 的 属 性 。 构成的集合称为 P 的 Q 核 , 记为 c o r e P) Q( , , , 定义 4 令 P Q A P ∩ Q = 任 意 的 都是 P 中Q 必要的 , 称 P 为Q 独立的 。 若 a( a∈P) , 有p 则 P 的 Q 独 立 子 集 R P, Q) =p o s Q) o s R( P( 。 称 R 为 P 的 Q 约简 定义 5 令 P, 对任意 QA, P∩Q= , EP, 的r∈P, 属性r 相对于 E 的重要性定义为 : ) ( o s Q) E( C o u n t p ( I m r)= 1- p ( ) }( C o u n t Q) o s p E∪ { r , ( ) ( ) 由 此 定 义 易 知 为 }( o s I m C o u n tp Q) pr E∪ { r 上的单调递增函数 。 定理 1 设 S= ( 为一个电力知识表 U, A, V, f) , , , 达系统 , o s P Q A P ∩Q = R P, Q) = p R( ( ) : ( ( ) ) 的 充 要 条 件 是 o s o s Q C o u n t Q = p R p P ( ) 。 o s C o u n t Q) p P( 必要性证明 : 由p 可 知, o s Q) =p o s Q) Q的 R( P( ( ) 则C R 正域与 Q 的 P 正 域 相 同 , o u n t Q) = o s p R( ( ) 。 C o u n t o s Q) p P( 充 分 性 证 明: 利 用 反 证 法, 假设 p o s Q) ≠ R ( ( ) , , ( ) 由 及 定 义 易 知 Q R P 3 Q o s o s p P p R 。 o s Q) p P( , 因为 p 所以 p o s Q) o s Q) o s Q) ≠p R ( P ( R ( ( ) , ( ( ) ) 因 此 o s Q C o u n t o s Q < p P p R ( ) , ( ) 与条件 C C o u n t Q) o u n t Q) =C o u n t o s o s p p P( R( ( ( ) ) , ( ) ( ) , 矛盾 所以 p 证明完 o s o s o s p P Q R Q =p P Q 毕。 定理 2 设 S= ( 为一个电力知识表 U, A, V, f) , , , 达系统 A =C∪D C∩D = C 为 条 件 属 性 集 , D ( ) 为决策属性集 , 是必要属性 核属性 的充要条 a∈C ( ) ( ) 。 件是 C o u n t D) o u n t D) o s o s ≠C p p C- { a}( C( : , 必要性证明 a 为核属性 则由定义 4 可知 ,由 定 理 1 可 知 o s D )≠ p o s D) p C- { a} ( C ( ( ) ( ) 。 C o u n t D) o u n t D) o s o s ≠C p p C- { a}( C( ( ) 充分性证明 : 因为 C o u n t o s D) o u n t ≠C p C- { a}( ( ( ) ) , ( ) ( ) 由定理 可 知 o s 1 o s o s p p p C D C- { a} D ≠ C D ; 由定义 4 可知 a 为核属性 。 定理 3 设 S= ( 为一个电力知识表 U, A, V, f) , , 达系统 , A =C∪D C∩D = C 为 条 件 属 性 集 , D 为决策属性集 , 则 E 是C 的 一 个 约 简 的 充 要 EC, ( ) ( ) 。 条件是 : C o u n t D) =C o u n t D) o s o s p p E( C( 该定理 由 定 义 5 和 定 理 1 容 易 得 证 , 证法与定 理 2 证明类似 。 — 6 8 —
0 引言
随着 电 力 大 数 据 时 代 的 来 临 , 电力企业信息化 与智能电力系统的建成将使电力数据的体量以前所 未有的速度增长 ; 电力大数据应用中 , 对行业内外诸 如能源 、 天气等数据 的 关 联 分 析 都 将 直 接 导 致 电 力 数据类型的增加 ; 电力大数据实时处理的特征使其