大数据平台及在电力行业应用分析

大数据平台及在电力行业应用分析
与传统数据处理需求的区别
传统数据库模式的数据处理模式，已经无法应对大数据带来的挑战，需要新技术、新思维、新 策略，使数据处理性能更高，成本更低、模式更丰富！
数据量极大。PB是大数据层次的临界点，需要更高性价比的数据储存与计算方式，增大了数据处理的难度 的同时，庞大数据量所蕴含的价值也极大。
大数据处理挑战
储存 Storing
每天几百 GB、 几 TB 的资料，且持续成长中
计算 Processin
g
在接收数据的同时做必要的前置处理， 并区分数据处理的优先等级，离线计算与实时计算相结合
管理 Managin
g
wenku.baidu.com
如何有效的避免因硬件毁坏所导致的资料损毁和数据丢失
分析 Analyzin
g
如何从中挖掘出数据隐藏的模式和价值
计算
• 计算任务的多节点 分配、计算
• 计算与存储一体， 计算向数据靠拢
• 任务之间无依赖， 系统高延展性
存储
分布式文件存储
大数据平台及在电力行业应用分析
• 分布式，多副本， 高容错性，数据安 全
• 可采用普通PC， 硬件成本低
• 系统高扩展性，动 态增加存储节点
• 高传输率数据访问
大数据核心技术 - Storm
大数据平台及在电力行业应用分析
大数据的特性
容量Volume 多样性Variety
➢ 半结构化、非结构化数据的超大规模和增长 ➢ 总数据量的80~90% ➢ 比结构化数据增长快10倍到50倍 ➢ 是传统数据仓库的10倍到50倍
➢ 大数据的异构和多样性 ➢ 很多不同形式（文本、图像、视频、机器数据等） ➢ 无模式或者模式不明显 ➢ 不连贯的语法或句义
大数据 及在电力行业的应用分析
2013-07
大数据平台及在电力行业应用分析
目录
1 大数据的发展及相关技术 2 电力行业大数据需求 3 彩讯电力行业大数据解决方案
大数据平台及在电力行业应用分析
大数据时代
新量级、新处理模式、新企业智能
互联网 Internet
移动互联网 Mobile Internet
• Logs
• Spreadsheet • Click-stream
• File in record • Equipment/ Device
3
大数据平台及f在or电m力a行t 业应用分析
指数型增长的海量数据
所有研究都表明，未来数年数据量会呈现指数增长。根据EMC研究院统计，全球2012创建和复制的数据 量达到了2.8ZB（1ZB等于10亿PB），而到2020，这个数据会上升到40ZB。对这些数据的管理和分析 ，在技术带来了挑战，但是对数据的透彻分析将会为我们带来不可估量的价值。
storm是Twitter开源的一个分布式、实 时的计算框架。通过这个框架可以实现消息的 秒级处理，并通过分布式处理模式，实现高并 发处理的承载。
水平扩展，并行计算，动态增删节点 可靠的消息处理 事务机制，解决重复计算问题 容错性
大数据平台及在电力行业应用分析
大数据需求与价值
1 目前企业的数据系统架构存在问题
价值Value
➢ 价值密度低，单条数据无价值,无用数据多,综合价值大 ➢ 对未来趋势与模式的可预测分析 ➢ 深度复杂分析（机器学习、统计建模、人工智能）
速度Velocity
➢ 处理速度快， 要求系统在短时间内做出响应 ➢ 实时分析而非批量式分析 ➢ 数据输入、处理与丢弃 ➢ 立竿见影而非事后见效
大数据平台及在电力行业应用分析
非结构化
食品 安全
金融 服务
物联网 Internet of Things
• Web Pages • E-mail
医疗 卫生
军事
电子 商务
消费 行业
交通 环保
气象
公共 服务
半结构化
• Multimedia • Instant Messages
结构化
• XML Docs • Documents
• Database
从“以人为本”的高度重新审视自己的核心价值，由“以电力生产为中心”向“以客户为中心”转变，并将其最终落
脚在“如何更好地服务于全社会”这一根本任务上。
传统电力价值链与新兴电力价值链
大数据平台及在电力行业应用分析
转变电力发展方式
人类社会经过工业革命两百多年来的迅猛发展，能源和资源的快速消耗以及全球气候变化已经上升为影响全人类发展的首 要问题。传统投资驱动、经验驱动的快速粗放型发展模式，已面临越来越大的社会问题，亟待转型，电力行业也是一样。电 力大数据通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导，能够推动中 国电力工业由高耗能、高排放、低效率的粗放发展方式向低耗能、低排放、高效率的绿色发展方式转变。
数据成为新的资源。掌握有数据就掌握了巨大的财富。挖掘大数据的价值类似沙里淘金,从海量数据中挖掘 稀疏但珍贵的信息。
大数据平台及在电力行业应用分析
大数据核心技术 - Hadoop
基于Hadoop 实现大数据的分布式存储和分布 分布式并行计算框架 式并行计算，实现高效的TB和PB级数据处理。
Hadoop技术体系
2 目前企业数据分析处理面临的问题
3 各行业企业对大数据的关注程度
大数据平台及在电力行业应用分析
目录
1 大数据的发展及相关技术 2 电力行业大数据应用分析 3 彩讯电力行业大数据解决方案
大数据平台及在电力行业应用分析
大数据对电力行业价值
大数据平台及在电力行业应用分析
大数据推动电力行业的变革
电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。电力大数据不仅仅是技 术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一 代智能化电力系统在大数据时代下价值形态的跃升。
核心主线
重塑电力核心价值
转变电力发展方式
大数据平台及在电力行业应用分析
重塑电力核心价值
中国电力工业长期秉承“以计划为驱动、以电力生产为中心”的价值观念，重视企业价值和客户价值的实
现，却在一定程度上忽视了社会效益，缺乏双向互动，导致电力供需的单方向传递，使得社会资源对电力工业的反馈促进很 难实现。电力大数据通过对市场个性化需求和企业自身良性发展的挖掘和满足，重塑中国电力工业核心价值，驱动电力企业
数据种类多样。数据更加个性化、更加全面，针对不同来源的数据以多样化的方式处理，结果更精确。 能够在不同的数据类型中，进行交叉分析的技术，是大数据的核心技术之一。
实时性要求越来越高。不断增长的实时分析，要求及时对数据进行处理并得到结果，更完善的用户体 验。实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。