大数据平台和在电力行业的应用分析专题培训课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
storm是Twitter开源的一个分布式、实 时的计算框架。通过这个框架可以实现消息的 秒级处理，并通过分布式处理模式，实现高并 发处理的承载。
水平扩展，并行计算，动态增删节点 可靠的消息处理 事务机制，解决重复计算问题 容错性
大数据需求与价值
1 目前企业的数据系统架构存在问题
2 目前企业数据分析处理面临的问题
大数据的特性
容量Volume 多样性Variety
半结构化、非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据等） 无模式或者模式不明显 不连贯的语法或句义
大数据平台和在电 力行业的应用分析
目录
1 大数据的发展及相关技术 2 电力行业大数据需求 3 彩讯电力行业大数据解决方案
大数据时代
新量级、新处理模式、新企业智能
People
互联网 Internet
Big Data
Devices
移动互联网 Mobile Internet
Sensors
物联网 Internet of Things
食品 安全
医疗 卫生
电子 商务
军事
消费 行业
交通 环保
金融
服务
气象
公共
服务
3
指数型增长的海量数据
所有研究都表明，未来数年数据量会呈现指数增长。根据EMC研究院统计，全球2012创建和复制的数据 量达到了2.8ZB（1ZB等于10亿PB），而到2020，这个数据会上升到40ZB。对这些数据的管理和分析 ，在技术带来了挑战，但是对数据的透彻分析将会为我们带来不可估量的价值。
以人为本”的高度重新审视自己的核心价值，由“以电力生产为中心”向“以客户为中心”转变，并将其最终落脚在“
如何更好地服务于全社会”这一根本任务上。
传统电力价值链与新兴电力价值链
转变电力发展方式
人类社会经过工业革命两百多年来的迅猛发展，能源和资源的快速消耗以及全球气候变化已经上升为影响全人类发展的首 要问题。传统投资驱动、经验驱动的快速粗放型发展模式，已面临越来越大的社会问题，亟待转型，电力行业也是一样。电 力大数据通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导，能够推动中 国电力工业由高耗能、高排放、低效率的粗放发展方式向低耗能、低排放、高效率的绿色发展方式转变。
3 各行业企业对大数据的关注程度
目录
1 大数据的发展及相关技术 2 电力行业大数据应用分析 3 彩讯电力行业大数据解决方案
大数据对电力行业价值
大数据推动电力行业的变革
电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。电力大数据不仅仅是技 术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一 代智能化电力系统在大数据时代下价值形态的跃升。
价值Value
价值密度低，单条数据无价值,无用数据多,综合价值大 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、统计建模、人工智能）
速度Velocity
处理速度快， 要求系统在短时间内做出响应 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效
大数据处理挑战
核心主线
重塑电力核心价值
转变电力发展方式
重塑电力核心价值
中国电力工业长期秉承“以计划为驱动、以电力生产为中心”的价值观念，重视企业价值和客户价值的实现，
却在一定程度上忽视了社会效益，缺乏双向互动，导致电力供需的单方向传递，使得社会资源对电力工业的反馈促进很难实 现。电力大数据通过对市场个性化需求和企业自身良性发展的挖掘和满足，重塑中国电力工业核心价值，驱动电力企业从“
电力数据价值
基于大数据的电力行业优化 - 对内：优化管控模
式
利控例器大术监“统段化整理大选司公压风使案充到外踪一史和性另挖因电提用制如，数手控智”消。合的数址司、速用，分最，图V方销用地一掘素需供大的，动据段、能，除电数E据、发空等超来利大、V面量户优方用所求多数步通态分，应在有部力据SET技建电气数级支用发卫，数市化面户隐预维据伐过监析采急线效分行，SATS术设机湿据计持风电星通据场营，用藏测、技，为控挖用指监改运业实A计S有的数度以算其速量图过，细销通电的模直术促电设掘集挥控变维生现划还助决据、及机风、，像使进分组过与关型观加进力施理成、运故产电将将于策结空公及力风并、用行，织与电联，、速智基运念了检可维障、力全添电。合气司大发力减地电用使，外价关进全电能础行和在修视方，运发球加力例，沉历数电、少理力户管改界、系而面力电设状可线查化式实营电天全企如利淀史据机气能数企用理善数天，为、况企网施视检询调现、气球源业丹用物数模的流据业电者服据气完各深，业的布化测等度从运销输系森成基麦气、据型选等以庞行能务的、善级入并智发置展、功管萌维售电统林本础风温风，解址因及大为有模交交用决的基能展传现视能理芽智、、数砍。设电、向通决，素月的分针式换通户策预于化。感技频的系阶能管变据伐此施公气、过方以达相历析对。，等用者测与追 电与数、潮据配汐，电数主、据动用，把电以握、便市调更场度好动全地态环支。节持数基据础共建 享设，的以决用策电。需求预测为驱动优化资源 配置，协调电力生产、运维、销售的 管理，提升生产效率和资源利用率。 此外，电力企业各部门数据的集成将 优化内部信息沟通，使财务、人事等 工作的开展更顺畅，有助于企业实行 精细化运营管理，提高集团管控水平 。
Hadoop技术体系
计算
• 计算任务的多节点 分配、计算
• 计算与存储一体， 计算向数据靠拢
• 任务之间无依赖， 系统高延展性
存储
分布式文件存储
• 分布式，多副本， 高容错性，数据安 全
• 可采用普通PC，硬 件成本低
• 系统高扩展性，动 态增加存储节点
• 高传输率数据访问
大数据核心技术 - Storm
与传统数据处理需求的区别
传统数据库模式的数据处理模式，已经无法应对大数据带来的挑战，需要新技术、新思维、新 策略，使数据处理性能更高，成本更低、模式更丰富！
大数据核心技术 - Hadoop
基于Hadoop 实现大数据的分布式存储和分布 分布式并行计算框架 式并行计算，实现高效的TB和PB级数据处理。
储存 Storing
每天几百 GB、 几 TB 的资料，且持续成长中
计算 Processing
பைடு நூலகம்
在接收数据的同时做必要的前置处理， 并区分数据处理的优先等级，离线计算与实时计算相结合
管理 Managing
如何有效的避免因硬件毁坏所导致的资料损毁和数据丢失
分析 Analyzin
g
如何从中挖掘出数据隐藏的模式和价值
水平扩展，并行计算，动态增删节点 可靠的消息处理 事务机制，解决重复计算问题 容错性
大数据需求与价值
1 目前企业的数据系统架构存在问题
2 目前企业数据分析处理面临的问题
大数据的特性
容量Volume 多样性Variety
半结构化、非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍
大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据等） 无模式或者模式不明显 不连贯的语法或句义
大数据平台和在电 力行业的应用分析
目录
1 大数据的发展及相关技术 2 电力行业大数据需求 3 彩讯电力行业大数据解决方案
大数据时代
新量级、新处理模式、新企业智能
People
互联网 Internet
Big Data
Devices
移动互联网 Mobile Internet
Sensors
物联网 Internet of Things
食品 安全
医疗 卫生
电子 商务
军事
消费 行业
交通 环保
金融
服务
气象
公共
服务
3
指数型增长的海量数据
所有研究都表明，未来数年数据量会呈现指数增长。根据EMC研究院统计，全球2012创建和复制的数据 量达到了2.8ZB（1ZB等于10亿PB），而到2020，这个数据会上升到40ZB。对这些数据的管理和分析 ，在技术带来了挑战，但是对数据的透彻分析将会为我们带来不可估量的价值。
以人为本”的高度重新审视自己的核心价值，由“以电力生产为中心”向“以客户为中心”转变，并将其最终落脚在“
如何更好地服务于全社会”这一根本任务上。
传统电力价值链与新兴电力价值链
转变电力发展方式
人类社会经过工业革命两百多年来的迅猛发展，能源和资源的快速消耗以及全球气候变化已经上升为影响全人类发展的首 要问题。传统投资驱动、经验驱动的快速粗放型发展模式，已面临越来越大的社会问题，亟待转型，电力行业也是一样。电 力大数据通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导，能够推动中 国电力工业由高耗能、高排放、低效率的粗放发展方式向低耗能、低排放、高效率的绿色发展方式转变。
3 各行业企业对大数据的关注程度
目录
1 大数据的发展及相关技术 2 电力行业大数据应用分析 3 彩讯电力行业大数据解决方案
大数据对电力行业价值
大数据推动电力行业的变革
电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。电力大数据不仅仅是技 术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一 代智能化电力系统在大数据时代下价值形态的跃升。
价值Value
价值密度低，单条数据无价值,无用数据多,综合价值大 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、统计建模、人工智能）
速度Velocity
处理速度快， 要求系统在短时间内做出响应 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效
大数据处理挑战
核心主线
重塑电力核心价值
转变电力发展方式
重塑电力核心价值
中国电力工业长期秉承“以计划为驱动、以电力生产为中心”的价值观念，重视企业价值和客户价值的实现，
却在一定程度上忽视了社会效益，缺乏双向互动，导致电力供需的单方向传递，使得社会资源对电力工业的反馈促进很难实 现。电力大数据通过对市场个性化需求和企业自身良性发展的挖掘和满足，重塑中国电力工业核心价值，驱动电力企业从“
电力数据价值
基于大数据的电力行业优化 - 对内：优化管控模
式
利控例器大术监“统段化整理大选司公压风使案充到外踪一史和性另挖因电提用制如，数手控智”消。合的数址司、速用，分最，图V方销用地一掘素需供大的，动据段、能，除电数E据、发空等超来利大、V面量户优方用所求多数步通态分，应在有部力据SET技建电气数级支用发卫，数市化面户隐预维据伐过监析采急线效分行，SATS术设机湿据计持风电星通据场营，用藏测、技，为控挖用指监改运业实A计S有的数度以算其速量图过，细销通电的模直术促电设掘集挥控变维生现划还助决据、及机风、，像使进分组过与关型观加进力施理成、运故产电将将于策结空公及力风并、用行，织与电联，、速智基运念了检可维障、力全添电。合气司大发力减地电用使，外价关进全电能础行和在修视方，运发球加力例，沉历数电、少理力户管改界、系而面力电设状可线查化式实营电天全企如利淀史据机气能数企用理善数天，为、况企网施视检询调现、气球源业丹用物数模的流据业电者服据气完各深，业的布化测等度从运销输系森成基麦气、据型选等以庞行能务的、善级入并智发置展、功管萌维售电统林本础风温风，解址因及大为有模交交用决的基能展传现视能理芽智、、数砍。设电、向通决，素月的分针式换通户策预于化。感技频的系阶能管变据伐此施公气、过方以达相历析对。，等用者测与追 电与数、潮据配汐，电数主、据动用，把电以握、便市调更场度好动全地态环支。节持数基据础共建 享设，的以决用策电。需求预测为驱动优化资源 配置，协调电力生产、运维、销售的 管理，提升生产效率和资源利用率。 此外，电力企业各部门数据的集成将 优化内部信息沟通，使财务、人事等 工作的开展更顺畅，有助于企业实行 精细化运营管理，提高集团管控水平 。
Hadoop技术体系
计算
• 计算任务的多节点 分配、计算
• 计算与存储一体， 计算向数据靠拢
• 任务之间无依赖， 系统高延展性
存储
分布式文件存储
• 分布式，多副本， 高容错性，数据安 全
• 可采用普通PC，硬 件成本低
• 系统高扩展性，动 态增加存储节点
• 高传输率数据访问
大数据核心技术 - Storm
与传统数据处理需求的区别
传统数据库模式的数据处理模式，已经无法应对大数据带来的挑战，需要新技术、新思维、新 策略，使数据处理性能更高，成本更低、模式更丰富！
大数据核心技术 - Hadoop
基于Hadoop 实现大数据的分布式存储和分布 分布式并行计算框架 式并行计算，实现高效的TB和PB级数据处理。
储存 Storing
每天几百 GB、 几 TB 的资料，且持续成长中
计算 Processing
பைடு நூலகம்
在接收数据的同时做必要的前置处理， 并区分数据处理的优先等级，离线计算与实时计算相结合
管理 Managing
如何有效的避免因硬件毁坏所导致的资料损毁和数据丢失
分析 Analyzin
g
如何从中挖掘出数据隐藏的模式和价值