大数据技术及应用培训ppt课件
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4
大数据时代
国家电网大数据案例，基于PMS(电力生产系统)系统 数据，构建基于词云图分析的文本信息挖掘及可视化实现 对电网设备的家族缺陷信息的快速分析。
5
大数据时代
信息查询: 设备类型 断路器
设备型号 LW25-126
高压开关设备缺陷统计分析结果
一次系统－其他 二次系统－其他
厂家
设备类型
设备型号
大数据技术及应用
1Байду номын сангаас
目录
1 大数据时代 2 大数据技术 3 大数据应用
2
大数据时代
大数据时代
生活、工作与思维的大变革
Living, working and thinking big changes
一场生活、工作与思维的大变革
大数据开启了一次重大的时代转型。就想望远镜让我们能够感受宇宙，显微 镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式， 成为新发明和新服务的源泉，而更多的改变正蓄势待发……
投运日期
额定电压
西安西开高压电器股份 有限公司
断路器
河南平顶山高压电器股 份有限公司
断路器
查 询
西安西电高压开关有限 责任公司
……
断路器 ……
LW25-126 lw25-126 Lw25-126
…….
2007-12-1 2008-3-1 2008-3-20
…….
252KV 252KV 252KV
…….
12
大数据时代
大数据时代的商业变革
“数据化”-一切皆可“量化”
大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息 技术变革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而 不是在“I”(信息）上。现在，我们是时候把聚光灯打向“I”，开始关注信 息本身了。
数据，从最不可能的地方提取出来 数据化，不是数字化 量化一切，数据化的核心 当文字变成数据 当方位变成数据 当沟通成为数据 一切事物的数据化
大数据时代的思维变革
“更杂”-满足精确性，包容混杂性
执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是有框 架且能适用于传统数据库的。如果不能接受混乱，剩下95%的非框架数据都 无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。
允许不精确 大数据的简单算法比小数据的复杂算法更有效 纷繁的数据越多越好 混杂性，不是竭力避免，而是标准途径 新的数据库设计的诞生
大数据时代的思维变革
“更多”-不是随机样本，而是全体数据
当数据处理技术已经发生翻天覆地的变化时，在大数据时代进行抽样分 析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据， “样本＝总体”。
让数据“发声” 小数据时代的随机采样，最少的数据获得最多的信息 全数据模式，样本＝总体
10
大数据时代
7
大数据时代
通过数据挖掘，使工作人员从每天长达数千小时视频违 章信息筛选工作中脱离出来，将原来需要数十小时的视频审核 工作，缩短为几个小时完成，大大提高了工作效率。且可以有 效避免人为舞弊的情况。
8
大数据时代
• 数据：2014年10月纳税人A申报营业额为10万。 • 信息： 2014年10月纳税人A申报营业额比去年同
大数据价值的3大构成 大数据掌控公司 大数据技术公司 大数据思维公司和个人 全新的数据中间商 专家的消亡与数据科学家的崛起 大数据，决定企业的竞争力
15
大数据时代
大数据时代的管理变革
“风险”-让数据主宰一切的隐忧
我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯， 谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我 们心中的“TA”，还有我们的社交关系网。
•大数据，变革生活 •大数据，变革商业 •大数据，变革思维 •大数据，开启重大的时代转型 •预测是大数据的核心
3
大数据时代
第一个故事，百货公司知道女孩怀孕 第二个故事，搜索热词里的商机 第三个故事，阿里知道谁需要贷款 第四个故事，中移动挽留流失客户 第五个故事：每天，我们借助大数据完成微信上的互动 第六个故事：大数据解救每一位“路盲” 第七个故事：大数据协助大闸蟹养殖
14
大数据时代
大数据时代的商业变革
“角色定位”-数据、技术与思维的三足鼎立
微软以1.1亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以 7亿美元的价格购买了给Farecast提供数据的ITA Software公司。如今，我们 正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分价值 还是必须从数据本身来挖掘。
13
大数据时代
大数据时代的商业变革
“价值”-“取之不尽，用之不竭”的数据创新
数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。 它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝 大部分都隐藏在表面之下。
数据创新1：数据的再利用 数据创新2：重组数据 数据创新3：可扩展数据 数据创新4：数据的折旧值 数据创新5：数据废气 数据创新6：开放数据 给数据估值
期减少了25 %。 • 知识：原因是纳税人A在华东地区的渠道销售不利，
或其产品B进入了衰退期，还是公司整体营销活动 落后，竞争者强力促销导致？或是其它原因。针对 这一问题公司应对的策略是什么？ • 智慧：应对的行动方案可能有多种，但(战略)选择 哪个靠智慧。行动则又会产生新的交易数据。
9
大数据时代
11
大数据时代
大数据时代的思维变革
“更好”-不是因果关系，而是相关关系
知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们 不必非得知道现象背后的原因，而是要让数据自己“发声”。
关联物，预测的关键 “是什么”，而不是“为什么” 改变，从操作方式开始 大数据，改变人类探索世界的方法
数据挖掘分析
额定电流
……
630A
……
630A
…...
630A
......
……
……
流程应用
详细记录信息
检修计划流程
大修技改流程
厂家设计改进 流程
物资采购流程
供应商评估流 程
6
6
大数据时代 西安公交集团大数据案例 公交司机驾驶行为直接影响到乘客的安全，如全国公交一 样，西安公交集团在每辆公交车上安装了监控设备，每日审核 监控视频，对开车过程中出现违章行为的司机进行罚款处理， 但由于公交车多，视频数量极大，这给分析处理视频的工作人 员带来了很大的工作压力，因此公交集团希望能够建立一种快 速视频识别分析手段，以缓解当前这种情况。
大数据时代
国家电网大数据案例，基于PMS(电力生产系统)系统 数据，构建基于词云图分析的文本信息挖掘及可视化实现 对电网设备的家族缺陷信息的快速分析。
5
大数据时代
信息查询: 设备类型 断路器
设备型号 LW25-126
高压开关设备缺陷统计分析结果
一次系统－其他 二次系统－其他
厂家
设备类型
设备型号
大数据技术及应用
1Байду номын сангаас
目录
1 大数据时代 2 大数据技术 3 大数据应用
2
大数据时代
大数据时代
生活、工作与思维的大变革
Living, working and thinking big changes
一场生活、工作与思维的大变革
大数据开启了一次重大的时代转型。就想望远镜让我们能够感受宇宙，显微 镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式， 成为新发明和新服务的源泉，而更多的改变正蓄势待发……
投运日期
额定电压
西安西开高压电器股份 有限公司
断路器
河南平顶山高压电器股 份有限公司
断路器
查 询
西安西电高压开关有限 责任公司
……
断路器 ……
LW25-126 lw25-126 Lw25-126
…….
2007-12-1 2008-3-1 2008-3-20
…….
252KV 252KV 252KV
…….
12
大数据时代
大数据时代的商业变革
“数据化”-一切皆可“量化”
大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息 技术变革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而 不是在“I”(信息）上。现在，我们是时候把聚光灯打向“I”，开始关注信 息本身了。
数据，从最不可能的地方提取出来 数据化，不是数字化 量化一切，数据化的核心 当文字变成数据 当方位变成数据 当沟通成为数据 一切事物的数据化
大数据时代的思维变革
“更杂”-满足精确性，包容混杂性
执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是有框 架且能适用于传统数据库的。如果不能接受混乱，剩下95%的非框架数据都 无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。
允许不精确 大数据的简单算法比小数据的复杂算法更有效 纷繁的数据越多越好 混杂性，不是竭力避免，而是标准途径 新的数据库设计的诞生
大数据时代的思维变革
“更多”-不是随机样本，而是全体数据
当数据处理技术已经发生翻天覆地的变化时，在大数据时代进行抽样分 析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据， “样本＝总体”。
让数据“发声” 小数据时代的随机采样，最少的数据获得最多的信息 全数据模式，样本＝总体
10
大数据时代
7
大数据时代
通过数据挖掘，使工作人员从每天长达数千小时视频违 章信息筛选工作中脱离出来，将原来需要数十小时的视频审核 工作，缩短为几个小时完成，大大提高了工作效率。且可以有 效避免人为舞弊的情况。
8
大数据时代
• 数据：2014年10月纳税人A申报营业额为10万。 • 信息： 2014年10月纳税人A申报营业额比去年同
大数据价值的3大构成 大数据掌控公司 大数据技术公司 大数据思维公司和个人 全新的数据中间商 专家的消亡与数据科学家的崛起 大数据，决定企业的竞争力
15
大数据时代
大数据时代的管理变革
“风险”-让数据主宰一切的隐忧
我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯， 谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我 们心中的“TA”，还有我们的社交关系网。
•大数据，变革生活 •大数据，变革商业 •大数据，变革思维 •大数据，开启重大的时代转型 •预测是大数据的核心
3
大数据时代
第一个故事，百货公司知道女孩怀孕 第二个故事，搜索热词里的商机 第三个故事，阿里知道谁需要贷款 第四个故事，中移动挽留流失客户 第五个故事：每天，我们借助大数据完成微信上的互动 第六个故事：大数据解救每一位“路盲” 第七个故事：大数据协助大闸蟹养殖
14
大数据时代
大数据时代的商业变革
“角色定位”-数据、技术与思维的三足鼎立
微软以1.1亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以 7亿美元的价格购买了给Farecast提供数据的ITA Software公司。如今，我们 正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分价值 还是必须从数据本身来挖掘。
13
大数据时代
大数据时代的商业变革
“价值”-“取之不尽，用之不竭”的数据创新
数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。 它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝 大部分都隐藏在表面之下。
数据创新1：数据的再利用 数据创新2：重组数据 数据创新3：可扩展数据 数据创新4：数据的折旧值 数据创新5：数据废气 数据创新6：开放数据 给数据估值
期减少了25 %。 • 知识：原因是纳税人A在华东地区的渠道销售不利，
或其产品B进入了衰退期，还是公司整体营销活动 落后，竞争者强力促销导致？或是其它原因。针对 这一问题公司应对的策略是什么？ • 智慧：应对的行动方案可能有多种，但(战略)选择 哪个靠智慧。行动则又会产生新的交易数据。
9
大数据时代
11
大数据时代
大数据时代的思维变革
“更好”-不是因果关系，而是相关关系
知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们 不必非得知道现象背后的原因，而是要让数据自己“发声”。
关联物，预测的关键 “是什么”，而不是“为什么” 改变，从操作方式开始 大数据，改变人类探索世界的方法
数据挖掘分析
额定电流
……
630A
……
630A
…...
630A
......
……
……
流程应用
详细记录信息
检修计划流程
大修技改流程
厂家设计改进 流程
物资采购流程
供应商评估流 程
6
6
大数据时代 西安公交集团大数据案例 公交司机驾驶行为直接影响到乘客的安全，如全国公交一 样，西安公交集团在每辆公交车上安装了监控设备，每日审核 监控视频，对开车过程中出现违章行为的司机进行罚款处理， 但由于公交车多，视频数量极大，这给分析处理视频的工作人 员带来了很大的工作压力，因此公交集团希望能够建立一种快 速视频识别分析手段，以缓解当前这种情况。