大数据及其在石油行业的应用案例
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
9
大数据时代
➢ 大数据将引发一系列变革 在大数据之前，互联网企业和传统企业基本上平行的发展，鲜有
交集。而大数据是两者发展的交集，当传统企业利用大数据，嫁接互 联网基因，那么他将获得新的发展动力，也将引发消费模式、制造模 式、管理模式的巨大变革，对政府、对企业、对个人影响深远！ ➢ 大数据是IT产业又一次颠覆性的技术变革
传统BI GBTB 结构化数据 数据量稳定，增长不快 高密度
大数据
TBPB以上
结构化、半结构化、多维、 音视频数据
持续实时产生数据，要求即 时处理
低密度
理念
模式
方法
8
大数据的价值
➢ 大数据应用可以提升商业价值 ➢ 大数据可以强化管理乃至管理自动化
数字化、智能化
➢ “数据驱动型决策”模式可以促进生产力和预测能力的提升
太字节
拍字节 艾字节 泽字节 尧字节
大小 1或0
8位 1024字节，或 个字节 1024字节，或 个字节 1024字节，或 个字节
含意和例子
计算机用二进制存储和处理数据，一位是指一个二进制数位；0 或1，这是存储信息的逻辑单元
这是计算机存储信息的基本物理单位，存储一个英文字母在计算 机上，其大小就是一个字节
• 多样(Varity) • 价值(Value)
阿里系的概念——3大特 征
• 在线 • 实时 • 全貌
舍恩伯格的概念——思维定义+3大特征
• 全量胜于样本 • 混杂胜于精确 • 相关重于因果
科学院的概念——5大特征
• 活性 • 颗粒度
• 维度 • 时空 • 情绪
7
表象
大数据和传统BI的区别
维度 数据量 多样性 速度 价值
大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。 对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式 都将产生巨大的影响。
10
大数据时代
➢ 数据成为企业的核心资产 大数据时代企业的疆界变得模糊，数据成为核心的资产，并将深
刻影响企业的业务模式，甚至重构企业文化和组织。 ➢ 企业将面临一系列挑战
大数据及其在石油行业的应用案例
目录
一、大数据介绍 二、大数据在石油行业的应用
1. 大数据的内涵 2. 大数据时代 3. 大数据的技术体系 4. 大数据的发展趋势及挑战
1
大数据的内涵
➢近些年，由于计算机、物联网等信息化技术以及传感技术的发展，现代 生活中出现了“一切皆可数据化”的思维，数据的产生方式由“人机” 、“机物”的二元世界向着融合社会资源、信息系统以及物理资源的三 元世界转变，数据规模呈膨胀式发展，信息技术快速发展、数据存储和 处理成本大幅下降，催生了大数据时代的来临。
➢ 目前，我们已进入数据的ZB时代。国际数据公 司（IDC）称，全球数据总量2015年为8.6ZB左 右，2016年将在12ZB左右，全球数据的增长速 度在每年40%左右，预计2020年将达40ZB。
4
大数据的内涵
标识 Bit Byte KB MB GB
TB
PB EB ZB YB
单位 位 字节 千字节 兆字节 吉字节
➢ 规模——大数据有多大？
✓ 单一数据集的规模范围从几十TB到数PB不 等。
✓ 数据集合的大小超出了传统数据库软件 （ 比 如 Oracle 、 MySQL 等 ） 的 采 集 、 存 储、管理及分析等能力。
✓ 符合大数据标准的数据集大小是变化的， 会随着时间推移、技术进步而增长。
✓ 不同领域符合大数据标准的数据集大小会 存在差别。
美国179家大型公司研究表明基于数据分析的决策实现的生产率增长，要比任何其他因 素高5%到6%。能通过流程优化提高盈利能力，通过基于购买行为的预测分析提高销量 ，或者通过预测市场环境变化来调节。
➢ 战略性利用大数据可以提升企业创新力和决策能力
能够利用大数据的企业，创新能力、业务灵活性和利润都将得到极大的提高。 增加企业透明度的能力 可发现新需求，揭示多样性，改善绩效 使产品与服务精确满足客户新需求 用自动生成算法取代或支持人为决策 开发新业务模型、产品和服务
1024字节，或 个字节 相当于13亿中国人人手一本500页的书加起来的信息量
1024字节，或 个字节 截至2010年，人类拥有的信息总量大概是1.2泽字节 1024字节，或 个字节 超出想象，难以描述
5
正确认识大数据
6
大数据是一个宽泛的概念，见仁见智
流传最广的概念——4V模型
• 大量(Volume) • 高速(Velocity)
、YARN资源管理系统、SPARK大数据处理引擎wenku.baidu.comStorm大数据分布式实时计算 系统以及R语言等数据分析应用技术等。
序号 1
2
类别 基础设施技术
数据处理管理技术
主要技术
基于Hadoop的大数据基础设施平台，具体包括：分布式文 件系统(HDFS)、分布式计算框架(MapReduce)、非关系型数 据库(NoSQL)、列式存储数据库(Hbase)、数据仓库工具(Hiv e)等。 资源管理系统(YARN)、大数据处理引擎(Spark)、大数据分 布式实时计算系统（Storm）、元数据管理(Hcatalog)、数 据提取转换和加载(Sqoop)、NoSQL数据库管理系统、列存 储数据库管理系统等。
2
一、大数据的内涵
大数据的主要特征可以概况为4V+1C，分别代表了Variety（多样化）、Volume（ 海量化）、Velocity（快速性）、Value（价值化）以及Complexity（复杂性）。
数据体量巨大
处理速度快
Complexity
复杂异构数据
数据类型繁多
数据潜在价值高 3
3
大数据的内涵
企业在大数据时代将面临文化、战略、组织、流程、信息化、公 共公关系、人才培养方方面面的挑战，同时也迎来重大的转型机遇和 飞跃契机。 ➢ 信息部门将跃升为决策部门之一
企业信息化部门将从一个辅助角色，一跃而为企业决策的力量之 一，一切都将以精确的大数据分析为导向。
11
大数据的核心技术
➢ 大数据技术是继云计算之后全球最新兴起的一项重大IT技术。 ➢大数据的核心技术包括基于Hadoop的大数据基础平台、HDFS分布式文件系统
一页纸上的文字大概是5千字节 一个普通MP3格式的流行歌曲大概是4兆字节 一部电影大概是1吉字节
1024字节，或 个字节
美国国会图书馆所有登记的印刷版书本的信息量为15太字节，截 至2011年年底，其网络备份的数据量为280太字节，这个数据还 在以每个月5太的速度递增
1024字节，或 个字节
美国邮政局一年处理的信件大约为5拍，谷歌每小时处理的数据 为1拍
大数据时代
➢ 大数据将引发一系列变革 在大数据之前，互联网企业和传统企业基本上平行的发展，鲜有
交集。而大数据是两者发展的交集，当传统企业利用大数据，嫁接互 联网基因，那么他将获得新的发展动力，也将引发消费模式、制造模 式、管理模式的巨大变革，对政府、对企业、对个人影响深远！ ➢ 大数据是IT产业又一次颠覆性的技术变革
传统BI GBTB 结构化数据 数据量稳定，增长不快 高密度
大数据
TBPB以上
结构化、半结构化、多维、 音视频数据
持续实时产生数据，要求即 时处理
低密度
理念
模式
方法
8
大数据的价值
➢ 大数据应用可以提升商业价值 ➢ 大数据可以强化管理乃至管理自动化
数字化、智能化
➢ “数据驱动型决策”模式可以促进生产力和预测能力的提升
太字节
拍字节 艾字节 泽字节 尧字节
大小 1或0
8位 1024字节，或 个字节 1024字节，或 个字节 1024字节，或 个字节
含意和例子
计算机用二进制存储和处理数据，一位是指一个二进制数位；0 或1，这是存储信息的逻辑单元
这是计算机存储信息的基本物理单位，存储一个英文字母在计算 机上，其大小就是一个字节
• 多样(Varity) • 价值(Value)
阿里系的概念——3大特 征
• 在线 • 实时 • 全貌
舍恩伯格的概念——思维定义+3大特征
• 全量胜于样本 • 混杂胜于精确 • 相关重于因果
科学院的概念——5大特征
• 活性 • 颗粒度
• 维度 • 时空 • 情绪
7
表象
大数据和传统BI的区别
维度 数据量 多样性 速度 价值
大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。 对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式 都将产生巨大的影响。
10
大数据时代
➢ 数据成为企业的核心资产 大数据时代企业的疆界变得模糊，数据成为核心的资产，并将深
刻影响企业的业务模式，甚至重构企业文化和组织。 ➢ 企业将面临一系列挑战
大数据及其在石油行业的应用案例
目录
一、大数据介绍 二、大数据在石油行业的应用
1. 大数据的内涵 2. 大数据时代 3. 大数据的技术体系 4. 大数据的发展趋势及挑战
1
大数据的内涵
➢近些年，由于计算机、物联网等信息化技术以及传感技术的发展，现代 生活中出现了“一切皆可数据化”的思维，数据的产生方式由“人机” 、“机物”的二元世界向着融合社会资源、信息系统以及物理资源的三 元世界转变，数据规模呈膨胀式发展，信息技术快速发展、数据存储和 处理成本大幅下降，催生了大数据时代的来临。
➢ 目前，我们已进入数据的ZB时代。国际数据公 司（IDC）称，全球数据总量2015年为8.6ZB左 右，2016年将在12ZB左右，全球数据的增长速 度在每年40%左右，预计2020年将达40ZB。
4
大数据的内涵
标识 Bit Byte KB MB GB
TB
PB EB ZB YB
单位 位 字节 千字节 兆字节 吉字节
➢ 规模——大数据有多大？
✓ 单一数据集的规模范围从几十TB到数PB不 等。
✓ 数据集合的大小超出了传统数据库软件 （ 比 如 Oracle 、 MySQL 等 ） 的 采 集 、 存 储、管理及分析等能力。
✓ 符合大数据标准的数据集大小是变化的， 会随着时间推移、技术进步而增长。
✓ 不同领域符合大数据标准的数据集大小会 存在差别。
美国179家大型公司研究表明基于数据分析的决策实现的生产率增长，要比任何其他因 素高5%到6%。能通过流程优化提高盈利能力，通过基于购买行为的预测分析提高销量 ，或者通过预测市场环境变化来调节。
➢ 战略性利用大数据可以提升企业创新力和决策能力
能够利用大数据的企业，创新能力、业务灵活性和利润都将得到极大的提高。 增加企业透明度的能力 可发现新需求，揭示多样性，改善绩效 使产品与服务精确满足客户新需求 用自动生成算法取代或支持人为决策 开发新业务模型、产品和服务
1024字节，或 个字节 相当于13亿中国人人手一本500页的书加起来的信息量
1024字节，或 个字节 截至2010年，人类拥有的信息总量大概是1.2泽字节 1024字节，或 个字节 超出想象，难以描述
5
正确认识大数据
6
大数据是一个宽泛的概念，见仁见智
流传最广的概念——4V模型
• 大量(Volume) • 高速(Velocity)
、YARN资源管理系统、SPARK大数据处理引擎wenku.baidu.comStorm大数据分布式实时计算 系统以及R语言等数据分析应用技术等。
序号 1
2
类别 基础设施技术
数据处理管理技术
主要技术
基于Hadoop的大数据基础设施平台，具体包括：分布式文 件系统(HDFS)、分布式计算框架(MapReduce)、非关系型数 据库(NoSQL)、列式存储数据库(Hbase)、数据仓库工具(Hiv e)等。 资源管理系统(YARN)、大数据处理引擎(Spark)、大数据分 布式实时计算系统（Storm）、元数据管理(Hcatalog)、数 据提取转换和加载(Sqoop)、NoSQL数据库管理系统、列存 储数据库管理系统等。
2
一、大数据的内涵
大数据的主要特征可以概况为4V+1C，分别代表了Variety（多样化）、Volume（ 海量化）、Velocity（快速性）、Value（价值化）以及Complexity（复杂性）。
数据体量巨大
处理速度快
Complexity
复杂异构数据
数据类型繁多
数据潜在价值高 3
3
大数据的内涵
企业在大数据时代将面临文化、战略、组织、流程、信息化、公 共公关系、人才培养方方面面的挑战，同时也迎来重大的转型机遇和 飞跃契机。 ➢ 信息部门将跃升为决策部门之一
企业信息化部门将从一个辅助角色，一跃而为企业决策的力量之 一，一切都将以精确的大数据分析为导向。
11
大数据的核心技术
➢ 大数据技术是继云计算之后全球最新兴起的一项重大IT技术。 ➢大数据的核心技术包括基于Hadoop的大数据基础平台、HDFS分布式文件系统
一页纸上的文字大概是5千字节 一个普通MP3格式的流行歌曲大概是4兆字节 一部电影大概是1吉字节
1024字节，或 个字节
美国国会图书馆所有登记的印刷版书本的信息量为15太字节，截 至2011年年底，其网络备份的数据量为280太字节，这个数据还 在以每个月5太的速度递增
1024字节，或 个字节
美国邮政局一年处理的信件大约为5拍，谷歌每小时处理的数据 为1拍