第五讲：大数据应用案例分析-何利文

高性能数据管理
引入Hadoop技术
高性能数据管理
传感器
传感器
RTU
钻井 数据
实时 钻井
井场 聚合器
Exalogic
WITSML 服务 OEP RTD BAM
Exadata
Exalytics
传感器
传感器
MTU/ DCS/ SCADA
OPC/UA, DA, WITS
历史数据
传感器
RTU
生产 数据
实时 生产
– 财务、技术、流程
石油行业面临的挑战（5）
企业数据存储 － 海量数据
• 庞大的数据量
• 新的密集数据类型，诸如 微地震，电磁的以及分布 式温度传感器（DTS） • 半结构化和非结构化数据 的集成 • 保存实时数据 • 缺乏基于标准的工具软件
石油行业的现状问题分析
• 数据采集和分析经常 是人工手动的（信息 孤岛）
过程பைடு நூலகம்控制 数据
ETL
数据集成 适配器
ODI SOA/BPM
数据仓库
ETL
WebCenter
WLS/Coherence
元数据
中间件云平台
智能分析云平台
数据库云平台
非 结 构 化 数 据 源
视频 数据
数据集成 适配器 数据集成 适配器 数据集成 适配器
大数据 Big Data 云平台 云平台
NoSQL HDFS Hadoop w/ Loader Cloudera
ETL 生产指 挥系统 测井生 产管理 系统 运销 管理 系统 地理 … XX统建 信息 系统 系统 工程设 计集成 系统
一体 部署 资源 运维 化 云化 池化 简化
智能油田云平台部署方案
一体化运维管理平台(OEM 12C), RUEI Exalogic Exalogic
集成 适配器
CEP RTD BAM
－
大数据系统平台的总体架构
实时系统
离线应用
开放平台
大数据系统平台的总体架构
大数据系统平台的总体架构
大数据系统平台的总体架构（医疗系统为例）
面向大数据的架构演进 – 挑战与应对
迈向大数据的渐进式演进过程
• • • •
Research Staffs Research Facilities Research Interests Collaboration Opportunity
解决方案
• 采用自学习解决方案，分析实时数据和过往数 据来侦测不寻常的行为模式； • 系统设计足够快，可伸缩并且灵活； • 如有异常事件发生时，将通知操作人员，并给 出合理解释为何处理过程中该状态有些异样； • 通过给操作人员提供正确的知识，以正确的方 式展现，让其拥有坚实的理由采取措施/动作， 并且给工程师提供线索来判定什么导致了该异 样行为。
数据流逻辑图
NoSQL DB Simulator
模拟实时操作数据
Event Processing
大数据在医疗行业的应用 大数据在金融行业的应用 大数据在石化行业的应用 大数据在电商行业的应用
－
大数据系统平台的总体架构
东南亚某国卫生部大数据应用
方案介绍
• • • •
Research Staffs Research Facilities Research Interests Collaboration Opportunity
• 燃料气开/关以控制加热炉内的温度； • 再生气流经加热炉内的管时被加热； • 燃料气开着的时候，再生气必须在流动，否则管 和加热炉将至危险温度； • 燃料也须通过控制器正确控制，维护加热炉内温 度恒定； • 此谓“温度流量串级控制回路”； • 紧急情况发生时，警报器通知SIS(安全仪表系统) 危险状况，SIS将酌情关闭点火器和燃料气。
大数据应用案例分析
何利文 南京邮电大学 helw@njupt.edu.cn
提纲
1 2 3 4 5 6
大数据带来的挑战
大数据系统平台
大数据在医疗行业的应用 大数据在金融行业的应用 大数据在石化行业的应用 大数据在石化行业的应用
－
什么是大数据？
• • • • Research Staffs Research Facilities Research Interests Collaboration Opportunity
– 人员的风险上升 – 公司信誉的风险上升
• 需要减少NPT（非有效时间）
• 无法访问到上下文相关数据 （例如临井）
对关键钻井作业的所有数据 进行记录并发布给进行分析 和决策的大量用户。
石油行业面临的挑战（4）
生产 － 更低成本、更高产出
• 需要用更少的工程师完 成更多的实时决策 • 需持续优化以实现产出 最大化 • 来自公众和监管压力， 要求对油井进行实时监 控 • 运营、作业数据需与静 态数据整合
大数据在医疗行业的应用 大数据在金融行业的应用 大数据在石化行业的应用 大数据在电商行业的应用
－
大数据在金融行业的应用
－从信用卡使用数据中寻找潜在购买理财产品的客户
• 构建客户细分的模型
寻找潜在购买理财产品的客户
客户细分的简介
客户细分模型介绍
客户细分的目标－刻画客户行为
客户细分模型的聚类算法
需要满足这些要求 …
有机制来分析大量的实时数据流… 提供智能的推荐… 建立在全部与资产相关的知识之上 … 使用熟悉的石油技术协作工具… 包含传统的解析、财务和运营数 据…
获得收益 …
针对更多的井做更快的分析… 及时地制定决策… 使用所有可利用的信息资产种类…
充分利用现有在石油专业应用上的 投资…
实现实时数据的整合… 从最具成本效益的供应商处…
分阶段的架构演进路径分析方法
一种面向BI优化的治理实践
– 独立的BI能力中心（BICC）
BICC: Business Intelligence Competence Center
BI能力中心构建的框架
BI能力中心构建框架
– 人员技能与组织模型
提纲
1 2 3 4 5 6
大数据带来的挑战
大数据系统平台
DLIS Loader Big Data 连接器 日志
SQL Loader
工程图文 数据库
内容管 理系统
数字档案馆
ASCII 格式数据
…
社交数据 市场数据
CEP = 复杂事件引擎 BAM = 业务活动监控 RTD = 实时决策
Infiniband连接 40G带宽
应用场景－脱水工艺流程图（PFD）
天然气输入
PRODML 服务
PPDM + 数据模型
第三方 应用
DB企业版 数据挖掘选件 R企业版 空间数据库选件 GoldenGate
Essbase Hyperion OBIEE TimesTen
实时一体机
传感器
PPDM 一体机
分析一体机
•
软硬一体预集成
– 软硬一体，工程化调优
–
全集成系统，完整机柜，插电即 用
高性能数据管理 解决方案
历史数据
PRODML
模拟到数字
过程控制 或 数据采集系统
RTU = 远程控制单元 MTU = 主控制单元 DCS = 分散控制系统
高性能数据管理整体架构
针对上游的高性能数据管理解决方案
传感器
将实现传统解析数据基础上，获取和分析钻井及生产实时数据。
传感器
RTU
钻井 数据
实时 钻井
Exadata Exadata
ODBC连接器
油田数据中心
APDM EPDM ETL
作业区 作业区综 作业区综 综合数 合数据库 合数据库 据库
DB企业版 数据挖掘选件 R企业版 空间数据库选件 GoldenGate
Exalytics Exalytics
Essbase Hyperion OBIEE TimesTen Endeca
• K -Means
信用卡客户细分的流程
信用卡客户细分建模过程
•
日均帐户余额
信用卡客户群特征总览
解决客户流失的一般过程
流失定义的重要性
-“流失动作”与“流失意向”
课间休息十分钟！
提纲
1 2 3 4 5 6
大数据带来的挑战
大数据系统平台
大数据在医疗行业的应用 大数据在金融行业的应用 大数据在石化行业的应用 大数据在电商行业的应用
石油行业面临的挑战（2）
油藏取征 － 不堪重负
• 传统数据量呈指数增长： 地震，录井 • 需要将来自钻井现场的 实时数据代入到地球模 型中去 • 行业需要一个中立的集 成平台来避免供应商锁 定 • 爆炸解析和模拟结果的 管理
石油行业面临的挑战（3）
钻探 － 不再容易
• 需要在更困难，更公共的条 件下进行钻井作业
大数据系统平台的总体架构
大数据决策
• 分析显示登革热爆发情况与天气/位置/洪水情况有密切的相关性 • 针对可能的高发地区制定相关的计划，在应对可能上升的登革热发病及其他传染病 • 和其他政府部门合作，改善洪水防治工作，减少潜在的蚊虫感染机会
提纲
1 2 3 4 5 6
大数据带来的挑战
大数据系统平台
－
石油行业面临的挑战（1）
被数据淹没 － 太多、太快
• 钻头下的操作风险
– 对员工的危险： 在严寒地带，远离海岸 的地方钻井； – 监管者： 想更快获得更多信息。
• 不能分析远程地点正在发生 了什么，并将其分析共享给 井场 • 数据量的激增 • 实时数据被认为不可管理
– 来得太快； – 太多； – 目视进行分析，因为工具不存在。
井场 聚合器
Exalogic
WITSML 服务 CEP RTD BAM
Exadata
Exalytics
传感器
传感器
MTU/ DCS/ SCADA
Protocol TBD
历史数据
传感器
RTU
生产 数据
实时 生产
PRODML 服务
PPDM + 数据模型 第三方 应用
DB企业版 数据挖掘选件 R企业版 空间数据库选件 GoldenGate
原料气空气 预冷机 再生气冷却 脱水 预冷
原料气分离器
再生气罐
分子筛床 燃烧加热炉
后置过滤器
脱水气输出
应用场景－燃烧加热炉管道仪表流 程图
再生气
温度计 流量开关
点火源 燃料气
流量计
警报器
Safety Instrumented System(SIS) 安全仪表系统
控制器 手控开关
应用场景－燃烧加热炉(Fired Heater)
使用广泛接受的标准…
最低的总拥有成本
在一个成熟的，熟悉的IT基础设施 上
从传感器到数据库解决方案的数据流
• 高性能数据管理解决方案将充分使用现有的数 据获取基础设施
传感器
钻井数据
井场 聚合器
WITSML
传感器 传感器 传感器 传感器 传感器
RTU MTU/ DCS/ SCADA RTU
生产数据
Protocol TBD
采集 分析
“实时分析 和决策制定”
执行
• 缺乏对跨运营、技术、 财务方面数据的可视 性，因而难以制定及 时的运营、战术和战 略决策
• 各自独立的系统来支 持分离的资产团队 （不集成） • 有限的实时团队协作 • 批量分析工具不适用 于现代实时数据流
“总资产意识”
“及时执行”
油藏取征
钻井
生产
石油行业需要的解决方案
应用场景－ SIS（安全仪表系统）
• • • • SIS采用警报和再生气流量决定是否紧急关闭； SIS视流量在设定点，因为流量开关被破坏； 因为流量仍在设定点，高温也被视为合理； 当温度到太高的时候，SIS不能足够快地作出 反应，因为温度上升非常快； • 即使作出反应，也似乎太晚无法阻止管破裂， 或失控的火灾。
大数据系统平台的总体架构
大数据带来的挑战
大数据如何推动企业的业务
BI: Business Intelligence
企业业务分析体系
ROI: Return on Investment
提纲
1 2 3 4 5 6
大数据带来的挑战
大数据系统平台
大数据在医疗行业的应用 大数据在金融行业的应用 大数据在石化行业的应用 大数据在电商行业的应用
•
品牌优势
–
CEP = 复杂事件处理 BAM = 业务活动监控 RTD = 实时决策
日志
ASCII 格式数据
高性能数据管理系统支撑智能油田
关键特征
集成就绪、高性能、高可用、云服务、线性扩展、节能环保
经营 管理 数据 生产 管理 数据 结 构 化 数 据 源
(1) 钻井数据 (2) 油气生产数据 (3) 公用工程数据
Essbase Hyperion OBIEE TimesTen
实时一体机
传感器
PPDM 一体机
分析一体机
WITSML
PRODML
DLIS Loader
CEP = 复杂事件处理 BAM = 业务活动监控 RTD = 实时决策 井场信息传递标准 油气生产数据交换标准
SQL Loader
日志
ASCII 格式数据
Infiniband 开源软件商业支持 Hadoop 操作系统商业支持 Linux 硬件商业支持 Sun x86 知名数据库软件＋ Cloudera
大数据 一体机
大数据 一体机
–
•
全套商业支持
– – –
NoSQL HDFS Hadoop w/ Loader Cloudera DLIS Loader SQL Loader