大数据时代的地震勘探软件平台

8
π-Frame 1.0主要功能 简单便捷的系统主控界面
p项目管理 p用户管理 p数据管理 p资源管理 p模块管理 p作业管理 p日志管理 p交互模块
9
π-Frame 1.0主要功能 高效易用的海量数据管理
数据导航树与属性
数据历史管理
10
π-Frame 1.0主要功能 高效易用的海量数据管理
实时交互分析与校验预览于一体的地震数据导入
观测系统数据加载
11
π-Frame 1.0主要功能 可视化批处理作业流程管理：批处理作业流程编辑器
模块选择区
流程编辑区
帮助区
模块参数编辑区
12
π-Frame 1.0主要功能 可视化批处理作业流程管理：支持多种复杂类型作业流
多分支（单进多出）作业流
多分支合并作业流
多分支混合类型作业流
13
π-Frame 1.0主要功能 全程实时化作业监控管理
68个节点、每个节点4块硬盘的测试系统配置，测试获得了 35GB/s即约2TB/m的I/O性能，约3~5GB/s即200+GB/m的地震 数据加载性能、常规地震批处理作业吞吐性能。
■全并行化批处理机制带来的大规模并行计算线性扩展能力
融合并行数据I/O和并行计算、数据划分与数据备份、计算任务 容错等特性 支持作业并行、节点并行、Map级数据并行、多线程并行、GPU 异构并行等多级并行模式
记录长度：8s 采用间隔：1ms 总道数：100940800
运行时间：13m12s
运行时间：20m54s
245GB/min
155GB/min
37
π-Frame平台技术特色 特色2：速度快
多种类型的作业运行性能
38
π-Frame平台技术特色 特色2：速度快
地震叠前偏移模块的性能优化：KPSTM
70.5小时
33
π-Frame平台技术特色
特色2：速度快
高性能的海量地震数据存取访问
~1500GB/min
34
π-Frame平台技术特色
特色2：速度快
高性能的海量地震数据存取访问：快速数据加载
数据
运行环境 使用情况 应用场景 运行时间 输入大小 运行速率
S1JX3.1TB 300节点 （40个文件）
40个map 一次导入 48m20s 3.1TB
5
21:49:44
21:51:05
21:52:50 21:54:25 21:56:10 21:57:50 3154
22:42:18
测试作业：2.1TB（INPUT+KPSTM+OUTPUT）
46
π-Frame平台技术特色
特色3：智能化
全生命周期的临时空间管理
p 两种管理机制
u本地临时空间 uHDFS临时空间
节点2 故障时间
14:52:28 15:19:36 16:10:22 17:12:10
节点3 故障时间
15:50:16 16:11:02 17:12:30
节点4 故障时间
16:11:42 17:12:50
节点5 故障时间
17:13:10
运行时间(s)
1133 1206 1306 1316 1334
测试作业：2.1TB（INPUT—BPFILTER—OUTPUT）
39
π-Frame平台技术特色 特色2：速度快
地震叠前偏移模块的资源消耗优化：KPSDM旅行时表缓存机制
1.42TB/min
2TB/min
40
π-Frame平台技术特色
特色3：智能化
■架构智能
架构层容错性与鲁棒性，支持节点故障、磁盘故障、作业故障自动恢复
■操作智能
上下文敏感的操作帮助；批处理作业参数自动校验，作业流程完整性、 合法性自动检查；资源预警与作业错误报警。
中国石化石油物探技术研究院
2016年5月24日
提纲 n π-Frame平台概况 n π-Frame1.0主要功能 n π-Frame平台技术特色 n π-Frame平台未来发展
2
π-Frame平台概况 π-Frame地震软件平台
■由中国石化组织研发，面向大数据时代油气地震勘探技术 发展与应用需求的新一代地震数据处理解释软件平台 ■是国际石油工业与地球物理业界第一个基于Hadoop大数据 技术体系构建的大型地震勘探软件平台
π-Frame
3
π-Frame平台概况 项目背景
■海量地震数据管理和超大规模并行计算对油气勘探软件架构提出 了新挑战，对地球物理勘探软件平台提出了更新换代的要求。 ■基于强大的需求与信息技术发展带来的机遇，中国石化组织研发 了面向未来业务需求的新一代地震数据处理解释软件平台。
MEMS检波器 单点高密度地震 宽方位采集 多源地震 多分量 微地震实时监控 高性能计算技术发展：多核CPU、GPU 分布式存储 大数据技术（Hadoop）
4
π-Frame平台概况 研发历程
2015年
推出π-Frame 1.0地震处理系统
2014年
完成平台测试，完善平台与处理功能
2013年
开始地震数据处理（批处理与交互）功能开发
2012年
完成关键技术验证选型与基础平台关键功能开发
2011年 2010年
开展Hadoop技术验证，完成软件平台架构设计 12月正式启动π-Frame项目
31
π-Frame平台技术特色 特色1：规模大
海量地震数据管理支撑：100+PB 大规模并行计算资源支撑：1000+节点（数万~数十万核） 大规模用户、项目、作业支撑：4000+ 单作业处理数据规模大：18TB数据的分选作业 大规模功能扩充支撑
32
π-Frame平台技术特色
特色2：速度快
■基于分布式文件系统的并行I/O带来的高吞吐能力
三维叠后数据体浏览
三维叠前道集数据浏览
初至拾取三维显示
24
π-Frame 1.0主要功能 地震资料批处理业务功能
π-Frame V1.0已支持完整的常规地震数据处理流程，目前已有 批处理模块100多个，交互应用模块近30个。新的模块在不断 集成和增加中。
25
π-Frame平台技术特色 π-Frame定位：大数据时代的新一代地震勘探软件平台
中最普遍的并行计算模式
数据注册
多级并行：节点级，Map级，
线程级，GPU核级
注册历史
29
π-Frame平台技术特色 基于Hadoop/MapReduce的地震数据处理并行计算框架
30
π-Frame平台技术特色 π-Frame平台的四大特色
规模大：计算机部署规模，数据管理规模，应用支撑规模 速度快：分布式输入输出，并行计算，全并行化 开放性：开源技术，开放平台，免费在线开发服务 智能化：架构层、系统管理层、应用层、界面层
5
π-Frame平台概况 π-Frame 1.0发布：SEG年会，美国新奥尔良，2015年10月19日
6
π-Frame平台概况 π-Frame三大组成部分
7
π-Frame 1.0主要功能
π-Frame1.0地震处理系统的主要功能组成
1. 简单、便捷的系统主控界面 2. 高效、易用的海量数据管理 3. 可视化批处理作业流程管理 4. 全程实时化的作业监控管理 5. 面向应用与用户的资源管理与服务 6. 地震数据浏览与分析 7. 工区底图与平面属性分析 8. 三维可视化应用 9. 速度分析与建模 10.地震资料批处理业务功能
65.67 GB/m
S1JX3.1TB 472节点 （40个文件）
40个map 一次导入 31m12s 3.1TB
101.7 GB/m
S1JX3.1TB YBD 2TB
JSB 3TB （86个文件）
472节点
86个map 并发导入 41m17s 8.1TB
200.93 GB/m
商业软件：300GB数据加载耗时115分钟（2.6GB/m不能一次加载，人工并行）
故障 节点数 1
2
3
4
5
作业起始结束时间
19:30:2619:49:19 14:50:4015:10:46 15:42:2316:04:10 16:08:5316:30:50 17:10:3917:32:53
节点1 故障时间 19:31:53
14:51:28
15:18:56
16:09:46
17:11:50
35
π-Frame平台技术特色
特色2：速度快
IO密集型作业：分选作业
p商业软件分选作业 p数据量：200GB p计算节点：单节点 p运行时间：138分钟 p效率：1.4GB/min
pπ-Frame分选作业 p数据量：3.1TB p计算节点：472个 p运行时间：29分04秒 p效率：106GB/min
■四大设计理念
面向海量地震数据高效管理：PB级 面向超大规模并行计算：超万核级 面向地震处理解释一体化 面向开放共享与服务
■关键技来自百度文库选型
基于先进的大数据技术架构Hadoop
26
π-Frame平台技术特色 Hadoop大数据技术体系支撑下的π-Frame基础技术架构
27
π-Frame平台技术特色 基于Hadoop/HDFS的海量地震数据高效管理技术
■管理智能
资源调度、执行预测、节点动态增删、运行监控等智能化的系统监控及 资源调度管理模式，大大提高了平台的易用性、便捷性和资源利用率。
■业务智能
道编辑、初至拾取与分析、速度分析等自动化数据处理与分析技术。
41
π-Frame平台技术特色 特色3：智能化
■架构智能：架构层容错性与鲁棒性
支持节点故障、磁盘故障、作业任务故障的自动发现、迁移与恢复
42
π-Frame平台技术特色 特色3：智能化
数据管理的安全性和容错性：支持节点动态增删
43
π-Frame平台技术特色 特色3：智能化
数据管理的安全性和容错性：节点故障监测与自动处理
发现和恢复时间2分钟以内， 与磁盘容量和网络带宽相关
44
π-Frame平台技术特色
特色3：智能化
作业管理的安全性和容错性：节点故障条件下作业的正常运行
p 全生命周期管理
u申请—使用—销毁 u临时空间的预判机制 u自动清除机制 u作业崩溃或终止时，
自动删除临时数据和 输出数据
47
π-Frame平台技术特色
特色4：开放性
海量数据管理能力：100PB级以上 数据高吞吐能力、高可扩展性、高容错性、高性价比
28
π-Frame平台技术特色 基于Hadoop/MapReduce的地震数据处理并行计算框架
数据剖分
全
Map任务 Map任务
Map任务
Map任务
并
行
处
数据规约
数据规约
数据规约
理
系
统
数据并行是地震数据处理
数据合并或清理
45
π-Frame平台技术特色
特色3：智能化
作业管理的安全性和容错性：节点故障条件下作业的正常运行
故障
作业起始
节点数 —结束时间
节点1 故障时间
节点2
节点3
节点4
节点5 运行时间(s)
故障时间 故障时间 故障时间 故障时间
0
15:27:03
16:02:38
2135
1
12:36:36
12:38:00
作业监控与管理
作业运行全程实时监控及信息记录
14
π-Frame 1.0主要功能 全程实时化作业监控管理
作业运行信息监控与日志
15
π-Frame 1.0主要功能 面向应用与用户的资源管理服务
集群与单节点系统资源监控
16
π-Frame 1.0主要功能
面向应用与用户的资源管理服务
队 列 管 理
存 储 配 额 管 理
工区底图（炮检点分布）
平面属性显示（覆盖次数）
平面属性显示（检波点高程与静校正量）
地震切片显示
21
π-Frame 1.0主要功能 速度分析与建模
速度分析
网格速度建模
沿层速度建模 22
π-Frame 1.0主要功能 速度分析与建模：近地表速度模型反演与编辑
近地表速度反演与模型编辑 23
π-Frame 1.0主要功能 三维可视化交互应用
13:23:38
2822
2
13:36:36
13:37:40
13:39:15
14:24:14
2857
3
11:34:28
11:35:25
11:37:10 11:38:45
12:24:18
2990
4
14:29:02
14:30:10
14:31:54 14:33:40 14:35:33
15:22:18
3196
17
π-Frame 1.0主要功能 面向应用与用户的资源管理服务：作业队列与资源调度
队列优先级控制与资源抢占和退出
18
π-Frame 1.0主要功能 地震数据浏览与分析
19
π-Frame 1.0主要功能 地震数据浏览与分析
视速度分析
频谱分析
交互地震道编辑
交互初至拾取
初至自动拾取 20
π-Frame 1.0主要功能 工区底图与平面属性分析
作业数 数据量 作业类型 运行时间 运行效率(GB/m) 14个 42TB SORT 2h28m23s 289.62
pπ-Frame分选单作业测试 最大数据量：18TB
66节点：SORT作业
π-Frame：18TB，9小时
商业软件：1TB，55小时
36
π-Frame平台技术特色 特色2：速度快
66个节点：3.2TB数据