大数据时代的地震勘探软件平台

π-Frame平台的四大特色
规模大：计算机部署规模，数据管理规模，应用支撑规模 速度快：分布式输入输出，并行计算，全并行化 开放性：开源技术，开放平台，免费在线开发服务 智能化：架构层、系统管理层、应用层、界面层
31
π-Frame平台技术特色
特色1：规模大
海量地震数据管理支撑：100+PB 大规模并行计算资源支撑：1000+节点（数万~数十万核） 大规模用户、项目、作业支撑：4000+ 单作业处理数据规模大：18TB数据的分选作业 大规模功能扩充支撑
pπ-Frame分选单作业测试 最大数据量：18TB 66节点：SORT作业
作业数 14个
数据量 作业类型 42TB SORT
运行时间 2h28m23s
运行效率(GB/m) 289.62
π-Frame：18TB，9小时
商业软件：1TB，55小时
36
π-Frame平台技术特色
特色2：速度快
66个节点：3.2TB数据 记录长度：8s 采用间隔：1ms 总道数：100940800
47
π-Frame平台技术特色
近地表速度反演与模型编辑
23
π-Frame 1.0主要功能
三维可视化交互应用
三维叠后数据体浏览
三维叠前道集数据浏览
能
地震资料批处理业务功能
π-Frame V1.0已支持完整的常规地震数据处理流程，目前已有 批处理模块100多个，交互应用模块近30个。新的模块在不断 集成和增加中。
27
π-Frame平台技术特色 基于Hadoop/HDFS的海量地震数据高效管理技术
海量数据管理能力：100PB级以上 数据高吞吐能力、高可扩展性、高容错性、高性价比
28
π-Frame平台技术特色
基于Hadoop/MapReduce的地震数据处理并行计算框架
数据剖分
全 并 行 处 理 系 统
Map任务
特色3：智能化
数据管理的安全性和容错性：节点故障监测与自动处理
发现和恢复时间2分钟以内， 与磁盘容量和网络带宽相关
44
π-Frame平台技术特色
特色3：智能化
作业管理的安全性和容错性：节点故障条件下作业的正常运行
故障 节点数 1 2 3 4 作业起始结束时间 19:30:2619:49:19 14:50:4015:10:46 15:42:2316:04:10 16:08:5316:30:50 17:10:3917:32:53 节点1 故障时间 19:31:53 14:51:28 15:18:56 16:09:46 14:52:28 15:19:36 16:10:22 15:50:16 16:11:02 16:11:42 节点2 故障时间 节点3 故障时间 节点4 故障时间 节点5 故障时间 运行时间(s) 1133 1206 1306 1316
存 储 配 额 管 理
17
π-Frame 1.0主要功能
面向应用与用户的资源管理服务：作业队列与资源调度
队列优先级控制与资源抢占和退出
18
π-Frame 1.0主要功能
地震数据浏览与分析
19
π-Frame 1.0主要功能
地震数据浏览与分析
视速度分析
频谱分析
交互地震道编辑
交互初至拾取
初至自动拾取
运行时间(s)
2135
12:38:00 13:37:40 11:35:25 14:30:10 21:51:05 13:39:15 11:37:10 14:31:54 21:52:50 11:38:45 14:33:40 21:54:25 14:35:33 21:56:10 21:57:50
2822 2857 2990 3196 3154
■业务智能
道编辑、初至拾取与分析、速度分析等自动化数据处理与分析技术。
41
π-Frame平台技术特色
特色3：智能化
■架构智能：架构层容错性与鲁棒性
支持节点故障、磁盘故障、作业任务故障的自动发现、迁移与恢复
42
π-Frame平台技术特色
特色3：智能化
数据管理的安全性和容错性：支持节点动态增删
43
π-Frame平台技术特色
π-Frame1.0地震处理系统的主要功能组成
简单、便捷的系统主控界面 2. 高效、易用的海量数据管理 3. 可视化批处理作业流程管理 4. 全程实时化的作业监控管理 5. 面向应用与用户的资源管理与服务 6. 地震数据浏览与分析 7. 工区底图与平面属性分析 8. 三维可视化应用 9. 速度分析与建模 10.地震资料批处理业务功能
1.42TB/min
2TB/min
40
π-Frame平台技术特色
特色3：智能化
■架构智能
架构层容错性与鲁棒性，支持节点故障、磁盘故障、作业故障自动恢复
■操作智能
上下文敏感的操作帮助；批处理作业参数自动校验，作业流程完整性、 合法性自动检查；资源预警与作业错误报警。
■管理智能
资源调度、执行预测、节点动态增删、运行监控等智能化的系统监控及 资源调度管理模式，大大提高了平台的易用性、便捷性和资源利用率。
运行时间：13m12s
运行时间：20m54s
245GB/min
155GB/min
37
π-Frame平台技术特色
特色2：速度快
多种类型的作业运行性能
38
π-Frame平台技术特色
特色2：速度快
地震叠前偏移模块的性能优化：KPSTM
70.5小时
39
π-Frame平台技术特色
特色2：速度快
地震叠前偏移模块的资源消耗优化：KPSDM旅行时表缓存机制
观测系统数据加载
11
π-Frame 1.0主要功能
可视化批处理作业流程管理：批处理作业流程编辑器
模块选择区
流程编辑区
帮助区
模块参数编辑区
12
π-Frame 1.0主要功能
可视化批处理作业流程管理：支持多种复杂类型作业流
多分支（单进多出）作业流
多分支合并作业流
多分支混合类型作业流
13
π-Frame 1.0主要功能
全程实时化作业监控管理
作业监控与管理
作业运行全程实时监控及信息记录
14
π-Frame 1.0主要功能
全程实时化作业监控管理
作业运行信息监控与日志
15
π-Frame 1.0主要功能
面向应用与用户的资源管理服务
集群与单节点系统资源监控
16
π-Frame 1.0主要功能
面向应用与用户的资源管理服务
队 列 管 理
5
17:11:50
17:12:10
17:12:30
17:12:50
17:13:10
1334
测试作业：2.1TB（INPUT—BPFILTER—OUTPUT）
45
π-Frame平台技术特色
特色3：智能化
作业管理的安全性和容错性：节点故障条件下作业的正常运行
故障 节点数
0 1 2 3 4 5
作业起始 —结束时间 15:27:03 16:02:38 12:36:36 13:23:38 13:36:36 14:24:14 11:34:28 12:24:18 14:29:02 15:22:18 21:49:44 22:42:18 节点1 故障时间 节点2 故障时间 节点3 故障时间 节点4 故障时间 节点5 故障时间
1.
8
π-Frame 1.0主要功能
简单便捷的系统主控界面
p项目管理 p用户管理 p数据管理 p资源管理 p模块管理 p作业管理 p日志管理 p交互模块
9
π-Frame 1.0主要功能
高效易用的海量数据管理
数据导航树与属性
数据历史管理
10
π-Frame 1.0主要功能
高效易用的海量数据管理
实时交互分析与校验预览于一体的地震数据导入
完成关键技术验证选型与基础平台关键功能开发
开展Hadoop技术验证，完成软件平台架构设计 12月正式启动π-Frame项目
5
π-Frame平台概况
π-Frame 1.0发布：SEG年会，美国新奥尔良，2015年10月19日
6
π-Frame平台概况
π-Frame三大组成部分
7
π-Frame 1.0主要功能
46
测试作业：2.1TB（INPUT+KPSTM+OUTPUT）
π-Frame平台技术特色
特色3：智能化
全生命周期的临时空间管理
p 两种管理机制
u本地临时空间
uHDFS临时空间
p 全生命周期管理
u申请—使用—销毁
u临时空间的预判机制 u自动清除机制
u作业崩溃或终止时， 自动删除临时数据和 输出数据
宽方位采集
多源地震
多分量
微地震实时监控
高性能计算技术发展：多核CPU、GPU
分布式存储
大数据技术（Hadoop）
4
π-Frame平台概况
研发历程
2015年
推出π-Frame 1.0地震处理系统
完成平台测试，完善平台与处理功能
2014年
2013年 2012年 2011年 2010年
开始地震数据处理（批处理与交互）功能开发
25
π-Frame平台技术特色
π-Frame定位：大数据时代的新一代地震勘探软件平台
■四大设计理念
面向海量地震数据高效管理：PB级 面向超大规模并行计算：超万核级 面向地震处理解释一体化 面向开放共享与服务
■关键技术选型
基于先进的大数据技术架构Hadoop
26
π-Frame平台技术特色
Hadoop大数据技术体系支撑下的π-Frame基础技术架构
数据 S1JX3.1TB （40个文件） S1JX3.1TB （40个文件） S1JX3.1TB YBD 2TB JSB 3TB （86个文件） 运行环境 300节点 472节点 472节点 使用情况 40个map 40个map 86个map 应用场景 一次导入 一次导入 并发导入 运行时间 输入大小 48m20s 31m12s 41m17s 3.1TB 3.1TB 8.1TB 运行速率 65.67 GB/m 101.7 GB/m 200.93 GB/m
Map任务
Map任务
Map任务
数据规约
数据规约
数据规约
数据并行是地震数据处理 中最普遍的并行计算模式 多级并行：节点级，Map级， 线程级，GPU核级
数据合并或清理
数据注册
注册历史
29
π-Frame平台技术特色
基于Hadoop/MapReduce的地震数据处理并行计算框架
30
π-Frame平台技术特色
中国石化石油物探技术研究院
2016年5月24日
提纲
n n n n
π-Frame平台概况 π-Frame1.0主要功能 π-Frame平台技术特色 π-Frame平台未来发展
2
π-Frame平台概况
π-Frame地震软件平台
■由中国石化组织研发，面向大数据时代油气地震勘探技术 发展与应用需求的新一代地震数据处理解释软件平台 ■是国际石油工业与地球物理业界第一个基于Hadoop大数据 技术体系构建的大型地震勘探软件平台
融合并行数据I/O和并行计算、数据划分与数据备份、计算任务 容错等特性 支持作业并行、节点并行、Map级数据并行、多线程并行、GPU 异构并行等多级并行模式
33
π-Frame平台技术特色
特色2：速度快
高性能的海量地震数据存取访问
~1500GB/min
34
π-Frame平台技术特色
特色2：速度快
高性能的海量地震数据存取访问：快速数据加载
20
π-Frame 1.0主要功能
工区底图与平面属性分析
工区底图（炮检点分布）
平面属性显示（覆盖次数）
平面属性显示（检波点高程与静校正量）
地震切片显示
21
π-Frame 1.0主要功能
速度分析与建模
速度分析
网格速度建模
沿层速度建模
22
π-Frame 1.0主要功能
速度分析与建模：近地表速度模型反演与编辑
32
π-Frame平台技术特色
特色2：速度快
■基于分布式文件系统的并行I/O带来的高吞吐能力
68个节点、每个节点4块硬盘的测试系统配置，测试获得了 35GB/s即约2TB/m的I/O性能，约3~5GB/s即200+GB/m的地震 数据加载性能、常规地震批处理作业吞吐性能。
■全并行化批处理机制带来的大规模并行计算线性扩展能力
π-Frame
3
π-Frame平台概况
项目背景
■海量地震数据管理和超大规模并行计算对油气勘探软件架构提出 了新挑战，对地球物理勘探软件平台提出了更新换代的要求。 ■基于强大的需求与信息技术发展带来的机遇，中国石化组织研发 了面向未来业务需求的新一代地震数据处理解释软件平台。
MEMS检波器
单点高密度地震
商业软件：300GB数据加载耗时115分钟（2.6GB/m不能一次加载，人工并行）
35
π-Frame平台技术特色
特色2：速度快
IO密集型作业：分选作业
p商业软件分选作业 p数据量：200GB p计算节点：单节点 p运行时间：138分钟 p效率：1.4GB/min pπ-Frame分选作业 p数据量：3.1TB p计算节点：472个 p运行时间：29分04秒 p效率：106GB/min