石油地震勘探及其大数据快速存储技术研究介绍.ppt

硬盘
初步测试结果
• 测试平台：地空学院曙光服务器
• 存储设备：服务器26个计算节点上的硬盘
• 测试方法：将数据文件按照相应的算法分布存储在计算节 点的硬盘上，然后根据需要读取数据
现有速度
系统测试结果，性能同节点数呈线性 增长关系。
在同传统的建立在的基础上的文件系 统的速度相比，在同样的硬盘数目下，
传统的地震数据存取方式
• 以为代表的基于文件系统的存储是现在大多数实验中大数据的存 储模式。
• 地震数据按照一定格式存储在文件中，典型的访问函数为文件， 到特定的位置，一定长度的内容。标准是以一种流（）的串行的 方式来访问数据存储区的。
磁盘阵列存在的问题
• 磁盘阵列并没有抛弃传统的串行的文件系统存储方式， 每个硬盘并不知道自己的数据，这些需要上层的串行命 令，并靠控制器分发实现。而这一过程是串行的，在硬 盘数量不断增加的情况下，会成为阻碍性能的瓶颈。
（2）地震数据采集中，原始数据是记录在磁带中的，进行数据处理时，会将磁 带中的数据按一定的格式存储在硬盘中。现阶段由于检波器数目的增大地球物 理勘探所产生的数据量越来越大，大都达到了甚至的量级，这对于后端的大数 据处理产生了巨大的压力。在一些地震数据处理的过程中数据分发所用的时间 已经和数据处理所花费的时间基本相当。
石油地震勘探中要解决的问题
• 对如此大规模的地震勘探设备，在前端的数据 采集传输，后端的数据存取都要面临很多问题 • 1、数据采集传输中的问题 • （1）大量节点的管理 • （2）数据可靠传输 • （3）供电 • （4）低功耗
石油地震勘探中要解决的问题
2、数据存取处理中的问题 （1）近年来处理器的能力随着半导体工艺的发展进步很快，比如，主流的主频 已经达到3以上，服务器大都达到十核以上。然而提供数据存储的仍然是传统的 磁介质硬盘，它的性能却提高很有限。很多文献资料表明速度已经成为制约数 据处理过程的一个瓶颈。
石油地震勘探及其大数据快速存 储技术研究介绍
报告人：韩昭 核探测器与核电子学国家重点实验室（科大部）
石油地震勘探简介
• 石油地震勘探是指利用仪器检测、记录人工激发地震的反射波、 折射波的传播时间、振幅、波形等，对地层界面、岩土性质、 地质构造进行成像分析。
• 人造地震是现在最重要的一种油气勘探方法。
Data node Data node
Application user Key
面临的最大问题
• 因为与传统的以文件系统为基础的数据存储方式差 异太大，提出的主要应用对象是针对数据库的应用。 • 很多已经成熟的软件应用无法直接使用模式，即使 重新移别太大，需要对原本成熟的 应用程序进行大量修改。
目前所使用的控制节点硬件平台
目前的研究状态
• 基本完成了架构设计。在地空学院提供的专业地球物理软件的 平台下进行了对比测试，得到了8-10倍速度的提升。
• 正在进行样机系统平台的硬件与软件方案设计。 • 发明专利申请中。
No Image
• 其次，是一种通用的存储设备，并不理解数据的含义， 只是固定长度的切割，这也会造成性能的下降。
• 因为磁盘阵列并没有实现硬盘与硬盘之间的完全独立， 因此很难实现太大规模的并行。
提出的存储模式
• 完全抛弃了的访问模式，把每一个数据（）打上一个标签， 然后作分布式的存储。需要访问数据的时候以为关键字进 行检索，可以同时有很多的客户端同时响应，从而实现并 发访问。
我们提出的方案
• 基于的思想，提出了的分布式存储模式，把实验数据分布 的存储在用连接起来的具有控制的硬盘上，访问时，利用 的方式，向各个节点分发需要的数据的标签。所有节点并 行的查找，提供自己的数据。在提供快速并发访问的同时， 对现有的大型应用程序保持兼容。
以太网
嵌入式 处理器
硬盘
Key
以太网
嵌入式 处理器
离散数据存取速度慢的原因
事实上，硬盘读出数据的速度并不慢，但受到机械运动因素的影响，寻道时间 非常慢。
对于8数据，数据读取时间约为0.05 平均寻道时间约为 9
平均寻道时间>>数据读取时间
对于机械式硬盘，最影响速度 的是随机访问。然而地震的数 据需要不同的组合，绝大部分
磁盘阵列
• 磁盘阵列（ ），利用数组方式来作磁盘组，在一定 程度上实现了数据的分布存储，可以达到并行，增加 的作用。
石油地震勘探简介
• 地震石油勘探的特点与发展趋势： • 1、在地震数据处理中，利用检波器采集的数据对 地质结构成像分析。地震数据有很大的噪声，检波 器排布越密集，可以得到越准确的地质结构。 • 2、为了勘探更深处的油气，探测设备覆盖的范围 越来越广。 • 3、因为上述原因，现在地震勘探使用的地震仪器，
的特点
• 提出了把分布式数据库的存储思想用于大型实验数 据的新存储概念。
• 实现了每个硬盘的完全独立，所有的节点都是并行 处理，正因如此，可以支持大量的并行。
• 在的基础上还提出了通过算法实现无元数据（）的 存储模式，进一步加快随机速度。
• 利用虚拟文件的技术，在利用的快速能力的同时保 持了应用程序级的兼容。