石油勘探开发数据标准体系分析
石油勘探开发数据标准体系分析
摘要在社会发展的今天，更注重的是，石油勘探开发的发展，在通过国内外对石油标准的情况来说，在确定了石油勘探开发的过程中，研究了一系列开发数据标准的体系，同时也建立了石油勘探数据的发展，要以石油发展的情况为标准，以最基础的业务为标准，采用好模型的驱动建立思想，促进国家石油的发展。
关键词石油勘探开发；石油标准；天然气
引言
在近年来的发展中，随着石油勘探的快速增长，我国的石油经济状况和开发形势的发展技术应用比较广泛，在投资大项目工程之后，但是经过一段时间的大量考察过程中发现，这些建设的项目涉及的面广、专业也是比较多的、在经过比较复杂的原因以后，还有进行深刻的研究，主要是缺乏一定的基础设施造成的。
1 石油勘探开发数据的管理以及标准需求的分析
1.1 石油勘探开发的数据以及需求分析
随着石油勘探开发程度的发展，在我国石油勘探的目标是越来越复杂的，这样也会增加勘探难度，进而会影响石油的成本，控制的难度也会随之增加，在最早的油气中可以发现，老油气是高含水、高采出程度的阶段，但是产量会随之减少，在新增的油气中可以看出，低渗、稠油储量会比较大，而且会逐年上升，开采难度会随之增加，就这种情况来看，要采用地质、钻井、测井等一系列的石油勘探新技术和新方法，这样会实现产业的稳定，不过要实现这一项目的原理，还有有助于信息的技术的应用，这种信息技术的要求比较高，可以更准时的得到油气勘探过程中的数据，在对石油的过程中，油气的需求量是特别大的，这就要从石油信息技术发展的方向来看，是由开发、勘探、运营管理为一体化的工作环境成为石油发展的方向[1]。
1.2 石油勘探开发数据建设中存在的因素
在国内石油的开发中，积累了很多的油气资源和数据，数据的建设在一定程度上有了进展，但是也会存在问题[2]：
首先，相同的油气中，勘探和开发的标准是不一样的，从20世纪以来就制定了不同的勘探、开发、钻井等相关的数据，这样油气在基础上可以根据数据模型的不同进行不一样的数据，在数据交换的模型上是有困难的，在面对相同数据的时候，要各取所需，数据不同，质量也难以达到保证。
其次，勘探和开发的过程中，数据元和代码也是不同的，每个专业都有自己的数据元和代码，这样的定义解释也是不一样的，在此基础上要设定不同的数据
大数据分析平台技术要求
大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
技术向如何设计企业级大数据分析平台
技术向：如何设计企业级大数据分析平台？ 传统企业的OLAP几乎都是基于关系型数据库，在面临“大数据”分析瓶颈，甚至实时数据分析的挑战时，在架构上如何应对？本文试拟出几个大数据OLAP平台的设计要点，意在抛砖引玉。 突破设计原则 建设企业的大数据管理平台（Big Data Management Platform），第一个面临的挑战来自历史数据结构，以及企业现有的数据库设计人员的观念、原则。数据关系、ACID 在关系数据库几十年的统治时期是久得人心，不少开发人员都有过为文档、图片设计数据表，或将文档、图片序列化为二进制文件存入关系数据库的经历。在BDMP之上，我们需要对多种不同的格式的数据进行混合存储，这就必须意识到曾经的原则已经不再适用——One size dosen’t fit all，新的原则——One size fits a bunch. 以下是我列出的一些NoSQL数据库在设计上的模式： 文档数据库：数据结构是类JSON，可以使用嵌入（Embed）或文档引用（Reference）的方式来为两个不同的文档对象建立关系；
列簇数据库：基于查询进行设计，有宽行（Wild Rows）和窄行（Skinny Rows）的设计决策； 索引数据库：基于搜索进行设计，在设计时需要考虑对对每个字段内容的处理（Analysis）。 搜索和查询的区别在于，对返回内容的排序，搜索引擎侧重于文本分析和关键字权重的处理上，而查询通常只是对数据进行单列或多列排序返回即可。 数据存储的二八原则 不少企业在解决海量数据存储的问题上，要么是把关系数据库全部往Hadoop上一导入，要么是把以前的非结构化数据如日志、点击流往NoSQL数据库中写入，但最后往往发现前者还是无法解决大数据分析的性能瓶颈，后者也无法回答数据如何发挥业务价值的问题。 在数据的价值和使用上，其实也存在着二八原则： 20%的数据发挥着80%的业务价值； 80%的数据请求只针对20%的数据。 目前来看，不管是数据存储处理、分析还是挖掘，最完整和成熟的生态圈还是基于关系型数据库，比如报表、联机分析等工具；另外就是数据分析人员更偏重于查询分析语言如SQL、R、Python数据分析包而不是编程语言。 企业大数据平台建设的二八原则是，将20%最有价值的数据——以结构化的形式存储在关系型数据库中供业务人员进行查询和分析；而将80%的数据——以非结构化、原始形式存储在相对廉价的Hadoop等平台上，供有一定数据挖掘技术的数据分析师或数据工
大数据可视化分析平台介绍
大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境，以基础信息资源库（人口库、法人库、宏观经济、地理库）为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态，为政策拟定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源，结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理，法人与地理，实现基础展示与分析，融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求：通过对各个委办局的指定业务数据进行汇聚，将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和ETL 等功能。 2、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大，数据类型繁杂，数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据，经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备高可靠性、快速查询能力。 3、数据计算分析需求：包括海量数据的离线计算能力、高效即
席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力，支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联，即：通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。 5、应用开发需求：依靠集中数据集，快速开发创新应用，支撑实际分析业务需要。 6、大数据分析挖掘需求：通过对海量的政务业务大数据进行分析与挖掘，辅助政务决策，提供资源配置分析优化等辅助决策功能，促进民生的发展。
全球十大大数据企业有哪些
全球十大大数据企业有哪些
全球十大大数据企业有哪些？ 大数据是目前最火热的名词之一，从事大数据分析的朋友都很清楚全世界主要以两大阵营为主：一是以IBM、惠普为代表的数据仓储业务的十大大数据老牌厂商；另一个是以大数据技术、创新力为核心的新兴企业。今天，大圣众包平台带大家了解到底有哪十大大数据企业呢？ 十大大数据企业 1.IBM 根据Wikibon发布的报告，作为大数据业务营收成绩最好的公司IBM，过去一年从大数据相关产品及服务中获得了13亿美元收益。其具体产品包括服务器与存储硬件、数据库软件、分析应用程序以及相关服务等。 2、惠普 惠普早在2012年获得的大数据营收名列第二，总值为6.64亿美元。这家供应商最为知名的方案当数Vertica分析平台。 3、Teradata Teradata凭借自家硬件平台、数据库以及分析软件而声名远播。它同时针对零售及运输行业推出了专门的分析工具。 4、甲骨文 尽管在大家眼中，甲骨文一直以其冠绝群雄的数据库产品闻名，但事实上他们也是大数据领域的主要竞逐者之一。其甲骨文大数据设备将英特尔服务器、ClouderaHadoop发行版以及甲骨文的NoSQL数据库结合到了一起。
5、SAP SAP推出了一系列分析工具，但其中知名度最高的当数其HANA内存内数据库。 6、EMC EMC一方面帮助客户保存并分析大数据，另外也充当着大数据分析智囊营销科学实验室的所在地这家实验室专门分析营销类数据。EMC推出的最新爆炸性消息是与VMware及通用电气一道支持Pivotal公司。 7、Amazon Amazon向来以企业云平台闻名于世，但同时也推出过一系列大数据产品，其中包括基于Hadoop的ElasticMapReduce、DynamoDB大数据数据库以及能够与AmazonWebservices顺利协作的Redshift规模化并行数据仓储方案。 8、微软 微软的大数据发展战略可谓雄心勃勃，包括与Hortonworks建立合作关系、建立一家大数据新兴企业以及推出基于Hortonworks数据平台的HDInsights工
大数据处理技术的总结与分析
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
中国石油勘探开发数据模型标准研究及进展V5_20150825(发表)
中国石油勘探开发数据模型标准研究及进展 马涛黄文俊刘景义王铁成黎勇王军 （中国石油集团东方地球物理公司信息技术中心，北京，100007） 摘要：勘探开发数据模型（EPDM）1.0版是中国石油在“十一五”期间组织建设A1、A2系统过程中形成的勘探开发一体化数据标准。随着“十二五”中国石油信息化建设的不断推进，对上游信息系统集中建设、集成应用、信息共享、协同工作的需求越来越迫切。中国石油针对信息系统基础建设中共同的数据标准、数据模型等发展瓶颈问题，组织开展了卓有成效的研究与升级工作，提出了新的数据模型体系化建设原则，在其指导下，编制了EPDM模型2.0版本，形成了配套体系及多项特色设计，增强了EPDM模型的适用性、实用性和完整性，为“十三五”石油上游专业信息化建设奠定了良好基础。 关键词：勘探开发；数据模型；EPDM；模型管理 引言 在用计算机系统模拟或表述现实世界的过程中，需要按照一定的规则对现实世界客观对象的静态特征、动态特征和完整性约束条件进行抽象和数字化、符号化表述，这个过程就是数据建模的过程，对客观对象本身特征及相互之间联系的表述即为数据模型。通常，数据模型包括概念模型、逻辑模型和物理模型。 在企业信息化建设过程中，统一业务标准的基础就是要统一数据模型标准。在石油上游业务领域，有多个国际性的标准化组织，如：SLC（Standards Leadership Council）、Energistics/POSC、PPDM、SEG、SPE、API等，致力于石油上游业务及相关标准的统一，全球几乎所有大型的油公司及油服公司除拥有自己的企业标准外，还通过加入或资助国际性的标准化组织，参与行业数据标准的研究与制订，共享其研究成果。统一数据标准的最大好处在于提高企业内部及与企业外部之间的信息与数据交换效率，减少企业业务运营与研发成本，提高企业参与国际业务能力及核心竞争力。 中国石油作为大型国际化能源公司，在上游信息化建设过程中，高度重视信息与数据的标准化工作，一直致力于标准的持续改进与提升。1997年推出了《勘探开发数据库结构》；2000年，在对SY/T6184-1996《油田开发数据库文件格式》修订的基 第一作者简介：马涛，男，教授级高级工程师，中国石油集团东方地球物理公司信息技术中心、北京中油瑞飞信息技术有限责任公司总工程师，现从事数字油田建设与应用研究工作，通讯地址：北京市东城区青龙胡同1号歌华大厦1501室，邮编：100007
大数据分析平台的需求报告模板
大数据分析平台的需求报告 提供统一的数据导入工具，数据可视化工具、数据校验工具、数据导出工具和公共的数据查询接口服务管理工具是建立大数据分析平台的方向。 一、项目范围的界定 没有明确项目边界的项目是一个不可控的项目。基于大数据分析平台的需求，需要考虑的问题主要包括下面几个方面： （1）业务边界：有哪些业务系统的数据需要接入到大数据分析平台。 （2）数据边界：有哪些业务数据需要接入大数据分析平台，具体的包括哪些表，表结构如何，表间关系如何（区别于传统模式）。 （3）功能边界：提供哪些功能，不提供哪些功能，必须明确界定，该部分详见需求分析； 二、关键业务流程分析 业务流程主要考虑包括系统间数据交互的流程、传输模式和针对大数据平台本身涉及相关数据处理的流程两大部分。系统间的数据交互流程和模式，决定了大数据平台的架构和设计，因此必须进行专项分析。大数据平台本身需要考虑的问题包括以下几个方面： 2.1 历史数据导入流程 2.2 增量数据导入流程 2.3 数据完整性校验流程
2.4 数据批量导出流程 2.5 数据批量查询流程 三、功能性需求分析 3.1.历史数据导入3.1.1 XX系统数据3.1.1.1 数据清单 (3) 3.1.1.2 关联规则 (3) 3.1.1.3 界面 (3) 3.1.1.4 输入输出 (3) 3.1.1.5 处理逻辑 (3) 3.1.1.6 异常处理 (3) 3.2 增量数据导入3.3 数据校验 3.4 数据导出 3.5 数据查询 四、非功能性需求 4.1 性能
4.2 安全性 4.3 可用性 … 五、接口需求 5.1 数据查询接口 5.2 批量任务管理接口 5.3 数据导出接口 六、集群需求 大数据平台的技术特点，决定项目的实施必须考虑单独的开发环境和生产环境，否则在后续的项目实施过程中，必将面临测试不充分和性能无法测试的窘境，因此前期需求分析阶段，必须根据数据规模和性能需求，构建单独的开发环境和生产环境。 6.1开发环境 6.1.1 查询服务器 6.1.2 命名服务器 6.1.3 数据服务器 6.2 生产环境 6.2.1 查询服务器
石油勘探开发主数据模型研究与设计【论文】
石油勘探开发主数据模型研究与设计 1引言 进入20世纪以来，随着国家信息化带动工业化战略的持续推进，信息技术的成果已渗透到国民经济的各行各业。国内石油上游勘探开发企业，不同程度地建设了物探、钻井、采油、地面工程等各种业务信息系统。这些信息系统所建立的各类专业数据模型，涉及到的数据种类及数据项远远超出20世纪国内外石油上游勘探开发企业传统数据模型所定义的范畴，涵盖了数据采集、生产运行管理、采集数据处理和分析成果等数据内容。石油上游勘探、开发和生产是相互联系、不可分割的整体，勘探开发生产各业务过程所产生的数据信息既享有独立性和特殊性，又具有关联性、统一性和一致性。在石油企业信息化建设过程中，业务信息系统因专业分工不同而采取了分开独立建设的模式，并形成了与每个系统配套的数据管理模型。从整个企业信息系统体系结构角度来观察和比较发现，在各业务信息系统中都或多或少存在重复数据，而且这些重复数据原本应该保持一致，但实际上却出现不一致的问题，从而导致企业各业务系统之间无法实现数据的共享而形成信息孤岛的局面。在系统建设初期，站在目标任务的角度，通常仅关注了勘探开发业务信息系统的独
立性、特殊性特点，未充分考虑勘探开发业务信息的关联性、统一性和一致性的重要特征，在信息化建设过程中将勘探开发生产等业务活动之间的信息联系割裂开来。为了消除系统间的信息壁垒，实现勘探开发专业间信息共享，从数据管理角度，需要进一步地研究当前石油勘探开发数据模型，分析并梳理出勘探开发业务系统中影响全局业务且必须保持数据高度一致性的基本数据（如井信息），以及具有一定共享价值的专业主体数据，在原有各专业数据模型的基础上，建立统一的勘探开发主数据模型，以解决新时期下石油上游勘探开发数据建设和应用所面临的诸多问题。 2业务分析及共享数据识别 2．1勘探开发业务分析 石油上游勘探开发可分为勘探、油藏评价、油田开发三个主要阶段，涉及到资源勘查、地球物理勘探、油藏发现和认识、油田开发过程。专业涵盖地震数据采集及处理解释、地质与油藏研究、地球钻井、地质录井、地球物理测井、油井试油、油水井测试、油水井作业、油田采油、油田注水、油气集输等业务。为便于对勘探开发专业共享数据识别，从数据管理专业角度，将勘探开发业务分为区域勘探与开发研
工程大数据分析平台
工程大数据分析平台 随着大数据时代来临、无人驾驶和车联网的快速发展，汽车研发部门需要处理的数据量激增、数据类型不断扩展。相关数据涵盖车内高频CAN 数据和车外ADAS 视频非结构化数据、位置地理空间数据、车辆运营数据、用户CRM 数据、WEB 数据、APP 数据、和MES 数据等。 在此背景下，整车厂研发部门关心的是：如何将企业内部的研发、实验、测试、生产数据，社会用户的用车数据，互联网第三方数据等结合起来，将异构数据和同构数据整合到一起，并在此基础上，实现业务系统、分析系统和服务系统的一体化；怎样利用深度的驾驶员行为感知、智能的车辆预防性维护、与实时的环境状态交互，通过大数据与机器学习技术，建立面向业务服务与产品持续优化的车联网智能分析；最终利用数据来为产品研发、生产、销售、售后提供精准的智能决策支撑。这些都是整车厂在大数据时代下亟待解决的问题。 针对这一需求，恒润科技探索出以EXCEEDDATA 大数据分析平台为核心的汽车工程大数据整体解决方案。借助EXCEEDDATA 大数据分析平台，企业可以集成、处理、分析、以及可视化海量级别的数据，可实现对原始数据的高效利用，并将原始数据转化成产品所需的智能，从而改进业务流程、实现智慧决策的产业升级。 产品介绍: ●先进的技术架构 EXCEEDDATA 采用分布式架构、包含集成处理（ETL）与分析挖掘两大产品功能体系，共支持超过20 多个企业常见传统数据库和大数据源系统，超过50 多个分析处理算法、以及超过丰富的可视化智能展现库。用户可以自主的、灵活的将各种来源的原始数据与分析处
理串联应用，建立科学的数据模型，得出预测结果并配以互动的可视化智能，快速高效的将大数据智能实现至业务应用中。 平台包括分布式大数据分析引擎、智能终端展示、以及API。大数据分析引擎为MPP 架构，建立在开源的Apache Hadoop 与Apache Spark 之上，可简易的scale-out 扩展。在分析引擎的基础上包含数据源库、数据转换匹配器、数据处理操作库、机器学习算法库、可视化图形库等子模块。智能终端展示为行业通用的B/S 架构，用户通过支持跨操作系统和浏览器的HTML5/JS 界面与API 来与平台互动。
大数据分析平台技术要求
大数据平台技术要求 1. 技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE） 的结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
石油勘探开发数据标准体系分析
石油勘探开发数据标准体系分析 摘要在社会发展的今天，更注重的是，石油勘探开发的发展，在通过国内外对石油标准的情况来说，在确定了石油勘探开发的过程中，研究了一系列开发数据标准的体系，同时也建立了石油勘探数据的发展，要以石油发展的情况为标准，以最基础的业务为标准，采用好模型的驱动建立思想，促进国家石油的发展。 关键词石油勘探开发；石油标准；天然气 引言 在近年来的发展中，随着石油勘探的快速增长，我国的石油经济状况和开发形势的发展技术应用比较广泛，在投资大项目工程之后，但是经过一段时间的大量考察过程中发现，这些建设的项目涉及的面广、专业也是比较多的、在经过比较复杂的原因以后，还有进行深刻的研究，主要是缺乏一定的基础设施造成的。 1 石油勘探开发数据的管理以及标准需求的分析 1.1 石油勘探开发的数据以及需求分析 随着石油勘探开发程度的发展，在我国石油勘探的目标是越来越复杂的，这样也会增加勘探难度，进而会影响石油的成本，控制的难度也会随之增加，在最早的油气中可以发现，老油气是高含水、高采出程度的阶段，但是产量会随之减少，在新增的油气中可以看出，低渗、稠油储量会比较大，而且会逐年上升，开采难度会随之增加，就这种情况来看，要采用地质、钻井、测井等一系列的石油勘探新技术和新方法，这样会实现产业的稳定，不过要实现这一项目的原理，还有有助于信息的技术的应用，这种信息技术的要求比较高，可以更准时的得到油气勘探过程中的数据，在对石油的过程中，油气的需求量是特别大的，这就要从石油信息技术发展的方向来看，是由开发、勘探、运营管理为一体化的工作环境成为石油发展的方向[1]。 1.2 石油勘探开发数据建设中存在的因素 在国内石油的开发中，积累了很多的油气资源和数据，数据的建设在一定程度上有了进展，但是也会存在问题[2]： 首先，相同的油气中，勘探和开发的标准是不一样的，从20世纪以来就制定了不同的勘探、开发、钻井等相关的数据，这样油气在基础上可以根据数据模型的不同进行不一样的数据，在数据交换的模型上是有困难的，在面对相同数据的时候，要各取所需，数据不同，质量也难以达到保证。 其次，勘探和开发的过程中，数据元和代码也是不同的，每个专业都有自己的数据元和代码，这样的定义解释也是不一样的，在此基础上要设定不同的数据
石油勘探开发工程数据模型设计
石油勘探开发工程数据模型设计Ξ 叶飞跃 高延文 段友祥 (石油大学计算机系,山东东营257062) 摘要 结合勘探开发工程数据的特点,讨论了改造关系数据库的模型结构,利用嵌套关系解决矢量、数组、文本、图形等工程数据的存储问题。提供了16种适合勘探开发工程应用的新数据类型,设计了一套在新的嵌套关系模型下的数据操作语言,规定了标准的数据操作方法。实际应用表明,石油勘探开发工程数据模型为石油勘探开发应用提供了方便、高效、统一的数据存储结构和数据存储方法,解决了常规关系数据库系统下无法解决的一些工程数据和数据管理问题,为石油工业勘探开发数据库的建立和应用研究提供了有效的手段。 主题词 系统工程;数据库;数据存储;模型;计算机应用 中图法分类号 TP392ΞΞΞ 第一作者简介 叶飞跃,男,副教授,1959年出生,1982年毕业于石油大学(华东)。现在攻读博士学位,从事计算机应用和数据库科研工作。 1 存在的问题 关系模型是建立在集合代数基础之上的,从集合代数的角度来定义关系,即在域D1,D2,…,D n 上的关系R是集合D1,D2,…,D n的笛卡尔乘积D1×D2×…×D n的一个子集。其中,域(Domain)D i 是值的集合,即值域。关系的定义是抽象的,而其物理意义是利用值域的各元素的笛卡尔乘积来表达现实世界的一个事物。 随着关系数据库在石油勘探开发领域应用的深入,对数据组织及操作有了更高的要求,关系方法逐渐显示出其局限之处,对于复杂数据的处理不能满足要求,具体表现在以下几个方面: (1)第一范式不支持结构实体。由于关系数据库理论的成熟,关系模型成为数据组织的主要形式,任意一种关系系统均必须遵循第一范式(1NF)的要求。也就是说,关系模式中的每一个属性必须是不可再分的基本属性。然而,对于石油勘探开发工程领域中所涉及大量的、种类复杂的数据,例如,矢量、矩阵数组类数据,以及文本、图形和图象等数据,关系系统不能够直接支持这类数据。 (2)关系不支持对象的标识。工程应用中的数据可能有两个相同的值,却代表不同的内容。也就是说,以关系模式来实现时,会出现两个相同的元组,而分别表示不同的含义。这在关系系统中是无法表示的,即使可以存储也无法将其区分开,原因是关系不支持对象的标识。例如,测井曲线数据,虽然不同的曲线数据值不一样,但不能以值的大小来区分各条曲线,而应该有一种系统的标识方法,这在关系模型数据库中是无法表示的。 (3)数据的先后次序无法在关系中表达。关系中的各个元组无先后次序,但是勘探开发工程数据库有时希望按顺序存放数据,这用关系模型实现时是不便的。 (4)关系操作不支持对工程数据的操作。关系数据库最基本的操作有并、差、笛卡尔积、选择和投影5种操作,E1F1Codd曾经证明了这5种基本操作的完备性。但是取而代之的二维数组、图形、图象数据,利用选、投、连等关系操作,很难直接表示这类数据的操作特点。 (5)数据操作的统一影响了数据完整性的控制。数据库作为一个客观系统的模拟,其状态必须时刻满足该客观系统特有的约束条件。为此,对于有些操作必须加以限制,有些操作必须依赖于数据库的不同状态。数据操作的这些限制并不体现在关系系统的“标准操作”之中,而是因数据对象而异的。在 1998年 第22卷 第1期 石油大学学报(自然科学版) Journal of the University of Petroleum,China Vol.22 No.1 Feb.1998 Ξ ΞΞ总公司“八五”重点科研项目“勘探开发工程数据库系统”成果之一. 收稿日期:1997-07-03
大数据技术在石油化工的应用.docx
[摘要]大数据技术作为新世纪信息技术发展的重要产物，深刻影响着经济和社会生活的方方面面，成为时代的新引擎、新动力。 在我国石油化工行业，大数据技术能够有效解决行业结构性矛盾、增强行业创新能力、减小安全环保压力。 从四个方面探讨大数据技术在石油化工领域中的应用，包括化工原料或矿石勘探，油气数字化生产，化工管道风险评估，化工生产安全管理，有助于读者了解大数据在石油化工行业的应用，为石油化工领域未来发展提供思路。 [关键词]大数据技术；石油化工；信息技术大数据是指通过物联网、传感器等多种手段获取到的巨型数据集。 这些数据集非常庞大，大小从数太字节，1等于1024至数拍字节，1为1024不等，远超出人类在可接受时间内通过常规软件工具对其内容进行抓取、管理和处理的能力。 海量的数据中蕴含了丰富的行业知识，促使着我们需要对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值。 目前，大数据技术成为各行业发展的新推动力。 从2012年起，美、日、德等西方发达国家纷纷发布大数据相关的纲领性文件，通过实施大数据战略改善社会生产力[1]。 我国也紧跟时代步伐，大力发展应用大数据技术。 我国在《石化和化学工业发展规划2016-2020年》中明确提出要利用大数据技术发展石油化工产业。
目前，大数据技术在石油化工领域的应用主要体现在化工原料和矿石勘测、油气的数字化生产、化工管道风险评估、化工生产安全管理等几个方面。 1应用大数据技术的化工原料或矿石勘探各类测量数据支撑着化工原料和矿石的勘探、运输、管理等过程。 传统的数据整理如同做笔记一样，研究人员每发现一种矿物质便会记录并分类，不仅包括其发现的地点，矿床年龄，还包括矿物的化学成分和物理性质，数据记录量大。 传统方式效率低而通过大数据技术可以较好地实现对数据的分析和利用。 应用大数据技术勘探最多的化工原料是油气。 通过大数据技术，实现对海量历史数据的分析，尽可能地提高采收率和油气产量，并通过对地震、钻井、生产数据的综合分析，提供更为智能的生产服务，成为改变油气开发方法的依据。 [2]大数据还应用于预测矿物勘探。 传统的矿物勘探如同游戏，不同矿产产于不同高度，记录十分烦琐，大数据技术可以将数十万地点的数百万份矿物样品进行全面的记录与分类，进而提高信息利用提取效率，为矿石勘测起了重大作用。 2应用大数据技术的油气数字化生产利用大数据实现油田数字化进程，极大程度上提高了油田的产量。 通过对数据的深度挖掘，以往被忽视的、不易发现的、隐藏的数据被利用起来，可以实现提高６％的采收率和８％的油气产量。
大数据处理平台构架设计说明书
大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录
目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)
1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释
2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。
3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。
大数据挖掘技术在石油工程的应用前景展望
大数据挖掘技术在石油工程的应用前景展望 发表时间：2019-08-02T10:15:05.827Z 来源：《基层建设》2019年第9期作者：王建宇[导读] 摘要：随着信息技术不断发展，各种新进技术不断被应用于我国石油行业，促进了我国石油行业的快速发展。 中国石油天然气股份有限公司吉林油田分公司红岗采油厂吉林省大安市 131300摘要：随着信息技术不断发展，各种新进技术不断被应用于我国石油行业，促进了我国石油行业的快速发展。大数据挖掘技术应用于石油生产的各个环节，大大提升了石油生产的经济效益。因此本文在此技术上重点研究了大数据挖掘技术在石油工程的应用前景展望，从而更好促进我国石油行业的发展。 关键词：大数据挖掘技术；石油工程；应用前景展望背景 1.油田数据挖掘技术 1.1数据挖掘概述 数据挖掘就是通过一定的技术手段来研究数据背后的规律，学界一般这样表述，数据挖掘技术就是从大量的、不完全的、有噪声的、模糊的、随机的工业生产数据中，通过一定的算法来提出数据背后隐含的、不为人知、同时又具有价值的规律的过程。数据挖掘任务有不同的分类，一般可以概括地分成：分类和回归。对于这种任务对于不同的算法可能二者又有一定的统一性。在进行数据挖掘任务时，一般需要根据具体的任务来进行判断该任务是属于哪一种任务，是回归还是分类，然后根据不同的任务来选择合适的算法，从而使得数据挖掘出来的效果更加优异。在开展数据挖掘时，要意识到数据是数据挖掘的基础，只有通过对于当前数据的学习，得到出来数据潜在的规律，才能更好对于未来的数据执行一定的操作。但是这种预测是一定的概率的，因此通过数据挖掘的出来的结论一般是具有统计规律的。一般来说，数据量越大，算法一定时，所发掘的规律更加准备，在进行预测时也会更加精准。 1.2石油行业的数据挖掘 为了更好促进石油领域的发展，很多数据挖掘技术被广泛应用于石油生产的各个环节。对于不同的环节往往采用的不同的数据模型，一般国内外在把数据挖掘技术应用于石油产业的过程中，主要是通过建立不同的数据挖掘模型，从而提高石油产业的发展。 我国主要将数据挖掘的相关技术应用于石油储层评价、施工方式的选择、生产指标的预测以及石油系统的诊断。对于不同环节的工作往往采用的算法不尽相同，基于传统的机器学习的算法包括了决策树、随机森林、聚类算法以及粗糙集等，基于深度学习的方法可以应用于分类和回归等各个环节。但是深度学习的数据挖掘算法往往需要很大的数据集进行训练，同时还需要人为进行数据集的标定等等，但是基于深度学习的方法往往在准确率方面的性能远超于传统的机器学习。这是因为深度学习的算法能够具有以下的特点，第一学习深度特征、第二自主学习，第三非线性映射、第四较强泛化能力。虽然深度学习的模型在训练和调试方面需要投入大量的人力物力，但是一旦模型被训练好之后就可以一直使用。我国很多研究人员将深度学习的数据挖掘技术应用在稠油开采方式进行筛选，取得了很好的效果，在各项性能方面都超过了传统的数据挖掘算法。 2.基于大数据的数据挖掘技术的特点 2.1大数据技术的特点 相关性是大数据技术很重要的一个特征。在大数据环境下，通过分析数据之间的相关性，往往可以得出来很重要的结论。具体的实现过程就是通过相关分析大量数据来挖掘数据背后存在的显著性的统计因素，然后利用这些统计因素进一步分析得到预期结果。进行相关分析的技术手段有很多，常见的手段有基于最小二乘方法或者利用多回归模型来构建大数据模型，然后进行回归分析得到影响变量的主要因素，这些因素就可以广泛应用于石油勘测的风险预测工程中,这个过程就不用使用基于风险评估的手段进行了。往往通过大数据得出来的影响因素可以直接用在石油生产的各个环节的过程中,可以有效预测出石油生产各个指标的发展趋势。因此，在大数据技术的背景下，大量的数据为石油生产的各个环节的发展奠定了基础，通过相关分析就可以很快得到石油生产各项指标的参数以及风险评估情况，以此制定的石油生产计划更加的科学合理。 2.2云计算为大数据挖掘技术提供了可靠的技术支持 云计算技术使得大数据技术计算实现了可能，同时它扩展了虚拟技术、分布式技术、并行技术等技术框架，为大数据计算提供了灵活性和可扩展性的应用程序服务、资源存储服务等云服务，几乎涵盖了所有的信息资源。包括数据资源、应用程序、计算资源、存储资源和基础设施等都可以从云服务中获得。但是云计算存在着很大的安全隐患，这也是限制它发展的很重要的一个因素，但是云计算提供了很大的快捷性和可靠性。通过云服务，工程审计人员可以构建数据云，从而利用数据云的大量数据进行审计业务的开展与实施。 3.石油工程大数据挖掘应用展望 3.1能够有效提高石油产量 随着信息技术不断发展，石油生产的各个环节已经实现了自动化、智能化和信息化，通过各种智能传感器和物联网技术能够采集油田生产环节的各种数据，这些数据包括了采油与地面工程的生产、作业等各个类型的数据，这些数据能够储存在数据库中，为开展数据挖掘算法研究了提供了第一手数据。另外随着我国石油企业的信息发展，各种信息系统被应用于石油生产的各个环节，尤其以中石油A5系统为代表的。A5系统的推广和油气生产物联网系统A11的实施，为采集石油生产环节的数据做出了重要贡献，然后通过数据挖掘技术来提出数据背后隐藏的规律，从而更好地指导石油生产，能够保障石油企业的经济效率。把数据挖掘技术应用石油生产的环节具有很多优点，能够保障管理人员即使更加预测的指标和风险评估来制定相应的生产技术，同时这些预测的指标往往是基于大数据得出来的统计规律，往往更具有一般性。管理者利用这些指标来指导石油生产，往往可以有效提升油田产量、采收率、效率、效益。 3.1网络化发展 近些年随着石油信息技术的不断发展，行业的基于数据挖掘的物联网技术也得到了很大的提升。监督管理人员在任何地点都可以对于石油生产的各个环节进行有效的监督，这一技术得以实现主要由于网络化技术的发展。另外一方面，随着工业化网络系统的发展，石油生产环节也越来越智能化，智能传感器通过使用数据挖掘技术能够对于系统的相关参数进行合理分析，一般发现异常就通过控制系统向相关管理系统发送错误报告，从而对于故障进行合理的修复。网络化的技术使得人们加强了对于生产环节的控制力度，从而更好促进我国石油行业的发展。
最新石油行业大数据分析平台方案
石油行业大数据分析 平 台 方 案
目录 一数据管理的现状 (1) 二石油行业大数据分析的概述 (2) （一）石油行业大数据分析概念 (2) （二）石油行业大数据分析目标 (3) 三石油行业大数据分析体系 (3) 四石油行业大数据分析核心领域 (4) （一）数据模型 (4) （二）数据生命周期 (5) （三）数据标准 (6) （四）主数据 (8) （五）数据质量 (9) （六）数据服务............................................................................................ 1 1 （七）数据安全............................................................................................ 1 2 五石油行业大数据分析保障机制 (13) （一）制度章程............................................................................................ 1 3 (1) 规章制度............................................................................................ 1 3 (2) 管控办法............................................................................................ 1 3 (3) 考核机制............................................................................................ 1 3 （二）石油行业大数据分析组织....................................................................... 1 5