基于大数据的地质云监控平台建设与应用

基于大数据的地质云监控平台建设与应
用
摘要：地质云是国内地质信息系统安装在虚拟机设备上，地质勘察业的云端综合信息服务平台，能够采集地理信息数据，实现各地质勘察业务的集成，也会促使产品应用的集成和服务效果的提升。

为了能够保证地质云平台稳健的运行，持续地为用户提供高品质的服务，要对大量的服务器和软件硬件进行监测。

本篇文章重点分析了地质云监控平台，建设相关内容研究，使用大数据来构建云监控系统，不断优化地质监控模式，创新的地质勘察监测思路，使用大数据工具技术，来搭建起透明化的云平台，使用信息技术来研制地质云，可完成地质云监控数据采集、数据存储、分析、查询。

经过在线运行表明，地质云监控平台可将监控工作量压缩为原先的20%，还可以完成服务分析、地质云系统稳定性的评价，相关故障的诊断问题快速定位。

关键词:地质云；大数据；云计算虚拟化；监控数据
引言：
建立起地质监控信息平台来收集地质资料信息，在野外采集实际地理地形数据信息，提供数据化的服务产品及优化服务资源，建立起地质云系统，实现信息集成，大数据可消除过去数据孤岛问题，推动资源共享，实现了互联网加地质调查数据信息有效融合，创造了地理信息一站式云端服务平台，地质云中的软硬件资源，可以根据实际工作需求，动态来科学分配，满足大数据时代下用户要求和不同业务用户需求，使得地质调查领域得到拓宽。

一、地质云资源关系
地质云中软硬件资源要求站在新资源的角度去看虚拟化软件的资源统筹，硬件资源有存储网络、内存、CPU的相关平台，信息化部件设备，软件资源包含了信息系统，在信息系统中服务器和应用程序等多个子系统，他们之间也是相互支
撑、相互联系、嵌套关系，使用虚拟系统，就是硬件与软件设施之间的桥梁。

同时，在虚拟系统内部有CPU、内存、硬盘等部件，在系统内可以容纳许多软件与周边硬件设施，并形成映射的联系，将信息存储在虚拟机上，让工作人员操作系统时，使系统运行更加稳定，要使用服务器信息系统，服务器有数据库组件、地图服务器和资源服务器等，交付期内的各类计算机资源程序汇集起来[1]。

二、地质云的监控指标
地质云内部资源类型多种多样，地质云服务对象也是千差万别，因此设计出来监控指标也不尽相同。

虚拟机重点监测各设备运行活动状态和资源分配状况，操作系统主要是实时检测CPU、内存、硬盘的使用状况。

数据库则是抓取用户，并开发检查代码，使用数据库语言等等。

应用服务器，提高响应的效果，现场使用地质信息数据和各类产品虚实记录下，门户更多是关心点击率、访问量、访问路径等等。

云计算组件是全程跟踪基础，矿探测及勘察等多种技术集成的复合型算法。

地质云监控平台有近500台服务器，近60个类别，还有上万个指标来监测，每天形成监测数据信息有4G到20G之间[2]。

三、监控数据来源和获取差异化
（一）全云化监控模式
地质云在运作期间，会使用硬件设备和软件系统生成大量运行信息，地质云有多个实时运行硬件和软件，将发生哪些虚拟机的运行状态和数据库请求、操作、应用服务器的计算和应用程序的响应，用户操作等等，都会形成大量信息，操作系统和服务器都会自动生成若干个日志文件资料监控系统，会定时采集信息传输数据，为后端数据分析，而提供更多数据资源，地质云识别软件硬件信息技术，构建地质云系统，而且在网络系统分别要部署地质结构平台，给出若干方法，使用云监控的方式，存在地质云内的方法。

开创一种云端资源的监控新方法思路。

（二）监控数据类型
在软件和硬件系统中抓取监控数据信息，这些数据格式大多都是文本或者二进制数据文本的数据，有xml文件，二进制的信息有大容量传输的各类型文件资料。

（三）数据获取方法
采集数据信息是当前地质云系统的关键功能，数据是由系统内部来生成，监察地质工作，地质人员正常运作为其他业务提供服务，要求系统能够在文件的运作，实现对数据信息抓取数据管理，而且功能涉及到了大量的新地质云服务方式，有很多的业务功能。

数据采集的服务其还具有拓展性的功能，增加或者减少数据，会影响到云系统运作，可直接使用调用接口方式来达成数据的采集，进而完成数据的信息汇集，统一保存于大数据平台之上[3]。

云平台提供虚拟机管理和运行数据信息，可调用系统内部各部件，提供API 接口搜集信息，使用通信协议，在服务器内，获取地质勘察的信息，使用snmp 技术获取服务器信息，或者在服务器内部，内嵌入函数，使用数字字典的方法，来获取企业级数据库信息，研发监控数据信息的采集接口和系统都要应用实时定时的调用。

并结合日常内容，来自动解析判断信息是从哪个系统输入，研发流程端口，各系统都会掉入到日志，并由监控系统自主判别，来在系统内获取解析数据信息，将数据信息存储在数据库内。

四、地质云监控平台的框架
地质云监控平台与其他业务系统基本类似，也是构建在地质云硬件设施之上，地质云的应用，它可以监察地质云内所有的硬件设备、软件系统，也可以集成所有信息，主要包含了采集层、数据存储层和数据服务层及数据应用层。

在数据采集层方面，要将许多软硬件资源集成，使用采集器时，监控平台中最基础环节，监控数据采集装置，可实现实时定时调用虚拟化平台数据库系统软件。

应用服务器和各研发厂商提供的API接口，对获取出数据要解析映射，在计算机设备内部，形成规范对象，也可以兼容的方式保存。

在系统内，抓取分布式服务器，生成大容量日志文件资料，以流式方式传入到分布式系统内部[4]。

在数据存储上，保存系统虚拟机监控数据，而且在数据库包括现在和过去大量地质勘查信息，过去使用传统监控方法，在每个月都会形成近300G数据量，由分布式的计算机系统每个月会升上1TB的数据量，每个月就会有1Tb的数据量。

五、地质云监控系统功能
应用地质云监控信息平台，会在系统内部集成数据，采集、解析、分析数据、挖掘数据、查询数据等所有的功能。

并且完成虚拟机操作系统数据存储，也可对业务系统采用进行智能化判断诊断，在云端服务器上，实现全面运行监控，在后台自动抓取数据信息，可以解析监控数据、智能分析数据，提供可视化数据图表，并协助工作人员监测地理信息。

六、结束语
利用大数据构建起以云监控平台，实现了地质云内部所有监控数据一站化，使用自动采集、解析、存储、展示数据，创建云监控平台。

利用地质云来深度挖掘，并提供高端地质数据分析服务，完成业务服务状况的解析，并且研究系统内部的稳定性，并进行评价，地质云监控对象较多，指标也更加丰富，数据量更大，尽管精细化研究分析数据挖掘难度高，但是后期还要进一步加强对系统内故障错误的检查分析，精准定位故障点，监控大数据，利用大数据智能挖掘算法，为地质云长期的稳健运行而带来保障支持。

参考文献：
[1]马凯.地质大数据表示与关联关键技术研究[D].中国地质大学,2019.
[2]康璐燕.基于大数据的地质信息化建设方案研究[D].西北大学,2019.
[3]黄家凯,樊旭东,秦丽娟.省级地质大数据建设的总体框架研究[J].资源环
境与工程,2019,33(01):107-112.
[4]叶发旺,蔡煜琦,李瀚波,等.铀资源勘查大数据技术研究框架思路[J].世
界核地质科学,2019,v.36;No.143(02):3-12+30.
[5]宋越,高振记,王鹏.基于大数据技术的云端城市地质三维可视化框架[J].中国矿业,2020,029(006):81-86.。