基于大数据技术的自然资源数据快速更新体系研究

基于大数据技术的自然资源数据快速更新体系研究

摘要：为实现自然资源（山水林田湖草）的整体保护、系统修复和综合治理，

保障国家生态安全，需要以空间技术、VＲ技术、智能 AI、云计算、大数据挖掘

等先进技术为手段，构建高效、精准、智能的自然资源调查监测技术支撑体系。

全过程质量管控获取的自然资源种类、数量、质量、空间分布、时间维度等均具

有大数据的 4V 特性，只有采用时空大数据技术才能实现这些数据的可靠获取、

安全存储、科学分析、有效利用。

关键词：时空大数据；私有云平台；Hyper－V

1 自然资源数据

1．1 自然资源数据流

基于大数据技术的调查分析、观测监测，是自然资源数据获取、存储、处理、使用的过程，也是自然资源信息流在自然资源数据库系统中流转的过程。它充分利用大数据技术扩展、改造传统资源信息处理系统的数据获取、处理、分发、使用全流程。

1．2 自然资源大数据获取

随着自然资源调查、监测技术手段的不断进步，自然资源数据的获取逐步由低时效的人

工现场作业模式，向高效率的远距离自动遥测转化。航天、航空遥感可以提供不同空间尺度、频谱、时相的自然资源遥感影像，仅国内民用大卫星平台就包括资源、高分、海洋、风云等

系列，它们可以在天、小时、分的时间尺度，提供空间尺度涵盖千米、米、亚米，载荷包括

多光谱、高光谱、SAＲ等种类繁多的巨量影像数据。飞速发展的吉林系列、珠海系列等民用

对地观测星座平台，也开始提供可以媲美大卫星高质量的影像数据。李德仁院士牵头武汉大

学基于 PNTＲC（通导遥一体）理念建设的珞珈卫星系列，实现了遥感卫星影像在轨处理与实时服务，支持遥感卫星从观测到决策的“快”“准”“灵”智能化应用服务。

物联网利用智能传感器获取观测对象及其环境的各种物理、化学指标参数，音、视频信息，随后通过嵌入式技术对数据进行实时清洗处理，将有用、针对性的数据通过低功耗的ZigBee、普通的 Wi－fi 将数据集回传数据中心，可以实现自然资源的实时监测。此技术已广

泛应用于自然环境监测，尤其是在地质灾害监测、矿山资源开采等方面有许多成熟的方案和

成功事例。

1．3 自然资源数据库建设

由于自然资源数据获取的技术手段不同，这些数据具有多源异构的特性。为实现多源异

构数据的统一规划、统一存储、统一管理，建立数据治理和应用的长效机制，形成自然资源

应用数据管理体系，需要建设一个数据丰富、更新及时、功能强大的自然资源数据库。

空间信息系统技术，特别是基于时空大数据的空间信息系统对解决自然资源应用领域存

在的难题具有显著优势，从信息数据采集、分析到处理、综合应用、决策的多维度、多角度、多领域的监测体系，具有异构性、动态性、实时性、宏观性等特性，已成为自然资源信息系

统建设最核心的组成部分。基于云计算、GIS 及微服务等技术，构建智能弹性高效的时空信

息综合管理平台，可以实现地理时空大数据全生命周期的高效管理与智能应用。

把自然资源数据作为基准，汇总多维度电子地图、poi数据、地址编码等基础数据，遥

感航空影像数据、地面监测数据、模型数据等各类自然资源产品数据，建立一个逻辑统一和

组织结构统一的数据目录体系数据库；然后以元数据或者数据字典为基础，通过数据仓库技术，实现对现有数据库的抽取、清晰、加载，通过建立统一的目录管理系统，构建自然资源

数据资源中心。数据资源中心可以提供统一的数据访问、查询、修改、增加、删除服务接口，可为自然资源信息系统的规划和建设奠定良好的基础。为保障数据的准确性、现势性、有效

性和一致性，必须建立起一套完备且可行的长效更新机制。

2 自然资源时空大数据技术

2．1 自然资源数据库数据类型及 GIS 系统

自然资源数据库中存储的数据主要分为以下三大类：

1）空间数据

与地图相关的数据，主要包括矢量（各种专题地图）、栅格（各种遥感影像、图像）两

种形式，以及与其配套的空间参照系（坐标系统）。

2）结构化数据

数据遵守范化规范，即能将数据统一规范成表格并能用结构化数据库进行存储、检索、

查询、管理。这类数据可以理解为各类带有空间信息的与自然资源相关的属性化表格数据。

3）非结构化数据

即各类非结构化的与自然资源相关的音频、视频、影像、图形等自然资源多媒体数据。

这类数据的特点是：形式多样、数据量大，无法用统一的形式在数据库中进行存储，同时随

着勘查技术手段的进步，这类数据在获取的勘查信息中所占比例越来越大。传统的关系型数

据库难以有效存储此类数据，只能存储在数据仓库里。这三类数据形式中，第一类数据目前

常用的 GIS 软件所提供的空间数据库基本都能满足，第二类数据普通的结构化数据库也能满足，第三类只能存储在数据仓库中。这三类数据目前可以通过基于 Hadoop HDFS 和HBase 存

储架构的大数据技术存储到统一的云平台数据库系统中。

2．2 自然资源时空大数据所提供的功能

自然资源数据库中的大数据具有大数据共有的 4V特性，即规模性（Volume）、多样性（Variety）、高速性（Ve-locity）、价值性（Value）。借助数据挖掘技术能够高效地从中获

取到有价值的信息。传统的数据挖掘过程主要包括数据的 ETL（Extract－Transform－Load，

即数据的抽取、转换、装载过程）过程、数据的分析处理、数据的解释等。自然资源数据库

相对于传统数据挖掘技术，由于其数据的时间、空间特性，挖掘过程相对要复杂得多，同时

数据的解释通常需要借助 GIS技术，数据挖掘结果尤其要在时间、空间四维甚至更多维GIS

系统中才能完美展示。

3 自然资源大数据云平台设计

3．1 云平台

云计算为自然资源数据库提供强大的基础支撑，自然资源数据库的应用涵盖了云计算架

构的 IaaS、PaaS 和SaaS 3 个层面。在 IaaS 层面，自然资源数据库利用云计算的虚拟技术，可

以将分布在各地分散的、低可靠性、低性能的硬件资源，整合成一个屏蔽了低层硬件的复杂性、多样性的统一的硬件资源，作为服务提供给自然资源工作者。在 PaaS 层面，以自然资源数据库为基础，搭建一个一体化的智能服务平台，参与的自然资源勘查全流程的任何一位自

然资源工作者，从野外勘查人员、实验室测试人员、实物自然资源资料管理人员、室内技术