大数据在环境保护中的应用研究

大数据在环境保护中的应用研究

摘要：随着经济的持续发展，我国的生态环境保护问题变得越发复杂。大数据

技术的出现，正好适应了生态环境保护问题的发展现状。本文从分析生态环境相

关数据入手，对大数据技术在生态环境保护领域的应用架构及关键技术展开论述。

关键词：大数据 Hadoop；生态系统；生态环境保护

1 引言

生态环境的保护问题，具有复杂性和时变性，涉及多部门、多地区和多领域，需要处理海量的各类数据，这为问题的解决增加了不小的难度[1]。本文从分析生

态环境相关数据入手，对利用大数据技术，整合各类生态环境相关的数据资源，

建立生态环境大数据平台的架构及关键技术展开论述。

2 生态环境相关数据的现状分析

目前，应用于生态环境保护领域的数据资源主要包括三类：

地面监测数据：此类数据主要来源于各地的生态环境在线监测系统。由于各

系统开发时期不同，技术手段各异，数据格式多样，各系统之间很难形成信息共享。

遥感监测数据：此类数据主要来源于卫星遥感数据和航空遥感数据。

地理信息数据：此类数据的来源主要有野外采集、地图数字化和航天遥感采集、摄影测量等。

目前，传统的信息化技术在环境数据整合工作中仍占据主导地位，而利用大

数据技术，实现上述三类数据的统一存储、协调工作，真正建立起实用价值大，

适用性广泛的生态环境大数据平台，还没有相关的工作开展。

3 大数据技术概述

大数据技术是近年来兴起的一种综合性信息技术[2]，对于处理超出传统数据

库系统存储、管理和分析处理能力的多来源的、海量的数据集群，具备天然的技

术优势。大数据技术的主流应用框架是Hadoop生态系统。它以HDFS分布式文件系统和MapReduce分布式计算框架为核心，可以对大数据进行高效的分布式处理。

4 大数据平台的构建

生态环境问题涉及大气、土壤、水、生物圈、气候等方方面面。为此，我们

在推进大数据技术与生态环境保护工作相互结合的过程中，采取了以点带面，逐

步推进的策略。

在本文中，我们选取对环境影响比较突出的大气污染问题作为研究的切入点，利用Hadoop生态系统中的HDFS技术，建立起秦皇岛地区的大气污染防治大数据平台。未来，通过建立基于此平台的大气业务应用系统，我们可以对秦皇岛地区

的大气污染物来源情况进行准确有效的分析。这一应用模式的探索，也将为未来

更广泛生态环境数据的综合性分析与应用，打下良好的基础。

平台所采用的地面监测数据包括：工业企业污染排放情况、火电企业污染排

放情况、钢铁冶炼企业污染排放情况、水泥企业污染排放情况等。

平台所采用的遥感气象数据主要是用美国国家环境预报中心（NCEP）发布的Final Operational Global Analysis（FNL）资料[3]。我们不直接使用FNL的原始数据，而是采用经过NOAA-Air Resources Laboratory（ARL）预处理模块转化后的数据。

基于FNL资料，可以计算在某一时段内抵达秦皇岛地区的后向气流轨迹，从而有

助于配合地面监测数据揭示秦皇岛地区大气污染的可能来源。

纳入平台的地理信息数据主要有两类：（1）图形数据：此部分数据以矢量图

形的形式存储于HDFS系统中。它们的来源主要是利用搜狗地图所提供的静态地

图API。（2）文本数据：此部分数据包括：a）监测污染源的位置数据；b）交通

拥堵情况；c）气流轨迹数据：此类数据由FNL资料计算而得。各类文本数据都

将构成独立的图层，利用搜狗地图提供的API，标注于图形数据之上。

5 关键技术研究

各类数据会被存入统一的大数据平台。我们采用Hadoop分布式集群结构作

为大数据平台的存储结构。我们使用100台PC级电脑构建起分布式数据存储集群，每个节点同时承担计算和存储的角色。各个数据节点中存放大气污染相关的

大数据。元数据主节点则存放各类大数据在数据节点中的副本分布位置。元数据

辅助节点承担与元数据主节点类似的任务，当元数据主节点宕机时，可以重新启

动元数据主节点。元数据主节点上保存着访问HDFS文件系统的索引信息，它们

主要来源于数据预处理过程中提取的元数据。对于修改元数据主节点信息的操作，事务日志中都会插入相应的记录。而数据索引到数据存储的映射，副本的位置及

编号等信息，都存储在元数据主节点所在的本地文件系统中的一个映射文件中。

对于大数据而言，要想实现数据的高效稳定的访问机制，需要做好两方面的

工作：（1）对数据分块存储并建立适宜的物理数据副本规模；（2）采用适宜的

副本存放策略和数据读写策略[4]。我们采取了搜集数据访问反馈信息的策略，利

用统计学方法实现了副本规模的动态调整。而对于副本的存放策略，我们考虑将

不同副本存放于不同机架的电脑上，以保证一个机架出现故障时不致丢失数据，

并且还能在读数据时充分利用不同机架的带宽。数据的读取策略则采用从距离读

请求节点最近的存储节点上读取数据。同时，我们将对数据加工的相关业务代码

从加工请求所在的电脑发送至数据副本所在的电脑执行，尽可能不在电脑之间进

行数据副本的传递，以提高写数据的效率。

6 结论

本文将大数据技术引入生态环境保护的工作之中，将秦皇岛地区的地面监测

数据、遥感监测数据、地理信息数据整合在一起，建立起秦皇岛地区大气污染防

治大数据平台，使相关的业务应用有了一个统一的底层数据支持。未来，我们可

以基于此平台建立大气污染数据分析系统等业务应用系统，对秦皇岛地区的大气

污染物来源情况进行准确有效的分析。

参考文献：

[1]张永亮，俞海.中国生态环境保护管理体制改革思路与方向：国际社会的观

察和建议[J].中国环境管理，2015（01）：43-47.

[2]肖筱华，周栋.大数据技术及标准发展研究[J].信息技术与标准化，2014（04）：34-38.

[3]赵恒，王体健，江飞，谢旻.利用后向轨迹模式研究TRACE-P期间香港大气

污染物的来源[J].热带气象学报，2009，25（02）：181-186.

[4]宫婧，王文君.大数据存储中的容错关键技术综述[J].南京邮电大学学报，2014，34（04）：20-25