大数据在环境监测中的应用

第32卷第1期2019年2月

污染防治技术

POLLUTION CONTROL TECHNOLOGY

Vol.32,No.1

Feb.,2019大数据在环境监测中的应用

张兰真，陈珂，孔海燕，邢昱，赵颖

(河南省环境监测中心，河南省环境监测技术重点实验室，河南郑州450003)

摘要:在当今社会环境问题日益突出和大数据技术快速发展的时代背景下，大数据的应用在很大程度改变了传统环境监测模式，大数据技术在环境监测领域的引入对传统的环境监测模式带来全面的革新，大数据技术显著提高了环境监测的全面性、搜集分析数据的能力和监测预警能力，文中对大数据内涵进行阐述,结合实际情况对大数据技术在环境监测领域中的应用进行分析，为环境监测从业人员认识大数据在环境监测中的应用提供帮助。

关键词：大数据；环境检测；应用研究

中图分类号：X821文献标识码：A

Application of Big Data in Environmental Monitoring

ZHANG Lan-zhen,CHEN Ke,KONG Hai-yan,XING Yu,ZHAO Ying

(Henan Environmental Monitoring Center,Henan Key Laboratory of Environmental

Monitoring Technology,Zhengzhou,Henan450003,China)

Abstract:In the background of the increasingly prominent social environmental problems and the rapid development of big data technology,the application of big data has changed the traditional environmental monitoring mode to a great extent.The introduction of big data technology in the field of environmental monitoring has brought comprehensive innovation to the traditional environmental monitoring mode,and the big data technology has significantly improved the comprehensiveness of environmental monitoring,the a-bility of collecting and analyzing data and the ability of monitoring and early warning.In this paper,the connotation of big data is e-laborated,and the application of big data technology in the field of environmental monitoring is analyzed according to the actual situ­ation,which will help the environmental monitoring practitioners to understand the application of big data in environmental monitoring.

Key words:big data；environment detection；application research

引言

当今社会已经进入信息化时代，由于计算机技术和网络技术在各行各业中广泛应用，由此产生大量的信息，传统的数据处理方式无法满足如此庞大的信息处理需求，以计算机、互联网和云计算为核心的大数据技术应运而生,大数据技术可以对大量的信息进行髙效的收集、分类、分析和储存，可以为环境监测人员提供准确的检测信息，使得环境检测的工作效率明显提高，同时在数据的处理方面发挥着重要的作用。环境监测需要对污染物的排放量、种类、扩散趋势等进行分析，数据量大、内容复杂,环保监测部门每天要接收大量的自动监控数据，每年的数据总量多大几十亿条，对于传统的信息收集和处理系统而言，根本无法满足环境监测的需要，大数据技术在环境监测领域中的应用已经成为之一种必然的趋势。1大数据的内涵和特点

大数据又称为巨量资料，是指数据量超过10TB(1TB=1024GB)的数据，大数据的核心是对所有数据进行高效的分析处理，对巨量的数据按照不同条件进行分类计算，大数据的运作流程具体大概包括巨量数据收集、数据存储、数据分析、数据处理、统计计算、数据建模、直观呈现以及数据预测等，目的在于通过对巨量的数据进行分析,从中获取对某一方面具有指导价值的数据规律,为现实决策和措施提供技术支持⑷。

大数据含有四个基本特征，一是数据量非常巨

收稿日期：2019-01-07

作者简介:张兰真(1963-),女，河南杞县人，高级工程师，研究方向为饮用水源监测评价。

•48•张兰真等.大数据在环境监测中的应用第32卷第1期

大,根据资料统计，我们常用的导航浏览器每天产生的数据量有数个PB(1PB=1024TB),如此大量的数据如果用A4纸张打印出来的话，需要数千亿张的纸张;二是数据种类多,大数据通常包含以网页为典型的半结构化数据、以视频和语音信息为典型的非结构类数据和以事务为典型的结构化数据，这些数据的处理以及分析方式之间存在很大的差别;三是处理效率高，大数据可以实时接收源源不断巨量高速的数据流，并对数据进行实时高速的分类、计算、处理和储存，从巨量数据中获取具有价值的信息;四是数据价值密度较低,由于大数据下,信息计数非常大，而有价值的信息只是一小部分，一段时间内产生的数据量大，而有价值的信息只是占非常小的一部分,所以就会表现出信息价值密度低的特点。

2大数据在环境监测中的作用

2.1进行数据采集与储存

大数据应用平台可以将各种环境监测数据进行实时的收集、分类、筛选、计算、转换、存储等,将虚假的垃圾信息进行筛选和清理，从巨量的检测数据中分析计算出有价值的数据,并把这些数据按照时间周期进行分类储存，形成可以满足各种环境监测数据分析和处理需要的巨大数据库，利用互联网云平台将所处理的数据在共享平台上分享，同时数据库提供方便外界查询的对接窗口,为公众提供查询服务。

2.2进行数据发掘应用

将大数据平台引入环境监测工作其中非常重要的一个作用是对过往所采集的土壤、大气、水质和污染源分布等环境监测数据进行整合和分析挖掘，将互联网中分散存在的大量分低价值密度的数据进行整合分析，将虚假的信息进行筛选和清理，从中获取有价值的信息，将这些有价值的数据进行整合和计算，发现其中存在的规律,并建立数字模型，应用于环境预警方案制定和环境防治措施实施等环保工作中去,使得数据的价值等级有一个全新的飞跃，因此，利用大数据应用平台对数据的整理和挖掘可以有效的提升环境评价的总体能力和环境监测的工作质量⑵。

3数据技术应用在环境监测中的优势

大数据在环境监测领域的应用优势主要表现在下面几点。

3.1有助于提升环境预警能力

大数据是通过实时收集巨量的数据并处，从中发掘有价值的信息，因而获得的信息准确性高，与实际情况的符合程度高，对于未来的预测也比较准确，可以对环境做到精准预报，例如对大气环境预测方面，大数据可以对污染物的种类、数量做出准确预测，结合风向和地理特点对污染物的扩散速度和趋势做岀准确预测，大数据信息处理高效的特点可以提高预报的时效性，通过模型分析能够对污染物影响进行有效放大，对提前采取预防措施并消除环境影响非常有利，由于大数据和互联网技术相互相配，可以做到现场和网络实时交流，实现信息实时传输，相比传统环境监测模式具有绝对的优势。

3.2提升科学决策的水平

运用大数据技术进行环境监测能够实现信息资料的流通分享，增加了数据本身的附加值，可以将数据分析结果以数据模型的方式直观呈现给大众，时效的环境数据能够为环境监测人员提供准确的信息，对于政府制定决策而言提供了有力的支撑，大数据技术通过数据分析结果可以建立起数字化的模型,可以提前进行治理方案的模拟运行，提前对方案进行预判，很大程度节省了成本,使得科学决策水平有了质的提升。

3.3提升服务水平

大数据进行环境监测时和互联网技术相结合,通过云平台将各种环境咨询通过云平台实时传送给大众，公众可以通过电视、广播、电脑和手机等移动电子终端获得环境的实时状况，公众也可以通过手机和电脑等网络平台参与到环境监测工作中，提高公众的参与性,不仅提高了环境部门的环境服务水平，也能让公众参与到环境监督工作中去，提升公众的参与感⑶。

4环境监测与大数据采集和集成方式

4.1环境检测的数据采集类别

将大数据技术应用于环境监测中,大数据采集的数据主要来自于两个部分，一部分来自于环境监测部门内部在日常环境监测工作中获取的结构化监测数据，这些监测数据时间跨度可以达到几十年，具有时间跨度长的特点；另一部分是来源于获取的外部环境监测数据，由于外部环境因素复杂，环境监测数据的变化较大，无法做到统一时间采集和分析，通常是利用大数据的实时性动态收集数据,对环境进行实时监测和响应,这类数据都是非结构化的数据，其时间跨度相比环境监测部门内部监测和分析数据时间跨度比较大⑷。