大数据环境监测云平台解决方案

环境监测云平台解决方案
目录
1项目背景 (3)
1.1背景概述 (3)
1.2需求分析 (3)
2总体设计 (4)
2.1逻辑架构设计 (4)
2.2物理拓扑设计 (6)
2.3平台主要功能设计 (7)
3前端数据采集设备 (9)
3.1水质因子数据采集设备 (9)
3.2土壤因子数据采集设备 (10)
3.3空气污染因子数据采集设备 (11)
3.4室内PM2.5、甲醛数据采集设备 (12)
3.5室外PM2.5数据采集设备 (14)
4数据网络传输 (14)
4.1物联网无线通信 (14)
4.2高并发实时数据接入 (15)
5中心大数据云平台 (16)
5.1万物云平台 (16)
5.1.1万物云架构 (16)
5.1.2平台优势分析 (18)
5.1.3数据整合 (19)
5.2cStor云存储平台 (19)
5.2.1云存储架构 (19)
5.2.2平台优势分析 (20)
5.2.3数据管理模块 (22)
5.3cProc云处理平台 (23)
5.3.1云处理架构 (23)
5.3.2平台优势分析 (24)
5.3.3数据立方技术 (26)
5.4DataSense数据挖掘平台 (28)
5.4.1数据挖掘架构 (28)
5.4.2数据挖掘功能 (30)
5.5环境云承载平台 (35)
6平台主要应用功能 (36)
6.1常用功能及展示 (36)
6.1.1GIS地图展示 (36)
6.1.2常用报表功能（日报、周报、月报等） (37)
6.2基于实时预警的环控应急处置 (41)
6.2.1空气质量监测 (41)
6.2.2空气质量发布 (41)
6.2.3空气质量预警 (42)
6.3基于数据挖掘的污染源追踪 (43)
6.3.1污染物演化预测 (43)
6.3.2污染物数据追踪 (44)
6.4基于数据管理的辅助决策 (45)
6.5移动终端服务 (45)
7案例分享....................................................................................................错误!未定义书签。

7.1PM2.5云监测平台 .......................................................................错误!未定义书签。

7.2城市市千灯镇环保空气在线监测平台........................................错误!未定义书签。

7.3江苏省环境监控系统固定风险源视频监控联网集成及存储设备错误!未定义书签。

8预期效益 (46)
8.1经济效益 (46)
8.2社会效益 (47)
9联系我们....................................................................................................错误!未定义书签。

1项目背景
1.1背景概述
随着空气污染程度日趋严重，公众对于空气质量的关注度不断提升，由于数据信息化工作仍处于低端水平，使得空气质量的监测重要性日益突出。

针对环境的监控和治理需求，南京云创大数据科技股份有限公司打造的“环境监测云平台”，实现对环境质量的全面管控。

“环境监测云平台”通过特征因子传感器结合最新云技术监测系统，既能够解决资金投入问题，同时满足一定的测量精度，构建前端高性价比的空气、水质、土壤等环境质量特征因子采集设备和中心端大数据云计算支撑平台，为环保部门、高校企业等应用场所提供完善的应用服务、技术支撑、预测预警、辅助决策等功能，更好地为环境质量的保护与治理贡献力量。

1.2需求分析
结合当前环保监测实际情况，目前“环境监测云平台”主要需求如下：
➢前端数据采集主要包括：室内PM2.5、甲醛等，室外PM2.5、空气污染因子、水质情况、土壤污染等大量不同种类的数据；
➢平台在大数据的基础上，建立对数据的深入分析和挖掘体系，为整体平台做最优化支撑；
➢针对目前应急管理制度，缺乏有利的数据支撑，需要建立基于技术手段的污染预警和预测机制；
➢支持多终端访问，图形化展示各类空气质量数据，支持实时数据展示、历史数据呈现、大数据应用体验等功能；
➢接口协议标准开放，可以轻松与第三方现有应用对接集成，便于横向和纵向的扩展。

2总体设计
2.1逻辑架构设计
“环境监测云平台”方案着眼于环保大数据相关领域，包括环保大数据的采集、存储、处理、挖掘、展示等。

采用“互联网+环保”的思路，解决方案总体架构如下图所示。

总体逻辑架构图
整个架构由四层组成，从下往上依次为：
数据源：本层是环保数据的采集，包含现有业务系统数据的抽取、环境监测
站的数据、部署大规模的环境传感器的数据、PM2.5传感器数据、水质监测站数据、土壤传感器数据、人工现场采集数据、移动监测仪数据、以及视频数据等。

物联网技术已经比较成熟，在环保行业已有大量应用，我们建议在现有范围内更大规模部署环境监测传感器。

云平台层：本层包含解决海量环保数据存储问题的分布式云存储平台，环境云、万物云平台，以及实现IaaS、PaaS甚至SaaS功能的云计算平台等。

可以将省、市、区县各级的环保业务应用系统部署在统一的云计算平台上，实现业务系统的快速部署上线，实现资源弹性供给，有效降低总体拥有成本。

万物云提供海量实时传感器大数据托管服务，实现了大规模物联网传感器的实时数据传输、处理、存储、数据挖掘等功能。

万物云平台支持主流的HTTP、MQTT等协议使得传感器通过无线网络将数据可靠传输到平台服务器，用户可在这些协议的基础上实现传感器与万物云的互联，为用户提供一个涵盖数据采集、可靠传输、大数据存储和处理的完整解决方案。

大数据层：本层实现了基于数据立方技术的大数据库，基于分布式技术的大数据的挖掘、分析，该层主要对各类数据进行处理分析，为业务应用层提供服务。

数据立方是一种高效分布式海量数据的云处理软件，具有从TB至PB级的数据中挖掘出有用的信息并进行快捷、高效处理的能力，同时支持数据仓库存储和商业智能分析等业务。

目前已大规模商用。

在中国联通某省安全生产运行了三年，仅用了400多台服务器，就支持了1亿手机用户形成的15Gbps的信令数据流的实时处理，每天新增100亿条记录。

应用层：环保业务应用包含了已有或新建的各类业务应用系统、门户网站、移动业务、App等。

应用层提供了不同角色人员（公众、企业、专家、环保部门等）获取环保信息、服务环保事业的窗口。

互联网技术，特别是移动互联网在环保产业中的广泛深入应用，对于促进环保信息公开、激发公众参与环保、促进环保事业快速发展有着积极作用。

建议将更多的信息向公众开放，将更多的功能提供给公众、企业。

通过多种渠道、方式汇集的海量环保数据如何实现高效、低成本存储，如何对海量环保数据进行快速处理分析，从海量数据中挖掘有用有价值的信息，对信息价值和保密级别进行分类等，这些依赖于大数据的存储和大数据处理技术。

本方案主要涉及环境数据采集、环保大数据存储、环保大数据的处理分析以及智慧环保新应用。

存储采用云创自主创新的cStor分布式存储，它可以支持PB级甚至EB级海量数据的存储；大数据处理分析采用云创数据立方，实现海量环保数据的快速处理；大数据挖掘采用云创DataSense分布式数据挖掘技术对海量环保数据进行深度挖掘。

通过大数据技术促进环保行业的创新发展，充分利用环保大数据，挖掘其价值，促进环保大数据的广泛、深入应用。

2.2物理拓扑设计
整个“环境监测云平台”是基于云计算分布式架构，利用最新的大数据技术而设计规划的，主要包括前端数据采集设备、环境监控云平台和客户端等相关模块，具体架构如下图所示：
“环境监测云平台”总体架构图
在进行“环境监测云平台”设计时，主要结合当前环保现状，重点考虑到了以下几点：
1、前端数据采集包括内容涵盖主要的空气、水质、土壤相关环境数据，针对室内主要有PM2.5和甲醛，针对室外主要有PM2.5和其他大气污染因子（如：H2S、NH3、NO
2、SO2等）；针对水质主要是有水质监测（如：COD、氨氮、总
磷、总氮、六价铬、总铬、pH值、悬浮物、浊度、溶解氧、氰化物等）和水雨情监测（如：雨量、水位、流量等）；针对土壤主要是土壤情况的监测（如：光照、湿度、温度、pH值、土壤硬度等）。

2、鉴于系统可扩展性考虑，“环境监测云平台”提供开放性的标准接口，需要与第三方平台进行对接；
3、“环境监测云平台”为统一监测平台，平台的数据量会随着时间和平台的不断拓展而逐渐增多，所以要求底层大数据库和存储系统采用云计算分布式架构，以具有优异的横向平滑扩展性；
4、“环境监测云平台”具有良好的用户体验，支持PC客户端、手机客户端、平板客户端等多终端用户的访问使用。

2.3平台主要功能设计
（1）实时数据入库
实时数据入库主要负责部署所有监测点产生的各类空气、水质、土壤环境因子数据实时存到监测平台数据存储中心。

（2）数据存储
海量原始数据，将全部存储在“环境监测云平台”的分布式文件系统中，用于大数据存储。

为了满足和适应数据量、数据特征和查询处理的不同需求，部分存储于关系型数据库中。

（3）数据查询应用
数据查询分析应用提供包括实时监控，查看历史记录和分析数据等功能。

历史查询处理时，由于数据量巨大，需要调度使用云计算技术管理多台服务器节点进行并行处理。

（4）实时预警
对环境各个指标设置对应的域阀值，超过该值超过一分钟等就第一时通过邮件，App推送，或者短信等形式通知行政执法人员，给管理部门迅速出动，及时阻止破坏环境保护的行为。

（5）数据管理
在实际使用中，可能用户会对某一时间段或者类型的数据特别关心，就可以
通过数据管理系统查询并导出这部分数据以供使用。

（6）数据挖掘分析
通过大数据分析挖掘，对海量环保数据进行深度学习和应用挖掘，进行一定的分析研判，预测应急，辅助领导决策。

（7）开放接口
平台对外提供标准化开放接口，支持第三方平台对接调用。

3前端数据采集设备
3.1水质因子数据采集设备
水质监测系统主要包括水位计、超声波流量计、多参数水质分析仪、数据采集遥测系统、供电系统、监控管理软件等几部分组成。

水位计、超声波流量计和多参数水质监测设备实时采集各项水质参数，通过遥测单元，将数据实时报送给监控中心或移动监控终端。

在组站上有地面站和浮标站等多种灵活的组站方式，通讯方式支持短信/GPRS、有线、卫星等多种模式。

系统工作主要按三种方式来触发，系统的定时触发、系统增量触发和系统查询应答。

水质因子数据采集设备组成示意
水质因子数据采集设备的主要特点有：
1、采用国际先进的监测、分析及控制技术，达刭国际先进水平，并能够通过升
级保持先进性及各项技术的稳定性、成熟性；
2、同时需满足现场操作简单扼要，易于运行维护及错误判断等要求，可靠性设
计始终被放在优先考虑的位置；
3、设备设计从多方面保证系统的安全性，包括设备对故障的良好恢复能力，设
备数据的安全以及操作的安全；
4、具有良好的兼容性和可扩展性，轻松实现后续新设备的添加；
5、使用便捷，操作简单，易于管理；
6、设备采集上报数据接口标准化，便于与其他应用系统对接。

3.2土壤因子数据采集设备
通过对影响土壤环境质量因素的代表值的测定，确定环境质量（或污染程度）及其变化趋势。

我们通常所说的土壤监测是指土壤环境监测，如：光照、湿度、温度、PH值、土壤硬度等等，其一般包括布点采样、样品制备、分析方法、结果表征、资料统计和质量评价等技术内容。

土壤监测设备外观图
图为土壤监测传感器土壤监测传感器方便于土壤多环境的测量研究，具有携带方便，密封，高精度等优点，是土壤监测测量的立项选择，其中土壤温度部分是由精密铂电阻和高精度变送器两部分组成。

变送器部分由电源模块、温度传感模块、变送模块、温度补偿模块及数据处理模块组成，彻底解决铂电阻因自身特点导入的测量误差，变送器内有零漂电路和温度补偿电路，对使用环境有较高的适用性。

土壤采集设备的特点有：
1、本传感器体积小巧化设计，测量精度高，响应速度快，互换性好；
2、密封性好，可直接埋入土壤中使用，且不受腐蚀；
3、实时温度监测功能，可测量不同深度土壤的温度；
4、土质影响较小，应用地区广泛；
5、测量精度高，性能可靠，确保正常工作，响应速度快，数据传输效率高；
6、价格低廉，适合中国国情。

3.3空气污染因子数据采集设备
在存在空气污染和安全隐患的区域，部署空气污染因子气体采集监测设备，监测污染和危险气体的含量，中心云计算平台可以查询空气质量实时和历史数据，设备架构图如下所示：
空气传感器采集架构
设备安装部署图如下所示：
空气质量监测箱外观图
内部实体图如下所示：
气体监测箱内部图
每个气体监测箱内部可部署不超过4种的气体采集模块，例如：H2S、NH3、NO2、SO2、可燃气体等，根据实际部署区域需要，可按需调控增减模块数量，构建适宜的前端气体监测箱。

除了气体监测设备外，如果有需要，也可以提供水质、土壤、微生物、电磁、固废、辐射、噪音等相关的前端传感采集设备。

3.4室内PM2.5、甲醛数据采集设备
当今社会空气污染日益严峻，人们的对环保的认知也逐步提升，愈发关注环境问题，尤其是自己生活区域的空气质量。

比如：室内PM2.5是多少？家里家具甲醛是否超标？装修好的房子什么时候可以入住？新进的家具有没有问题？什么时候可以开窗？空气净化器有没有用？
针对这一现象，南京云创大数据给出了很好的解决方式，以极高的性价比让
室内的PM2.5和甲醛“看得见”，我们形象地将其称为“环境猫”。

“环境猫”外观图
作为空气质量监测设备，首先强调的就是传感器的精准度。

“环境猫”室内空气监测仪，基于昂贵精准的传感器（核心原材料从英国进口），可以准确测量室内的甲醛与PM2.5。

下图显示了云创监测设备与环保厅官方采集数据的长时间对比图：
“环境猫”数据准确度对比
3.5室外PM2.5数据采集设备
室外PM2.5云监测设备需用到先进的PM2.5传感器。

每套监测系统部署多个PM2.5传感器，当任意一个或者几个传感器出现问题，传感器冗余，保证环境监测系统正常运行，保证本监测点的环境监测数据的可重复。

室外PM2.5云监测设备外观
室外PM2.5云监测设备需主要是由电源模块、采集模块和通信模块组成，前端内部架构具体详见下图：
室外PM2.5云监测设备内部架构
室外PM2.5云监测设备采用先进的传感器、低功耗单片机技术和网络通讯技术相结合，具有数据存储功能，可提供方便的数据查询方式，通过GSM、3G等通讯方式及时上传环境监测数据。

4数据网络传输
4.1物联网无线通信
前端设备的通信基于物联网的方式进行设计，并且考虑到安装设备地点的不可控，传输距离可能很大，同时数据流量一定的情况下，选择GPRS无线通讯方式进行数据的无线传输。

具体的数据传输的网络示意图详见下图。

物联网无线通信数据传输
前端设备通过传感器，采集到相关的数据，数据基于TCP/IP协议，经过GPRS的数据传输，通过移动网络传输数据，利用公网的服务器接受数据，然后将数据进入云平台后，进行数据的处理，最后通过WEB服务器等方式将数据展现出来。

注意:每个前端设备有一个供应商的SIM卡进行数据通信，该SIM卡需要有GPRS业务，同时使用的地点必须有供应商的信号。

例如使用中国移动的SIM 卡，该卡需要有GPRS的业务，同时放置空气质量测试前端的地点需要有中国移动的信号才可以正常的通信。

4.2高并发实时数据接入
“环境监测云平台”作为海量环境数据的汇聚平台，支持：
➢前端数据传输支持数据自动上传及按需上传两种模式，单台服务器并发数据提交处理性能高，可弹性规模扩展
➢前端服务器，手机同时在线量2000到6000
➢高并发、低延迟设备数据提交
➢设备规模支持按需弹性扩展
数据采集形式
前端采集设备/平台采集的环保监控数据参数通过GPRS等有线/无线方式传送到数据接入服务，通过“环境监测云平台”的智能分析处理，将实时的预警信息通过邮件，APP推送，短信提醒等方式发送给行政执法者，通过空气质量监测预警平台与原有的视频监控平台结合更能够及时的摄录破坏环境的违法行为，真正做到执法有依据，违法必究的目的。

对海量历史和实时数据的智能分析，最终通过web网页，移动终端展示给最终用户，为客户科学分析环境污染趋势，为决策制和行政执法人员最好环境保护的信息化技术支持工作。

5中心大数据云平台
5.1万物云平台
5.1.1万物云架构
万物云提供海量实时传感器大数据托管服务，实现了大规模物联网传感器的实时数据传输、处理、存储、数据挖掘等功能。

万物云平台支持主流的HTTP、MQTT等协议使得传感器通过无线网络将数据可靠传输到平台服务器，用户可在这些协议的基础上实现传感器与万物云的互联，为用户提供一个涵盖数据采集、可靠传输、大数据存储和处理的完整解决方案，万物云架构如图所示：
万物云架构图
万物云底层是分布式海量弹性分布式数据存储和计算架构，在其之上构造了一个面向智能硬件和物联网应用的数据存储和数据处理的服务和业务逻辑层，并提供一个基于HTTP协议的RESTFul应用服务调用接口以及一系列覆盖各主流语言和平台的应用程序编程接口，包括Linux、iOS、Android系统和Java、Python、C#、Scala、PHP、Ruby、Node.js等编程语言。

万物云服务按功能可分为数据存储托管服务和数据处理应用服务。

数据存储托管服务提供海量、弹性、安全、高可用和高可靠的云存储。

数据处理和应用服务提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。

万物云主界面
5.1.2平台优势分析
万物云服务按功能可分为数据存储托管服务和数据处理应用服务。

数据存储托管服务提供海量、弹性、安全、高可用和高可靠的云存储。

数据处理和应用服务提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。

万物云主要有如下技术优势：
1.简单易用的综合平台
万物云提供丰富并且高质量的文档、代码以及视频帮助用户快速的学习和使用平台，论坛、微博、微信也可以让您方便的得到开发团队的技术支持，同时万物云还为用户提供了丰富的管理工具，对用户的数据进行管理和性能的监控。

2.强大的数据和编程服务
万物云平台针对不同的开发语言环境提供智能硬件专用的数据服务接口和丰富的应用编程接口，平台能简单、快速的将智能硬件数据直接接入；用户可以非常方便的把万物云的API集成到自己的应用里，不但可以减少和简化物联网应用端的代码，同时将复杂的物联网数据存储和处理服务交给万物云，能够给更专注于相应的业务开发，提高生产力。

3.高性能的存储查询效率
万物云基于分布式存储系统提供的安全、可靠和高效的各项云数据云计算的基础服务,可确保平台向物联网应用提供卓越的数据存取规模和性能。

万物云的存储系统支持弹性扩展，用户无需担心存储空间不足。

单表PB级别的数据存储，并且支持表结构横向扩展。

分布式系统中各存储节点副本数据实时一致，读写性能不会因数据量增加而受影响。

性能上现有平台提供毫秒级单行数据读写延迟，数据查询在百万QPS级别，典型数据批量入库性能可达每秒6000条。

4.完善的数据安全体系
用户数据安全是物联网数据应用的关键。

万物云通过一系列多层次的安全验证和访问权限限制措施保护用户数据，防止丢失和泄露事件的发生。

主要包括：用户数据隐私、访问许可验证、用户数据分离、攻击防范机制等。

5.丰富的智能硬件接入支持
万物云平台支持主流的数据格式协议和通讯协议，智能设备通过无线网络将数据可靠传输到平台服务器，为用户提供一个涵盖数据采集、可靠传输、大数据
存储和处理的完整解决方案。

5.1.3数据整合
万物云平台可以整合接入前端海量异构设备或现有平台，规范数据格式，数据整合具有很大的价值也意义。

➢辅助决策要求
环境控制强调的核心主题为“过程控制”，即将数据中心技术与环保决策工作有机结合，实现环保业务工作流程的优化和重组，解决职能交叉多环节重复采集信息的问题，建立公开、透明、实时监控的监管和决策的模式。

由此可见，完备的数据中心是环保决策的先决条件，为了做好数据支撑效果，将原有已建环控系统数据整合到现有“环境监测云平台”成了必然之选。

➢数据共享要求
“环境监测云平台”是一个综合的环保决策平台，平台数据服务贯穿各个环保管理部门和业务部门，从而构建了一套“纵向贯通、横向集成、互联互通”信息应用体系，而只有做到将原有零散且相互独立的环控系统完美整合，才能有效建立省、市、区县三级联动的环控监管体系。

➢数据综合性要求
环保信息化集中体现了“跨学科、跨地域、数出多门”等特性，同时，现代环保监管部门又对数据的一致性、决策指导提出了较高的要求，为高效支持前端管理及执法人员，在城市建立一套“跨学科、跨地域、跨平台”的“环境监测云平台”成了现代环控的必经之路。

5.2cStor云存储平台
5.2.1云存储架构
cStor云存储资源管理系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。

它采用包括卷管理服务器、元数据管理服务器（Master Server）、数据存储节点服务器（Chunk Server）和挂接访问客户端以及管理监控中心服务器的结构构成虚拟统一的海量存储空间。

在每个服务器节点上运行cStor云存储资源管理系统相应的软件服务程序模块，系统架构框图如下：
cStor云存储架构
其中，Master Server保存系统的元数据，负责对整个文件系统的管理，Master Server在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；Chunk Server负责具体的数据存储工作，数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了cStor 云存储系统的规模；挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在Chunk Server上，每一个块数据服务器，既可以作为存储服务器同时也可以作为客户端服务器。

由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。

管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。

这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的Chunk Server即可，而不需要添加整套设备。

在实现大规模扩展时也可方便地添加整个卷设备。

5.2.2平台优势分析。