基于大数据及深度学习的智能光感气象监测与分析系统规划设计方案

目录
第1章现状与需求 (2)
1.1项目背景 (2)
1.2需求分析 (3)
1.1.1系统现状 (3)
1.1.2业务现状 (3)
1.3项目研究工作 (4)
1.1.3图像预处理 (4)
1.1.4建模与分析 (4)
1.1.5数据采集与建模 (4)
1.1.6实时生产数据采集 (4)
1.1.7气象实时监控与分析展示 (4)
第2章技术方案 (5)
2.1总体设计 (5)
2.1.1系统架构 (5)
2.1.2技术架构 (6)
2.1.3网络结构 (9)
2.2数据采集 (10)
2.3关键帧提取 (10)
2.4数据标注 (11)
2.5图像预处理 (12)
2.5.1数据增强 (12)
2.5.2图片降噪 (12)
2.5.3特征加强 (12)
2.5.4批次规则化 (12)
2.5.5图像灰度处理算法 (12)
2.5.6图像光流特性 (12)
2.6建模分析 (13)
2.6.1模型设计 (13)
2.6.2模型验证 (18)
2.7实时视频采集模块 (19)
2.8气象实时监控与分析展示 (19)
2.9硬件资源评估 (19)
2.10项目实施计划 (20)
第3章规划实施步骤 (22)
3.1第一阶段计划：数据采集、建模分析与验证 (22)
3.2第二阶段计划：18000个摄像头接入逐步实现自动化识别 (22)
3.3第三阶段：定性分类精细化 (22)
i
第1章现状与需求1.1 项目背景
中国气象局印发《综合气象观测业务发展规划（2016-2020年）》（简称《规划》），明确“十三五”时期全国综合气象观测发展目标、主要发展任务、专项行动计划和保障措施。

并提出到2020年，全面实现观测业务现代化，观测业务整体实力达到同期国际先进水平，为实现气象现代化和建设智慧气象奠定坚实基础。

《规划》明确“十三五”时期综合气象观测发展的七项任务：构建新型观测业务体系，统筹布局气象观测站网，建立气象观测标准质量体系，发展智能气象观测能力，提高观测业务稳定运行能力，提升观测数据处理应用水平，加强科技创新和人才队伍建设。

实现智能化观测能力和提升数据处理应用水平离不开高水平科学技术的支撑。

《规划》提出，将提升智能气象观测能力，通过完成地面观测设备自动化改造和提升雷达及探空自动化水平，推进观测设备自动化改造；通过发展智能气象观测装备和实施观测智能化发展行动计划，在观测设备智能化方面实现技术突破；通过发展天气实况自动判识能力和发展自适应性观测技术，推进观测模式智能化；通过推进地空天协同观测和发展灾害性天气工作模式，发展业务化协同观测能力。

依据上述指导原则，河南省今年投入数百万建设了基于大监自动站、包括200+高清探头组成的实景监控网络，可通过桌面或手机APP对这些探头完成状态控制、影像监控以及观测数据叠加，初步形成了与常规要素气象观测数据相互验证、相互补充的业务能力，在重要天气过程的辨识、跟踪和回溯方面发挥了积极作用。

后续，我省将跟随观测智能化行动目标，积极开展人工智能领域的研究和实践，充分整合现有社会化观测资源，力争明年在全省构建由2万个摄像头组成的视频监控网络，并实现基于人工智能技术的视频图像自动截取、识别以及天气状况分类处理，最终实现更加精细化的全省天气实况实时绘制和发布。

本项目作为省级创新项目，拟近期正式启动。

第一阶段，将率先完成技术
验证，确定开发方向和技术路线，组成全省200个摄像头的AI天气实况观测实验网。

第二阶段，通过不断优化模型和算法，逐步形成全省18000个高清摄像头AI天气实况观测网，形成稳定可靠的全新业务能力。

1.2 需求分析
根据气象部门的观测场内高清视频监控拍摄到的海量历史天气视频数据，通过构建人工智能神经网络，对这些海量历史天气视频数据进行深度学习，完成不同天气状况辨识模型的建立，并借助常规气象观测数据的指引完成算法优化，最终实现对晴、多云、阴、雨、冰雹、雪等主要天气状况自动定性和归类。

1.1.1系统现状
目前由公安、交通等相关政府部门和有关移动通讯企业建设的高清视频监控网络，全天24时都在记录监控着高质量的海量的实时的气象数据，这些弥足珍贵的数据信息，不但在空间分布范围上大大超越了自动站的探测范围，而且对特定区域灾害性天气过程的监视、预警和服务具有极大的参考价值。

目前这些高质量的视频数据已经全量集中存储在了数据中心，并且与气象传感器数据进行了映射。

1.1.2业务现状
目前视频监控信息处理自动化程度较低，依靠人工手段监控识别视频信息耗时费力，且主观意识介入成分较大，会导致效率较低且准确率不高等问题，因此已存储的视频资料还远没有转化为生产力，视频监控系统仍处于初级应用阶段和被动应用阶段，远远没有发挥出其应有的价值。

随着监控摄像头的不断扩容，后续计划接入18000+高清摄像头组成的视频网络，探头数量较目前增加了数倍，采集的数据量更是暴涨了几个数量级。

如何采集接入视频数据并且通过自动化的机器学习手段高效识别图片特征信息，降低人力物力的投入，同时从视频数据金矿中挖掘更深层次的高价值的天气实况信息，是本项目急需研究解决的课题。

近年来，随着人工智能的飞速发展，基于深度学习的图像识别技术日趋成熟和超算桌面化又为人工智能的实现变得简单易行，客观上使用机器代替人工从海量的视频资料中提取天气实况信息变为可能。

1.3 项目研究工作
1.1.3图像预处理
对各类数据集进行编码转换、几何变换和脏数据清洗等，随后这些数据集会被进一步细分为两大类——训练集和测试集。

训练集用于建模，提取特征参数。

测试集用于检验模型的优劣并通过调参，优化分类算法。

1.1.4建模与分析
构建泛化效果好的机器学习模型，以及特征自动提取的、面向连接主义的、高消耗高精度的深度学习模型。

通过改变神经网络层数以及实验不同的算法，逐步锁定各类天气状况的辨识模型。

通过不断增加训练样本数和参数调优使模型不断得到优化，提升辨识结果的成功率。

1.1.5数据采集与建模
采集气象传感器数据、地理位置数据，并将各类天气状况对应时段的视频资料进行截取，提取其中的关键帧，人为地加以划分，形成各类天气状况的特征数据集，以备建模和训练使用。

1.1.6实时生产数据采集
建模与训练完成进入实战阶段后，测试样本来自于各个探头的实时数据采集。

与前个阶段不同的是，这时的视频流集合将是海量的，对网路性能、并发性能、存储性能以及数据结构、系统架构等，均构成严峻的挑战。

尤其是，当针对18000+探头进行实时处理时，必将导致后台数据处理压力极大。

项目初期，需要兼顾考虑这些因素，为项目不断深入并实现真正的业务化，做好基础性的设计和准备。

1.1.7气象实时监控与分析展示
将辨识分类结果进行全景展示，通过最终训练的模型，来对观测场内高清视频监控拍摄到的实时天气视频进行识别，判断出晴、多云、阴、雨、冰雹、雪等主要天气状况，以河南省行政区划图为背景，将天气状况以形象化的天气符号，叠加到底图上进行实时合成。

天气实况的刷新周期，初期定为每小时刷新一次。

第2章技术方案
2.1总体设计
2.1.1系统架构
智能光感气象监测与分析系统从气象局数据中心采集监控视频数据和气象传感器采集的数据，经过数据的预处理后，导入到建模分析模块，最后进行结果的发布与展示。

具体详情请见下图：
2.1.2技术架构
2.1.2.1技术选型
从功能、性能、社区支持、扩展性和定制性、已知问题和约束等多个方面比较，首选行业内比较成熟的开源框架，便于开发、维护和升级。

数据存储层，主要采用高容错性的HDFS存储处理后的数据，HBase辅助存储。

MySQL用于系统元数据存储管理，Redis作为缓存数据库。

数据处理层，根据功能需求不同，分别使用MapReduce离线计算、Spark内存计算、storm实时计算、hive数据仓库。

数据服务层，使用springboot开发框架快速开发，web开发选用springMVC，JDBC框架选用mybatis。

数据展现层，采用灵活性高、兼容性好的Bootstrap前端框架，Bootstrap 是基于 HTML、CSS、JavaScript的，它简洁灵活，使得 Web 开发更加快捷。

可
视报表采用Echars可视化报表，使用直观便捷。

2.1.2.2软件架构模式
选用微服务架构模式，将整个项目分解为小的、互相连接的微服务，使复杂性问题变得简单，单个服务很容易开发、理解和维护。

微服务模式的优势是：
1）每个服务都可以有专门开发团队来开发。

2）每个微服务可独立部署，不影响其他服务的基础上，快速迭代开发测试，使得持续化部署成为可能。

3）每个服务独立扩展，当并发需求增加时，可以方便的扩展。

2.1.2.3算法描述
一、深度学习
从20世纪40年代的控制论，到20世纪80年代的联结主义，再到2006年深度学习的复兴，深度学习和AI技术经历了三次发展浪潮。

最近这一次的进步依赖于分布式计算和GPU图形处理器技术上的突破，使得海量训练数据的存储和处理成为可能，于是极大地降低了泛化误差。

在理论层面有万能近似定理作为支撑（该定理表明，一个前馈神经网络如果具有线性输出层和至少一层具有任何一种“挤压”性质的激活函数的隐藏层，只有给予网络足够数量的隐藏单元，它可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的Borel可测函数），在应用方面几乎在所有领域击败了传统机器学习算法。

深度学习是否能突破NFL定理（No Free Lunch 定理：对任意模型不存在绝对最优的算法）还不可知，但至少与传统机器学习算法相比不再需要建立平滑先验的假设，这意味着人类认识世界的方法从根本上发生了改变。

遗憾的是，目前暂无对于一个实际问题应该构建何种结构的深度网络（例如网络的深度）的方法论。

研究人员需要经过大量实验才能找到最合适的网络结构。

幸运的是，前人为我们累积了不少经验。

通过这些经验，我们不需要从零开始搭建我们的深度网络。

在计算机视觉领域，2012年的AlexNet、2013年的ZFNet和2014年的GoolgeNet已经成为教科书一般的案例，我的的深度卷积网络，将以AlexNet作为基础网络结构，在其之上进行发展创新，最终形成适合利用监控视频图象对天气状态进行识别的深度网络模型。

二、马尔科夫链
1、马尔科夫链背景
在生活中，很多确定性现象遵从如下规则：系统或过程在时刻t>t0所处的状态可以由时刻t0系统或过程所处的状态决定，而不需要借助时刻t0以前系统或过程所处状态的历史资料，如微分方程所描述的物理过程。

以此类推到随机现象，即当一系统或过程遵循的是某种统计规律时，可仿照上面的原则，而这就是马尔科夫性或无后效性：过程或系统在时刻t0所处的状态为已知的条件下，过程在时刻t>t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。

P(Xn=j|Xn-1=i)=pij
式中:pij是过程从状态 i 到状态j的转移概率。

2、马尔科夫链理论
马尔科夫过程是具有无后效性的随机过程。

无后效性是指当过程在tm时刻所处的状态为已知时, 过程在大于tm的时刻所处的状态的概率特性与过程在tm 时刻所处的状态有关, 而与过程在tm 时刻以前的状态无关。

通常把时间和状态都离散的马尔科夫过程称为马尔科夫链, 这种过程可用条件概率来描述。

为了方便, 将当前时刻的状态记为i, 下一时刻的状态记为j, 则条件概率的公式可写为:
如果在一次状态转移中转移概率与t时刻无关, 且为一常数, 即:
P(Xn=j|Xn-1=i)=P(Xk=j|Xk-1=i)=pij
则称此马尔科夫过程为时间齐次的。

在气象系统的研究中, 只涉及离散的齐次马尔科夫过程。

由于上述过程中从i 状态到j 状态的转移是一步完成的, 故称pij为一步转移概率。

对于有n个状态时, 它的一步转移概率可写成矩阵形式为:
式中:pij≥0 (i, j=1, 2, ⋯, n);
∑
=
=
=
n
j
ij
n
i
p
1
)
,,3,2,1
(1
若系统在tm时间处于状态i, 经过k次转移后在tm+k时间处于状态j
的概率为pij(k), 则称pij(k)为k步转移概率,记作P(k)。

不难证明, 它可由一步转概率矩阵来表示, 即:
P (m)=Pm
如果起始状态概率向量为P(0), 经过m步后过程处于 j 状态的概率可用下式解出:
P(k)=P(k-1)·P=P(0)·Pm
三、复杂网络
在生活中，有大量的真实网络既不是规则网络，也不是随机网络，这样的一些网络被科学家们称作复杂网络。

我国著名科学家钱学森给出了复杂网络的一个较严格的定义：具有自组织、自相似、吸引子、小世界、无标度中部分或全部性质的网络称为复杂网络。

复杂网络的复杂性主要表现在六个方面：结构复杂、网络进化、连接多样性、动力学复杂性、节点多样性、多重复杂性融合。

四、决策树-李峥
2.1.3网络结构
2.2数据采集
数据同步、存储及关联：
通过使用sqoop、flume等大数据功能组件，将抽样视频文件同步到本地集群文件系统，同时将文件路径记录到本地MySQL数据库。

将气象传感器数据、地理位置数据同步到本地MySQL，并将三部分数据进行关联映射。

本阶段是为建模分析积累样本数据，关系到未来模型是否准确可靠且容错性，所以数据量要足够大，特征维度足够高，主要表现在数据完整性，数据全面性（时间空间），例如，12个时辰、季节变化、地域区块观测点等。

2.3关键帧提取
提取视频中关键帧的目的是通过较少的静态视频帧来标识相关视频流的主要内容，一般关键帧的提取遵守“宁多勿少”原则。

在大多数算法中提取出的关键帧允许有少量的冗余，但不能缺少视频的主要内容。

所以关键帧的提取是在较少冗余数据的情况下，表达视频的主要内容。

关键帧是模型建立的关键步骤，由于视频流的连续帧里包含大量脏数据，所以需要制定相应的方案，来提取满足要求的数据。

基于指定间隔关键帧提取：这种方法通过制定时间间隔的方法截取视频流中的帧，这种方法的优点是简单、逻辑清晰，时间、计算成本低，但这种方法有可能会漏掉有效数据，而截取到脏数据，如下图表示的视频流中一小段，由于太阳缘故导致过曝的帧，这种图像对于训练有较大的影响。

基于图像信息的关键帧提取：该方法根据视频图像的基本特征，如颜色、运动信息等特征对关键帧进行提取。

这种方法通常选取某一帧作为关键帧，然后通过计算视频流中其他帧与此帧的相关程度来选择新的关键帧，需要这顶阈值，当超过设定的阈值时则作为新的关键帧。

基于视频聚类的关键帧提取：该方法通过一个或者多个视频帧图像的特征确
定类心，计算当前帧的特征值，这之后通过计算与前类心的距离来判定关键帧是否为新类，如果是则确定为新的类心并取出关键帧。

在这种提取方法中常用的聚类算法有K-means聚类和模糊C-means聚类。

在K-means算法中对真的分类是明确的，每个关键帧都是一类；而在模糊C-means算法中，计算每个样本对所有类心的隶属度，最终决定样本所在分类。

2.4数据标注
采集到的图象数据我们将会分两步进行标注（为图象添加天气状态标签）：
1.专家人工标注：
由于原始图象数据没有任何天气状态的标签，无法进行有监督的机器学习，所以人工标注这一步必不可省。

但是，为数据进行标注的人员
必须有一定的气象专业基础、光感设备基础的知识储备，才能准确无误
的标注图象。

这将使得项目初期的人工成本难以承受。

为了降低人工成
本，我们提出先人工标注、后机器智能标注的解决方案。

具体来说就是：先让专家标注一小部分图象，利用传统机器学习算法或深度感知机学习
这部分图象对应的气象数据（气压、风速等）与天气状态的函数关系。

这一步会输出一个分类器，我们再利用这个分类器去标注那些未经过专
家标注的图象。

这样将会极大地降低人工成本和研发周期。

在专家标注阶段，为了消除个别专家主观意识带来的误差和人工识别天气状态带来的系统误差，我们提出以下两种数据分析方案：
1）AHP层次分析法：用于消除个别专家主观意识带来的误差，保证气象专家们为监控图象标识的标签是准确且没有偏见的。

2）方差分析法：在专家打标签时，用于降低系统误差造成的监控图象中天气状态的误判率。

2.机器学习智能标注：
在智能标注阶段，传统机器学习的分类算法超过200个，其中较为常用的有：决策树和随机森林、逻辑回归、SVM、Adaboost、KNN等等。

而基于深度神经网络的深度感知机（MLP）也在实践中取得很好的效果。

我们将会逐一训练这些算法（传统的和深度的），然后选择最为适用的算
法（训练误差和泛化误差相对最优）作为打标签的分类器。

2.5图像预处理
2.5.1数据增强
通过一些手段对训练数据量进行扩增是一种防止过拟合的方法。

可采用如下数据增强方法：
1.对图像随机进行上下左右翻转，图像数量翻四倍。

2.对图像随机变换对比度。

3.对部分图像进行尺度变换。

2.5.2图片降噪
在夜晚及光线不佳的环境下，视频的质量也会有所下降，主要体现在饱和度、噪声方面，其中噪声对学习过程有所影响，针对不同的噪声需要通过均值滤波器、中值滤波器、低通滤波器、高斯滤波器等不同方法去除噪声。

2.5.3特征加强
突出和降低图像中特定灰度范围的亮度通常很重要，这有助于增强某些特征，例如增强云层的显示，降低太阳光的干扰，这种方法有助于算法训练的准确性。

其中通过对比度拉伸、灰度级分层、比特平面分层等方法都可以实现。

2.5.4批次规则化
卷积神经网络各层有可能存在分布不均和“梯度弥散”的问题，可采用批次规则化（Bantch Normalization,BN）的方式来减小这种影响，即在每层输出后添加一层规范化层，将输出按照同一批次的特征数值规范化至同一分布。

2.5.5图像灰度处理算法
图像的灰度图是HOG特征提取算法与光流特征提取算法的输入，RGB图像转灰度图算法接收同一个图像的三个通道的矩阵数据，可根据“浮点算法”、“整数方法”、“移位方法”等计算图像的灰度图。

这几种方法都是通过计算红、绿、蓝三种颜色的矩阵的到灰度图。

2.5.6图像光流特性
视频中空间不变的连续两帧存在像素点位置的轻微变动，即位移向量，我们
称之为该像素点的光流。

图像中像素点光流特征能够表示像素的瞬时速度，从而能够描述相邻帧之间对象行为的信息，使用基于金字塔的Lucas Kanade光流特征提取算法计算稀疏光流。

从光流特征图中可以很明显的看出图像中间区域的运动目标。

2.6建模分析
2.6.1模型设计
构建泛化效果好的机器学习模型，以及特征自动提取的、面向连接主义的、高消耗高精度的深度学习模型。

通过改变神经网络层数以及实验不同的算法，逐步锁定各类天气状况的辨识模型。

通过不断增加训练样本数和参数调优使模型不断得到优化，提升辨识结果的成功率。

建模是一个基于工程实践的不断摸索的过程，无法预设。

模型训练是一个长期的过程，理论上说，训练时间越长，训练样本越多，相关性越好，分类结果越准确。

建模与训练是本项目的核心需求，关联因素最多，工作量最大，同时不确定性也最大。

鉴于此，项目初期出现识别精度不高，或某种天气过程的分类结果不理想，均属于正常情况。

下面是智能光感气象监测与分析系统的模型设计如下图所示：
接下来，我们分别讲述模型设计中每个模型的建模步骤或计划。

一、深度学习算法建模
1、MSAN模型
由于本项目的分类目标是气象视频文件，视频与静态图片相比除了有静态图片的基本特征外还有时间特征，直接将视频帧投入模型实际上是舍弃了视频的时间特征，而对于视频场景来说，时间特征在一定程度上描述了场景的功能，是构成场景的要素之一，丢失时间特征则减弱了数据对视频图像的描述能力。

如当下雨较小且刚开始时，地面积水不明显或者上空雨滴量较少，仅凭单独的视频帧可能无法识别出天气为雨。

因此需使用多帧图像作为输入，且图像的运动特征需要体现，如图像光流特征。

其次在结构上，AlexNet网络模型是一种“端到端”（end-to-end）模型，即无论是训练还是应用，中间过程均作为黑箱对外界不可见，它是由数据驱动逼近拟合的模型。

并且，AlexNet的入口只有一个，意味着在做训练或者判断时，输入数据只有一个，但是气象视频可能是多个摄像头以不同角度对同一区域的拍摄，因此仅使用一个AlexNet对气象视频图像分类有一定的局限性。

且AlexNet模型弱化了人工提取特征的影响，用于训练的数据都是RGB格式
的图像。

我们认为中间的卷积的过程就是一个抽象过程，也可以说是特征提取的过程。

但是从传统的分类模型来看，人工提取的特征更容易学习，并且能够使得模型更易于拟合, 在2014年就有研究人员提出，使用两组卷积并分别输入RGB 格式的原图和人工提取的光流特征进行卷积，在全连接层组合进行分类能达到良好的视频识别。

因此模型在AlexNet模型基础上，可建立多路AlexNet （Multi-Stream AlexNet，MSAN）模型解决气象视频分类问题，其架构如图5-3 所示。

MSAN模型结构垂直方向上可以分为三路卷积，分别接收经过图像直方图均衡化处理的原图、相邻两帧间的光流图以及图像的HOG特征图进行卷积计算，实现三种数据的特征提取。

在水平方向上可以分为五个模块，自下而上分别是Data 层、Convolution层、Concat层、Full Connection层以及Accuracy层。

本模型使用的卷积模块基本是同样架构的，在每层使用的卷积核大小相同，卷积核数量不同。

卷积核的卷积计算是对局部特征的提取，输入时三种数据是同样大小的图片，每层使用相同大小的卷积核可以保证同一层不同路的卷积结果是能够局部对应的Feature Map，这样可以确保在卷积结束后得到的Feature Map 是同一级别的抽象。

三路卷积所得的Feature Maps需要同时输入到全连接层进行分类计算，通过数据组合的功能层，完成数据组合操作，使得三组不同的Feature Maps能够同时传入到fc层，并且保证在最后BP计算时能够逆向分路传播误差能力。

以下是MSAN模型架构图：。