大数据时代的气象水文信息保障

大数据时代的气象水文信息保障

孙子兵法中讲到“知己知彼，百战不殆；知天知地，胜乃可全。”可见气象水文信息对于军事领域和国民经济领域都具有非常重要的作用，随着气象水文信息需求和技术的发展，气象水文信息保障也不仅满足于天气预报，而扩展到现有的气候预测、气候可行性论证、公共气象服务、专业专项气象服务、气象防灾减灾等，大数据时代到来，又将给气象水文信息保障带来巨大的变化。

一、气象水文信息的大数据特征气象水文信息保障离不开气象水文数据，包括对气象、水文、天文、潮汐、空间天气等观测数据以及加工处理后得到的产品数据，且是海量数据，如美国国家气象频道每天要处理20 兆兆字节的数据，这里包括有关风、雨、雪、冰雹、龙卷风、温度、气压、湿度、地震、飓风、闪电等的相关数据。目前我国每年新增的气象数据就达到PB量级，较上世纪90年代增长了数千倍，并仍在快速增长中。气象水文保障对气象水文信息的时效性要求高，比如天气预报粒度从天缩短到小时，特别是发生自然灾害时时效要求更严苛。大气运动的随机性，导致各气象水文要素无时无刻不在变化中，气象水文信息是动态变化的。大气运动的规律性，可以利用历史数据和实时动态数据，发现数据与结果之间的规律，并假设此规律会延续，捕捉到变量之后进行预测。最早得到应用天气象预报就是利用了气象信息的规律性。

二、大数据技术在气象水文信息保障中的应用（一）数据挖掘技术

数据挖掘技术在从大量数据中提取特征与规则方面具有很大的优势，能够自动发现以前未知的模式，自动预测未来趋势和行为。由于气象水文数据的数据量巨大，数据本身又具有模糊性和不确定性等因素，因此将数据挖掘技术应用于气象水文数据分析和气象水文预报决策中，利用数据挖掘技术的归纳能力，利用机器学习和数据挖掘算法，可以自动地从大量数据中发现有用的模式，具有一定的现实意义。

在气象水文信息保障中数据挖掘过程由数据准备、挖掘、表述及分析 3 个主要的阶段组成。数据准备阶段就是从历史数据和当前的操作数据中提取数据并集成，同时对数据进行数据消脏、数据选择和格式转换等预处理，为数据挖掘做准备。挖掘阶段就是综合利用分类、序列分析、关联规则等各种数据挖掘方法，分析经过预处理的数据，发现事件之间的时间和空间关系，从中提取有关特征和规则。上述过程需要不断地反复和评估，以得到一个较为理想的气象水文预报模型。表述就是将数据挖掘所获得的特征和规则以便于理解和观察的方式反映给系统。分析就是对数据挖掘所提取的异常模式或正常轮廓进行评价，

如果它能够有效地反映入侵情况，就说明它是成功的，否则，就可以重复执行上述过程，直到满意为止。

（二）云计算技术将各类计算资源融合在一个大资源池中，资源池被云计算平台管理之后，动态地在上面创立一个虚拟化资源池，使它成为新的气象水文数据处理中心。各级气象水文部门只需向云计算管理平台发送指令就可以动态添加新的资源或取走资源。

1.数值运算由于云计算具有强大的运算能力，这为气象水文数据运

算提供了平台。云计算创造虚拟数据中心使得其能够把内存、I/O 设备、存储和计算能力集中起来成为一个虚拟的资源池来为整个气象水文网络提供服务。通过云计算技术，从气象水文中心到一般台站，都能达到同“超级计算机”一样的数据计算能力，在短时间内处理数以千计的甚至万亿计的数据，快速获取各种气象水文信息，同时还可以根据用户的需求迅速加工成所需的数据，实现预报服务产品的本地化。

2. 数据存储

把气象水文数据放在Web网上,查找访问存储系统，而不需要在本地设计和建设存储系统。云计算存储可以较好地平衡服务器的资源存储负载，在各种数据中心间快速地转移数据，确保数据是在距离用户最近的存储器上，这样的服务可以使得气象水文数据快速而准确地转移到所需的位置上，提高了用户的使用效率。

三、国内外应用实例

国外的气象大数据应用已经比较成熟，世界各国的公司都将气象分析加入他们的经营战略当中，并期待利用大自然获得更大收益。比如默克公司提前10个月掌握了美国地区2013年5月份的气象信息，并预测温暖的空气将带来花粉等过敏因素，默克公司加大了过敏药的宣传和供应，由此带来数百万美元的额外销售额。Sears 零售公司通过危机指挥中心的监控设备对全国天气进行关注，以保证各种必需品库存充足。保险公司EMC®过分析冰雹灾害发生的历史记录，避免不必要的或者欺诈索赔。位于堪萨斯州的西星能源公司安排公司的电工随时关注美国其他各州的恶劣天气状况，以便在危机状况时给予帮助。

今年5月中国XX局公共气象服务中心与阿里云达成战略合作，共同挖掘气象大数据的深层价值，计划深度挖掘利用的数据包括：60 多年来的历史气象数据；全国2万多个观测站、卫星、雷达监测的气象观测数据，包括降水、温度、风力风向、地面结冰、太阳辐射、酸雨、空气能见度等30 余种要素；短期、中期、长期的精细化气象预报数据品；通过国际交换获取的全球气象观测、预报数据。

四、结束语气象水文信息对于军事领域和国民经济领域都具有非常重要的作用，随着气象水文信息需求和技术的发展，气象水文信息保障的内容也在不断发展中，大数据时代到来，必将给气象水文信息保障带来巨大的变化。本文只是对气象水文信息的大数据特征、应用大数据技术处理气象水文信息和国内外应用情况进行了粗浅的讨论。