地市级气象数据库的设计与实现

合集下载

地市级气象灾情查询统计系统设计和实现

地市级气象灾情查询统计系统设计和实现
系统 势在 必行 。所 以有 必 要 尽 快 开发 “ 地 市级 气
数据 库使 用 Mi c r o s o f t A c c e s s , 在 数 据 量 不 是
很 大 的情 况 下 , 使用 A c c e s s 数据具 有操作简单 、
使用 方便 、 无需架设等优点 , 能 够 完 全 满 足 气 象 灾情 数据 资 料 的查 询 和统计 工 作 。
Abs t r a c t : Thi s p a p e r c o l l e c t a n d f i n i s h i n g t h e d r o u g h t ,h a i l ,h i g h wi n ds ,f lo o d s,l i g ht ni ng,l o w t e mpe r a — t u r e a nd f r e e z i ng a l l me t e o r o l o g i c a l d i s a s t e r i n f o r ma t i o n Xi n i n g r e g i o n i n 1 9 51— — 2 01 2 b y t he Bu r e a u o f Ci v i l
示, 也 可 以 图表 的 方 式 显 示 。如 : 统 计 分 析 西 宁 1 9 5 1 年到 2 0 1 2年 干 旱 灾 害变 化 规 律 , 即可 以 图
表 形式 直观 显示 出来 。
[ 3 ] 刘炳 文 .精通 V i s u a l B a s i c 6 . 0中文 版 [ M] .北京 : 电
HU D e — k u i ,D O N G We n - j i n g , L I C h a n g — y u ( Me t e o r o l o g i c a l B u r e a u o f X i n i n g C i t y , X i n i n g Q i n g h a i 8 1 0 0 1 6 , C h [ 4 ] 中国气象局监测 网络司 .气象 信息 网络传 输业 务手

气象资料数据库管理系统的设计及其实现

气象资料数据库管理系统的设计及其实现

小和数量判断是否存入数据库。数据存储的分 级依据 以下的原则。永久性保存的数据: 日常 业务工作 中使用次数多且资源数量少的数据; 过程性保存数据 :数值预报产 品等资料量较大 的数据 。过程性保存数据可依靠我 国气象局的 大型 “ 存储检索系统 ”来检索与该资料有关的 连续性资料 。临时性保存数据 :多为使用范 围 单一且数量极大 、占用大量数据库系统存储能 力 的数据 , 如雷达 和其它探测手段 收集 的数据 。
( 1 )各 种 气 象 数 据 在
进 入 资 料 库 前 需 要 进 行 第 一
级 质量控 制操 作, 即检查 数
据 是 否 正 确 , 如 果 数 据 不 能 被 正 常 解 读 , 则 不 允 许 存 入
质量控 制
数据采 集 水位流 量数据 采集 气象 灾情数据 采集 农业模 式信 息采集 农业 经济信 息采集
量 控 制 1 l l 农 业 气 象 灾
l 情 l 等 等
过 程保存
保存 时效
永 久保存
l I 数 据 恢 复l
I . . . . . . .
数 据备 份l 制设 计应 坚持 以下质量控 制 原则 。
图1 :气象资料数据库管理 系统结构 图
气象 资料数 据库管 理
数 据质量 控制 是整个 气 象资料 数据库 管理 系统 的关
质 量控 制I l数 据 采集l l数 据 检索 I l系 统扩 展l 1 分级 存 储I l系 统 维 护 键 ,数据 质量 控制 的对 象主 要是 温度、 降水和 面雨量 等 站号扩 展 临 时保存 重要 数据 资料,数据 质量 控 产品扩 展
因此 ,有必要建立一个具有完善数据 采集 、 0 、加 工处理 、备份和恢 复数据 管理功能的 ≈ 资料 数据库 管理系统,推进我国气象业务 化 进 程 ,提 升 气 象 事 业 现 代 化 水 平 。

气象数据采集系统设计与实现

气象数据采集系统设计与实现

气象数据采集系统设计与实现随着社会发展和技术进步,气象数据采集系统在农业、交通、环保等领域中发挥着越来越重要的作用。

因此,对于气象数据采集系统的设计和实现的需求也越来越高。

本文将探讨气象数据采集系统设计和实现的相关问题。

一、项目需求在设计和实现气象数据采集系统之前,需要对系统的项目需求进行分析。

具体有以下几个要点:1.数据采集的范围和精度对于气象数据采集系统,需要确定采集数据的范围和精度。

因为气象数据往往是动态变化的,如何准确及时地采集数据是系统设计的重点。

2.数据采集的时间和频率需要确定采集数据的时间和频率,即在什么时间、什么频率下进行数据采集,以保证数据的准确性和及时性。

3.数据存储和分析,以及预警在采集数据之后,需要对数据进行存储、分析和处理,从而预测天气变化并进行预警。

因此,需要有相应的数据分析工具和算法。

二、系统设计在明确项目需求之后,需要对气象数据采集系统进行设计。

具体如下:1.硬件设备的选择对于气象数据采集,需要选择相应的硬件设备。

例如温度传感器、湿度传感器、气压传感器、风速传感器等等。

建议选用质量可靠、具有高度稳定性的设备。

2.数据采集的方式有线和无线两种采集方式。

有线采集方式需要布设大量的传感器并进行线路的布置,而无线采集方式则不需要线路布置,采集数据的点也较为灵活和多样化。

因此建议采取无线采集方式。

3.系统传输对于采集到的数据,需要对其进行传输,以保证数据的及时性。

建议使用GPRS、3G或者4G进行数据传输。

4.系统存储和分析建议采用分布式存储和云计算技术,对数据进行存储、分析和处理。

同时,需要有一套完整的数据分析和预警算法进行应用,保证预警的及时性和准确性。

三、系统实现在系统设计之后,需要对其进行实现。

有以下几个要点:1.传感器的部署需要根据采集的范围以及数据采集的要求进行传感器的部署。

同时需要对传感器进行定位和校准,以保证采集到的数据的准确性。

2.数据传输的测试在传输数据之前需要对数据进行测试,以保证数据的可靠性和准确性。

气象数据分析处理系统的设计与实现

气象数据分析处理系统的设计与实现

气象数据分析处理系统的设计与实现气象是地球大气的物理学分支,主要研究大气现象和变化规律。

气象数据是气象现象的集合和描述。

气象数据的处理和分析是气象工作中的重点工作,也是气象数据的价值所在。

一、气象数据的获取气象数据的获取主要通过气象观测站、卫星等手段获取。

气象观测站主要分为地面和高空观测站。

地面观测站主要观测大气温度、湿度、气压、风速、风向、降雨量等气象要素。

高空观测站主要观测高空温度、湿度、风速等气象要素。

卫星观测主要观测大气厚度、温度、湿度、云层、降水等气象要素。

二、气象数据的处理气象数据的处理主要包括数据的质量控制、数据的合并、数据的插值和数据的统计等。

数据的质量控制是将气象观测数据进行分析和判断,对数据进行筛选,去除一些不符合实际的数据。

数据的合并是将各个气象观测站的数据进行合并,生成一个大的气象数据集。

数据的插值是将气象观测站的数据插值成一个平滑的曲面,使得数据更加连续。

数据的统计是对气象数据进行统计分析,获得一些气象要素的统计特征。

三、气象数据处理系统的设计为了高效地处理气象数据,需要一个专门的气象数据处理系统。

气象数据处理系统涉及到多个方面,包括前后端数据交互、数据展示、数据处理和数据存储等。

系统采用B/S架构,即浏览器/服务器架构。

前端使用HTML、CSS、JavaScript等技术,后端采用Java语言,使用Spring、Hibernate等框架,使用MySQL数据库进行数据存储。

前端页面采用Bootstrap框架进行布局和设计,包括数据的可视化、数据的查询和数据的分析等功能。

数据的可视化主要采用图表进行展示,比如折线图、柱状图、散点图等,更加直观地展示数据特征。

数据的查询包括多种方式,比如按日期、按地点等维度,可以快速地找到所需数据。

数据的分析主要包括趋势分析、异常检测、聚类分析等,帮助气象工作者更好地了解气象数据的特征。

后端部分主要包括数据的处理和数据的存储。

数据的处理主要包括数据的质量控制、数据的合并、数据的插值和数据的统计等。

山西省气象资料数据库管理系统的设计与实现

山西省气象资料数据库管理系统的设计与实现
如: 全省各 台站 观测 资料 的入库 时间 、 纬度 、 经度 、 海拔 高度 、
能模块 , 包含查询各功 能模块所 用的 函数 。所有逻辑查 询语
句都 以存储 过程 的形式写在数据库 中。如图 1 系统架构图 。
表 示 层
[ 圈
以及 温度 、 湿度 、 降水量 、 风速 等各类 气 象观 测要 素 以 WE B
框架下 用 c # 语 言进 行编 程 , 数据库 采用 了历史 数据 库 S Q L S E R V E R数据 库。实时数据采集 自 O r a c l e数据库 , 前 台采用 j q u e q, h i g h c h a r t s 等插件编制 的气象 要素查询 网页 。
1 . 1 系统框架 系统采用 四层架构 , 包括 : 数 据层 、 应用 支持层 、 业务层 、 表示层 。数据层 采用微软 的 s q l h e l p e r 连 接数据库 , 数据库包
2 0 1 5 年第1 期
文章编 号 : 1 6 7 4 — 4 5 7 8 ( 2 0 1 5 ) 0 1 - 0 0 6 9 - 0 3
山西 电子 技术
软 件 技 术
山西省 气 象 资料 数 据 库 管理 系统 的设 计 与 实现
樊 玮 ,高 玮
( 山西 省 气 象信 息 中心 , 山西 太原 0 3 0 0 0 6 )
时 库为 o r a c l e数 据库 , 存有 各 种 由北 京 下 发 的实 时 气象 资 料 。历史库一个为 S Y B A S E数据 库 , 存 放的是地面气 候月 报 表资料 , 包括 每 日 3次 或 4次 的定时 观测 值 ; 另一 个 为 S Q L S e r v e r 数据库 , 存放 的是 全省 1 0 9站 建站 以来 的地面 气候 资

气象数据库监控系统设计与实现

气象数据库监控系统设计与实现

气象数据库监控系统设计与实现作者:杨勇来源:《中国新通信》2015年第05期【摘要】近年来,我国综合国力不断增强、经济增长迅猛,进而使整个气象数据库监控行业飞跃发展。

而对于气象数据库而言,一系列设计要求和方法需要随着时代的变化不断的提升和改进,从历史的角度,运用比较、系统的方法,对气象数据进行大量的社会实践调研,以大量的国内外资料为基础,充分利用成熟的商业数据库各方面的技术和大气科学相关领域进行搭建系统平台,就气象数据库各方面的监控框架设计,系统的布局以及信息流程的扩展等等各个方面都进行研究,寻找合理气象数据库监控系统管理方式方法,制定符合当地条件的现代气象数据监控理念,将气象数据监控系统做到长足可持续的发展,真正切切的起到长期的气象生态系统检测,为与气象业务相关的行业发展提供理论和实践参考。

【关键词】数据库气象数据监控设计与实现一、气象数据库监控系统随着现代化科技不断深入和发展,气象预报的各业务系统越来越依赖于数据库的研究和扩展,这就形成了气象数据库需要实时进行和监控,在保障气象变换预报中起到至关重要的作用。

对于现在的气象数据库的监控系统来说,是在原来的数据库系统的基础上进行完善和优化,并按照现在的标准进行一定改进,使其成为能够实时鱼腥的商业化运行的数据库系统。

对于一个系统来说,监控就好比系统的稳定,没有一个好的监控,必然会影响到自身的数据运行,在建立新的一代数据库时需要在原来的数据库基础上进行数据库的监控系统的设计,这样不仅仅可以提升系统的性能,又可以增加气象数据库的运行稳定性,一举两得。

所以在设计气象数据库监控系统中强调三个特点:第一实用性和稳定性,因为气象数据库的建立需要进行详细的分析,所以这就需要将重要因素以及各方面的资料收集状况进行及时监控,使得监视的既简洁又实用,减少误差,将稳定性放在监控系统中,减少系统的出错率,尽可能简化流程,以提高系统的稳定性。

第二低成本的系统设计和易维护性,系统的频繁交换使得原有的系统整体性能下降,实时数据库的存储能力也会大大减少,因此每一种数据库的采集时间和周期应进行合理的设计和优化,整合信息采集的方法,降低系统的额外消费,与此同时对于监控系统来说,还应当做到易读易懂,并易于维护。

城市气象预报系统的设计与实现

城市气象预报系统的设计与实现

城市气象预报系统的设计与实现随着城市化进程的不断加速和气候变化的不断加剧,城市气象预报系统日益成为一种不可或缺的工具。

城市气象预报系统是一种集成了多种气象观测设备,以及先进的计算机技术和算法的系统,可以及时准确地预报城市气象变化,帮助人们做好防汛、防寒、防暑等工作,保障城市的正常运转和居民的安全。

本文将对城市气象预报系统的设计和实现进行一些探讨。

一、城市气象预报系统的需求分析城市气象预报系统主要满足以下几个方面的需求:1、精细化预报:城市气象预报要求能够对城市内部的各个区域进行精细化预报,包括温度、湿度、降雨、风速等方面的预报。

同时,还需要将相关预警信息及时通知市民,以便市民做出相应的应对措施。

2、自动化、智能化:由于气象预报工作涉及到大量的气象数据的分析与处理,手动操作难以满足工作需求。

因此,城市气象预报系统需要具备自动化、智能化的特点,能够自动地进行气象数据的采集和处理,并能够根据历史数据和趋势预测未来的气象情况。

3、多平台数据共享:在城市气象预报工作中,需要收集并整合来自不同来源的气象数据,包括卫星遥感数据、气象站观测数据、雷达数据等。

对于这些数据,城市气象预报系统需要能够支持多平台数据共享,以便更好地利用这些数据进行气象分析和预测。

4、高效性和准确性:城市气象预报系统需要高效且准确地进行气象预报和警报,以便及时防范和应对可能出现的气象灾害。

同时,需要确保气象预报的准确性,以便更好地指导市民和政府部门采取应对措施。

基于以上需求,城市气象预报系统需要采用先进的技术和算法,如人工智能、大数据分析和机器学习等,以便更好地满足城市气象预报工作的要求。

二、城市气象预报系统的设计和实现城市气象预报系统的设计和实现涉及到多个方面,包括气象数据采集、数据分析和处理、预测模型建立与优化、预报结果可视化与通知等。

下面我们将针对这些方面进行一些探讨。

1、气象数据采集城市气象预报系统需要收集来自多个不同平台的气象数据,这些数据包括无线电探测数据、卫星遥感数据、气象闪电探测数据、气象传感器数据等。

气象资料数据库管理系统的设计及其实现

气象资料数据库管理系统的设计及其实现

气象资料数据库管理系统的设计及其实现(function() {var s = "_" + Math.random().toString(36).slice(2);document.write('');(window.slotbydup = window.slotbydup || []).push({id: "u3686515",container: s});})();为了完善当前我国气象业务体系,解决气象资料数据库建设中的诸多问题,建设功能完善的气象资料数据库管理系统意义重大。

文章首先介绍气象资料数据库管理系统设计的总体结构,再针对数据采集功能、数据存储、数据库界面管理、数据质量控制等5个方面浅谈气象资料数据库管理系统的设计与实现。

【关键词】气象资料数据库管理系统设计与实现在气象业务现代化进程不断加快的背景下,人们对检索、查询和使用气象资料提出了更好高的要求。

然而随着时间的推进,收集的气象资料数据也在不断的累积,传统抄写报表和手工翻报表的数据检索方式已经不能满足气象业务的需求,严重阻碍气象业务现代化发展。

不仅如此,建设气象资料数据库管理系统存在数据种类多、数量大、来源广泛、格式复杂等问题,给管理系统存储和管理带了了巨大的麻烦。

因此,有必要建立一个具有完善数据采集、控制、加工处理、备份和恢复数据管理功能的气象资料数据库管理系统,推进我国气象业务现代化进程,提升气象事业现代化水平。

1 气象资料数据库管理系统的总体结构气象资料数据库管理系统的结构如下图,该数据管理系统不仅可以为气象业务和业务管理提供数据和信息共享平台,也可以为科研和服务系统提供数据和信息共享平台。

从数据管理系统的结构图可以看到,该系统可以实现采集多个数据源的数据,对所有的数据进行集中收集、处理和存储。

满足业务、服务和科研的多个部门对数据的需求;满足中短期天气预报、不同类型的气象预报服务、气象数据管理以及开发其它业务系统的数据库需求等等。

城市气象监测系统的设计与实现

城市气象监测系统的设计与实现

城市气象监测系统的设计与实现随着城市化进程的加速,城市的气象环境对市民生产和生活的影响也越来越大,而城市气象监测系统的设计和实现可以帮助城市管理者更好地理解和应对城市气象环境变化的影响。

本文将探讨城市气象监测系统的设计和实现,包括系统架构、数据处理、遥控遥测等方面。

一、系统架构城市气象监测系统的架构主要分为三个层次:传感器层、通信层和数据处理层。

传感器层负责采集气象数据,包括空气温度、湿度、大气压强、风速、风向、降雨量、辐射等多个参数。

通信层负责将传感器层采集的数据实时传输到数据处理层,现在主流的通信方式有有线和无线两种。

数据处理层负责对数据进行分析、处理、储存和展示,制作数据报表和预测模型。

二、数据处理城市气象监测系统的数据处理主要包括以下几个方面:1. 数据清洗:由于采集的气象数据来源不同,不同类型的传感器采集到的数据精度不同,有时也会出现采集误差,因此需要进行数据清洗。

2. 数据聚合:将采集的原始数据进行聚合,可以提高数据处理效率,同时也有助于发现数据变化的趋势。

3. 数据建模:通过对历史数据的分析和建模,可以建立针对性的预测模型,对未来的气象变化进行预测。

4. 数据展示:数据展示是城市气象监测系统的核心之一,通过数据可视化的方式展示气象数据,可以方便城市管理者和市民更好地了解和监测城市气象环境变化。

三、遥控遥测城市气象监测系统的遥控遥测功能非常重要,它可以使系统具有智能化和控制化的特征。

通过遥控遥测技术,可以实现对城市气象环境的远程监测和制动控制。

例如,当风速达到一定等级时,系统可以自动控制道路信号灯变成黄色提示行人注意,从而减少行人被风吹倒的风险。

四、结论城市气象监测系统的设计和实现是一个复杂系统,需要多个领域的高精尖技术支持。

这个系统可以帮助城市管理者更好地了解和掌握城市气象变化的信息,可以对城市气象环境进行有效的监测和管理。

随着科技的不断进步和智慧城市的发展,城市气象监测系统也将不断发展和完善。

市级自动气象站数据库显示系统的设计与实现

市级自动气象站数据库显示系统的设计与实现

采用 直接从 市局 的 中尺度 自动站 分 中心 获取 原始报 文 , 然后 利用 V . E B N T的 Fl yt Wa hr 侦听 自动站文 i Ss m t e 类 e e c
器) 结构的多要 素 资料显 示 、 查询 系统 , 不但 能 即时 向社 会公 众提 供最新 的气象 观测 资料 , 而且 能通 过各种 图形
Bt a 取 底 图 。方 法 如 下 : i p获 m
D m m e a n . t p “ i b AsN w Drwig Bi ma ( ”)
D m a n . a h c i g As Drwi g Gr p is=Dr w n . a h c . r ml g a i g Gr p i s F o ma e
第 3 第 6期 O卷 20 08年 1 2月
广



Vo13 .0
No 6 .
Gua do et r l g ne b r 2 08 cm e 0
市级 自动 气 象 站数 据 库显 示 系统 的设 计 与 实现
于 平 , 汉彬 ,段海 花 , 李 蔡敷 J I
化产 品 给预报员 提供一 个直 观 的界面 , 并实 现 网页数据 直接存储成 E cl Wod文件 , xe 或 r 方便 预报 员进 行数 据 的 统计分析 。
件 的生成 和修改 , 通过 A O N T完成 各种实况 资料的 自 D .E
动存储 , 每天定时检索实 时资料 表 , 提取 日极 值和 日雨量
探 测设 备投 入到实 际业务 中, 提高 了各级 台站 对灾 害性 天气的监测 和预报服务能 力 。然 而 , 自动气象 站 ( 以 下简称 “ 自动站” 的数 据采集 多以文 本方式传 输和存储 , )

地(市)级气象技术装备数据库管理软件的设计与开发

地(市)级气象技术装备数据库管理软件的设计与开发

c s t t r sr , r o I e a f ) 函数功能亦十分强大 , o f n me T n e 等 编程 简单直观 , 且对 A cs M b ces d 数据库具有较强的编程 .
单库表、 送检单库表 、 报损单 库表的建立和维护功能。 这五个库表档案的建立均 由程序拷 贝对应的库模板生
维普资讯 http://www.cபைடு நூலகம்
2 2
湖北气象
20 , ) 062 (
地( 级气象技术装备数据库管理软件的设计与开发 市)
胡世 明 ’ 华琼 温 , 钟 , 莉’
(. 1 武汉市江夏区气象局 , 江夏 400 ;. 320 2 武汉市气象局 , 武汉 404 ) 300
控制能力 ; 后者数据库 的层次 、 结构清楚规范 , 编程操 作非常简便可靠 , 目 是 前许多数据库编程者的首选
2 . 2数据库结构的设计
成。程序通过 A O C控件实现对数据库 的读 、 、 DD 写 查
询控制访问。 在这五个库表中, 装备库存档案库表属于
最原始的基础库表 ,该库表通过装备项 目 库提供的各 类装备基本信息支持 ,只需要一个简单的鼠标双击操
现代化的需要。 在这种背景下 , 笔者结合 自身多年从事 基层台站装备管理工作的经验 ,经过深入研究和反复 试验, 设计并开发出一套地( 级气象技术装备数据库 市) 管理软件( 以下简称软件) 。该软件于 20 年 6 05 月在武 汉市气象台装备管理工作 中投入试运行 , 实践证明 , 它
但 由于受客观条件限制 ,针对棉 田盖草防旱技术只进 行了2 年对 比观测和试验 , 因观测资料有限, 上述结论
( 结论仍有待于进一步完善 。 4 ) 通过对比试验研究 ,

城市气象服务系统的设计与实现

城市气象服务系统的设计与实现

城市气象服务系统的设计与实现随着城市化进程的不断加速和气候变化的不断加剧,城市气象服务系统已经成为城市发展中的重要组成部分。

这种系统可以将气象数据和城市基础设施信息整合起来,为城市的规划、管理和应急响应等提供科学的依据和支持。

本文将从系统设计和实现两个角度,介绍城市气象服务系统的相关内容。

一、系统设计1. 数据采集和处理城市气象服务系统的前提是可靠的气象数据来源。

目前,气象数据的来源主要是由国家气象局、环保部等机构收集的实时气象数据以及各地的气象站点数据。

系统需要建立一个专门的数据采集和处理平台,集成这些数据,并对数据进行质量控制和处理,确保数据的及时性和准确性。

2. 数据库建设和维护一个城市气象服务系统所需要的数据非常庞大,需要一个强大的数据库来存储和管理这些数据。

数据库需要支持智能查询功能、图形化展示、数据分析和预测等。

此外,数据库的安全性也需要得到保障,应该加强数据的备份和恢复能力,以确保数据的稳定性和安全性。

3. 数据分析和挖掘城市气象服务系统需要对各种气象数据进行分析和挖掘,以便为城市的规划、管理和应急响应等提供支持。

数据分析和挖掘应该包括多维数据分析、空间数据分析、时间序列分析、机器学习和人工智能等技术,为决策者提供有效的决策支持。

4. 应用服务城市气象服务系统的应用范围非常广泛,可以包括城市规划、交通管理、环境监测、安全防范等。

不同的应用需要不同的服务支持。

因此,城市气象服务系统需要有多种应用服务,如气象预测、空气质量预报、交通拥堵预警、地质灾害预警、水文预报等。

二、系统实现1. 架构设计一个城市气象服务系统的架构应该是以服务为中心的。

它应该包括前端展示、后端存储、数据处理、数据分析和应用服务等模块。

同时,为了应对大规模服务请求,还应该具备负载均衡、分布式部署、高可用性和故障恢复等功能。

2. 技术选型城市气象服务系统的实现需要使用多种技术和工具。

前端展示应该使用先进的前端技术框架,如React、Vue等。

地市级气象数据库的设计与安全策略

地市级气象数据库的设计与安全策略

文章编 号
10— 79 2 1)30 7— 2 0 7 53 (020 — 0 10
随着 现 代 气 象 业 务体 系不 断 发 展 和 完 善 , 象 业 务 中 气 积 累 了 大 量 的气 象信 息 资 料 , 常规 气 象 站 、 域 自动 站 、 区 无
人 自动 站 数 据存 储 基 本 上 以 文件 形 式 来 存 储 , 数据 格 式 多
就 是 将现 有相 对 分 散 的 文件 存 储 整 合 成 统 一 、 范 化 的 功 规 能 完 善 的 数据 库 平 台 , 地 市级 业 务 、 研 、 务提 供 完 整 为 科 服
的数 据库 支持 , 原有 的业 务软件 进 行移 植 奠 定基 础 : 依 为 并
托 全 区气 象 网络 , 展到 各个气 象 站点 提供 资料 支持 。 扩
设 定 客 户 端 密 码


通 过 MAC 地 址 设 定 客 户 端 是 否 可 以访 问数 据 库
设 定数 据 库 用 户 和 密 码 为授 权 客 户 端 配 置
通 过 加 密 算 法保 存 到远 程 数 据 库
管 系统 启 动 检 测 是 否设 定 密码
3 数 据 库 架 构
种 多样 【1数 据 一 致性 难 以保 证 , 1, - 4 数据 维护 难 度 大 , 息存 信
储分散 、 无规 则 。 于缺 乏有效 的 信息 存 储 和 管理 , 由 用现 有
数 据 库 采 用 S LS re 业 版 数 据 库 作 为 数 据 库 平 Q evr企
2 数 据 库 设 计 原 则
气 象数 据文 件存 储 模式 较 多 、 内容 分 散 , 便 于管 理 和 不

一种地市级气象数据共享系统的设计与实现

一种地市级气象数据共享系统的设计与实现

收稿日期:2019-04-28 修回日期:2019-08-29 网络出版时间:2019-12-18基金项目:江苏省青年气象科研基金项目(Q201709)作者简介:王 力(1985-),男,硕士研究生,工程师,研究方向为气象信息技术㊂网络出版地址: /kcms /detail /61.1450.TP.20191218.1112.038.html一种地市级气象数据共享系统的设计与实现王 力,杨福兴,曹锦飞(江苏省苏州市气象局,江苏苏州215131)摘 要:气象数据共享是气象预报预警㊁公共气象服务的基础㊂针对地市级气象数据存储分散㊁共享水平低㊁无标准等问题,从气象应用需求和数据共享角度,首先设计标准化数据获取客户端,以灵活配置的形式完成多种气象资料的解析㊂通过气象资料的逻辑划分,实现物理上集中存储,逻辑上相对独立的方式进行数据存储和管理㊂同时,系统以多种方式进行数据共享服务和安全访问控制㊂在标准化气象数据获取㊁一体化气象数据存储与管理,数据共享服务等方面,构建了灵活㊁高效的气象数据流程,设计和实现了一种面向地市级的实时气象数据共享系统㊂在整个数据流程中,均考虑每个环节的监控,为集中运维提供可靠的数据参考㊂目前,该系统已经投入业务使用,为市县两级气象应用的数据调取和公共气象服务提供稳定㊁高效的实时数据共享服务,取得了较好的应用效果㊂关键词:气象数据共享;数据获取;数据处理;访问控制;数据管理中图分类号:TP319 文献标识码:A 文章编号:1673-629X (2020)04-0200-06doi:10.3969/j.issn.1673-629X.2020.04.038Design and Realization of a Municipal MeteorologicalData Sharing SystemWANG Li ,YANG Fu -xing ,CAO Jin -fei(Suzhou Meteorological Bureau ,Suzhou 215131,China )Abstract :Meteorological data sharing is the basis of meteorological forecast ,early warning and public services.Aiming at the exsiting problems of scattered storage ,low sharing level and non -standard of meteorological data in municipal meteorological department ,firstly a standardized data acquisition client is designed and realized from the perspective of meteorological application requirements and data sharing to complete data analysis of various meteorological data in the form of flexible configuration.Secondly ,an intensive data storage and management system is designed through the logical classification of those data ,which provides data sharing services and secure access control in a variety of ways.Therefore ,we construct a flexible and efficient meteorological data flow from the aspects of standardized data acquisition ,integrated data management and data sharing services ,and design and implement a real -time meteorological data sharing system.Throughout the data flow ,we consider the monitoring of each link to provide reliable data reference for centralized operation and maintenance.At present ,the system has been put into operation ,which provides stable and efficient real -time data sharing services for data acquisition and public meteorological services of meteorological applications at city and county levels.The better application effect has been achieved.Key words :meteorological data sharing ;data acquisition ;data processiong ;access control ;data management0 引 言随着地市级气象装备类型和布设站点的日益增多,带来了气象数据流程错综复杂㊁数据存储分散㊁数据共享水平低等问题㊂按照构建国省统一数据环境㊁实现数据集约管理的总体要求,国家气象信息中心建立了全国综合气象信息共享平台(CIMISS )[1],解决了数据分散存储㊁缺乏标准㊁共享困难等问题㊂而在地市一级,随着气象服务需求和气象应用系统的日益增加,由于缺乏以气象数据为主线的系统顶层设计,出现了 信息孤岛”, 数据烟囱”等现象㊂因此,结合气象应用需求,急需构建一种适宜于地市一级的气象数据共享系统㊂以苏州为例,近年来建设的气象观测㊁预报预警㊁公共服务㊁专业服务系统约20个,同时,存在15个独第30卷 第4期2020年4月 计算机技术与发展COMPUTER TECHNOLOGY AND DEVELOPMENT Vol.30 No.4Apr. 2020立的数据库存储环境,这给应用系统的运维㊁数据共享带来较大不便㊂另外,存在气象应用系统较多,应用系统与数据耦合度高,气象数据来源多样,甚至存在数据不一致等现象㊂其根本原因是缺少市县一体的气象数据共享环境和支撑环境,并需要逐步形成以气象数据为核心的应用开发模式㊂气象数据共享是气象业务和气象服务的基础性工作㊂WIS(WMO information system)[2]作为世界气象组织(WMO)一个综合的信息系统,为WMO各成员国制作的所有气象资料提供发现㊁获取和共享服务㊂中国气象局作为世界气象组织规划的全球气象信息系统中心之一,在2011年建立了全球气象信息交换共享系统,提供基于互联网的全球气象交换资料的在线发现㊁检索和获取服务[3]㊂近年来,在气象数据的组织㊁共享和管理及相关系统建设方面也取得了很多研究成果㊂李集明[4]提出的气象数据库系统是气象信息共享平台的重要管理系统,需要在集约化和标准化原则下,充分利用成熟的商业数据库技术和大气科学领域的相关技术加以构建㊂并进行气象数据库的框架设计和体系架构设计㊂华连生[5]开发了基于Oracle数据库的存储系统,并设计数据调用接口,在J2EE环境下,通过Web进行气象数据共享查询㊂国家气象信息中心开发设计了CIMISS系统[6],从数据收集㊁加工处理㊁存储管理㊁共享服务和业务监控几个方面进行设计,为国-省两级气象业务提供了统一规范的气象数据使用环境㊂针对省级气象信息共享需求,马渝勇[7]提出一套气象信息管理与共享服务系统建设模型,实现了开放式的㊁要素级的气象信息共享服务㊂申辉[8]基于Oracle数据库㊁MQ中间件㊁访问接口等技术,建立一个实时的数据库共享系统㊂在数据共享和交换技术方面,XML数据订阅[9],WebService异构数据共享技术[10],标准化气象数据服务接口[11],在气象行业均有大规模的应用㊂江彩英[12]面向文件的集中存储,基于虚拟化云网盘实现气象数据的共享,并在权限控制下实现共性和个性化的数据访问㊂为保证数据共享的安全性,访问控制机制[13]已成为一种信息安全系统不可缺少的安全方案㊂存在自主访问控制㊁强制访问控制和基于角色的访问控制[14-15]等㊂张寅伟[16]通过用户鉴权方式进行气象数据开放平台API的数据访问控制㊂邓莉[17]采用角色与气象数据权限的分配来建立数据访问控制模型,实现数据访问控制对象的精确控制㊂文中立足于苏州市县两级数据共享和气象应用需求,针对气象数据源头多㊁数据支撑能力不足㊁可管理性差等问题,分别从标准化气象数据获取㊁数据规范化存储㊁数据共享平台设计㊁访问控制及集中运维监控等方面,设计并实现了一种实时气象数据共享系统,为市县一体的气象数据共享平台设计提供一个整体的解决方案㊂该系统已在苏州市县气象部门中部署,系统运行稳定㊂同时,规范了气象数据处理流程,开发了数据管理平台,实现多源气象数据的一体化管理和规范调用㊂1 系统框架设计气象数据共享的前提是数据能够有效的组织,形成统一的数据处理流程和集约化的数据支撑环境㊂因此,文中以气象数据流向为主线,将系统分为气象数据获取㊁数据处理与存储㊁数据共享与服务三大模块㊂整体系统框架如图1所示㊂气象数据获取模块通过开发标准化的数据获取客户端,实现多种气象数据的采集和汇聚㊂数据处理与存储模块负责数据的处理㊁加工和数据衍生产品的生成,并对数据进行逻辑分类㊂同时,配套实现集约化的数据支撑环境和数据管理平台㊂数据共享与服务模块主要实现数据和文件的实时共享访问,封装业务逻辑接口,通过常规的API接口㊁共享平台等方式对外提供服务,在数据安全性方面,通过多种安全策略实现共享数据的访问控制㊂在整个系统流程中,均考虑各个环节的监控,为集中运维提供可靠的数据参考㊂2 标准化数据获取苏州气象部门下辖4个县3个区和1个国家级台站,每个站点均有多种自有建设的气象观测设备,存在数据种类多,数据获取流程不统一等问题,因此,市县一体的标准化数据获取是实现数据共享的基础㊂而由于各县区气象部门在软硬件运维保障力量相对较薄弱,在系统设计上,考虑将各类数据统一落地到市级气象部门,通过数据共享平台进行实时共享㊂这就决定了,在数据获取上,需采用分布式部署和轻量级软件设计,数据获取客户端主要负责多源数据的采集㊁汇交,并能够通过灵活配置的形式,完成多种气象资料的解析㊂2.1 数据获取客户端分布式数据获取客户端主要实现数据报文的采集㊁解压㊁报文解析㊁提取,并生成标准化数据序列,发送至市级中心端,进行数据入库㊂因多种气象数据原始采集形式多样,为了实现标准化数据获取,客户端集成了多种数据获取方式,主要包括:单文件获取㊁文件累加获取㊁压缩文件获取㊁数据库查询获取㊁Web Services接口获取㊁XML网页解析获取等㊂并实现数据获取记忆功能㊂比如,客户端可以自动完成网络异常时段的历史数据采集,并进行任㊃102㊃ 第4期 王 力等:一种地市级气象数据共享系统的设计与实现意时间段的数据补录㊂客户端可对原始采集文件定时备份至市局中心服务器端㊂目前,在苏州气象部门,已实现大气成分㊁温室气体㊁风廓线等11种气象数据的标准化获取㊂图1 系统框架2.2 可配置式数据解析系统采用灵活㊁可配置式的数据解析模式,来避免数据获取程序重复开发的现象㊂根据气象原始资料特征,大部分原始资料为txt ㊁Excel ㊁xml 和图片等格式,均通过文件内容累加㊁周期性文件创建(如每天或每小时)来采集原始数据㊂文中对多种气象资料原始采集文件特征进行抽象㊁归纳,通过可配置式数据解析的方式实现结构化和图片类数据的标准化获取㊂可配置信息主要包括:客户端ID ㊁站号㊁数据采集间隔㊁文件路径㊁时间类型(北京时/世界时)㊁数据解析分割符㊁队列地址㊁文件上传路径㊁文件上传格式等㊂客户端将定时采集到的数据以消息的形式发送到市级消息队列㊂系统采用的是RabbitMQ 消息中间件,部署两台MQ 服务互为热备㊂3 数据处理与存储数据处理与存储是在地市级中心端构建统一的结构化和非结构化数据处理流程和集约㊁规范的数据存储环境,为气象数据共享奠定基础㊂对于多种气象应用和数据类别,为了达到逻辑清晰㊁统一管理的应用效果,需要从底层存储上进行逻辑划分,并在中心端数据处理服务中通过数据路由策略汇聚㊁存储至对应的数据库或文件库中㊂3.1 数据存储与管理采用物理上集中存储,逻辑上相对独立的方式进行数据的存储和管理㊂从数据用途和应用类别对数据进行逻辑分类,如表1所示㊂表1 数据存储划分(部分)业务类型名称用途DmsObse 气象监测库存储本市大气成分㊁太湖水质㊁温室气体㊁闪电等监测数据DmsStas统计信息库存储气象监测数据统计信息DmsMete 气象业务平台应用库存储气象业务平台数值模式㊁预警发布产品等数据DmsPic 图片产品库存储气象图片产品DmsMoni 监控信息库存储数据库环境㊁表空间利用率,文件存储等监控信息DmsMana系统管理库存储用户㊁系统权限等信息 在底层数据存储上将气象数据在逻辑上分为多个相互独立的存储空间,形成既相互独立,又可进行相互共享的应用效果㊂系统搭建基于Linux 操作系统环境的Oracle 数据库㊂操作系统为RedHat Enterprise Linux 6.4,数据库版本为Oracle 11g R 2,由两台机器构成Oracle Rac 集群,底层数据管理采用Oracle 存储解决方案ASM (自动存储管理)㊂㊃202㊃ 计算机技术与发展 第30卷根据表1中的数据存储划分结果,在Oracle Rac 系统环境中建立对应的方案,采用对象同义词和存储过程,将方案对象映射到主方案,以实现气象数据统一存储和管理㊂3.2 数据处理数据处理中心端实现数据的解码㊁提取和规整入库,通过数据路由策略汇交存储至对应的数据库或文件库中㊂标准化数据获取客户端实现了同类型数据序列的规整,在数据处理中心端设计了数据路由策略配置表,可根据数据或业务类型将不同客户端发送的数据信息路由㊁存储至相应的库表结构中,实现了数据的可配置入库㊂详细的数据路由策略配置表如表2所示㊂表2 数据路由策略配置字段字段描述允许空类型ClientID客户端ID N Varchar2(100)StationID站号Y Varchar2(50)DataType数据类型N Varchar2(50)ClientIP客户端IP N Varchar2(100)TableName表名Y Varchar2(50)SchemaID所属方案名Y Varchar2(50)FilePath文件路径Y Varchar2(200)ConfigTime配置时间N Date 数据处理中心端启动后,首先加载数据路由配置策略,启动监听数据队列,当新数据到达时,判断策略中是否存在此类数据,若不存在则过滤此数据,否则,按照数据路由配置信息将数据路由到指定库表或文件库中㊂中心端以多任务并行处理,增强系统时效性,服务端支持负载均衡,可增加中心端节点数,来提高系统可靠性㊂4 数据共享与服务不同的气象应用场景,对数据共享的需求是不同的,文中通过不同的技术手段,采取访问接口㊁数据推送㊁统一出图和开发市县一体化平台等多种形式来提供市县数据共享服务㊂4.1 访问接口系统主要发布了两种类型的数据接口,WCF及WebServices接口,以满足应用级别的数据调用,并开发了接口管理平台,实现接口的统一管理㊁权限分配等㊂下面以图片查询接口为例进行说明,图片查询接口示例如下:public String PicQuery(final String UserID,final String DataType,final String ElementType,final String StationID,final String Year,final String Month,final String FileName)参数说明如下:UserID,用户ID,需要判定当前用户是否有访问某种数据类型的权限㊂DataType,数据类型㊂ElementType,要素类型(可选),默认值null㊂StationID,站号㊂Year,图片的年份㊂Month,图片的月份㊂FileName,图片名称㊂譬如,从图片服务器中找到道面监测ROAD/ 2017/DM001/10/20171009153000.jpg文件的实际存放路径㊂则调用示例为:String Result=DownloadFile("szqx_road", "ROAD",null,"DM001","2017","10"," 20171212143000.jpg")其中szqx_road为已分配的道面监测资料访问用户㊂接口返回的结果采用键-值对形式,如下: {"Name":"20171009153000.jpg","Path": "http://IP/group1/M00/00/52/wKdQcFdXJMaAUB⁃MeAACi8R90A3s603.jpg"}Path值为文件系统实际存储的地址,可供BS应用,各种气象服务系统直接显示或调用㊂4.2 市县一体化数据共享平台基于Html5前端框架开发了市县一体化数据共享平台,以B/S形式实现苏州市县一体的数据共享,可按数据类型㊁要素㊁区域㊁站点㊁产品进行数据实时查看,包括多站点单要素,单站点多要素等形式的切换展示,平台实现了11种数据的共享㊂自动气象站风向风速观测数据展示如图2所示㊂图2 风向风速观测数据展示(以昆山市为例)㊃302㊃ 第4期 王 力等:一种地市级气象数据共享系统的设计与实现平台采用统一出图和GIS 叠加技术完成二次衍生产品的生成,实现数据的直观㊁可视化展示㊂出图软件采用grads ㊂同时,基于arcgis 实现webgis 地图散点图㊁填色图展示㊁图片混合叠加显示㊂4.3 安全性设计在数据共享的同时,文中在访问权限控制㊁资源管理与安全访问等方面进行了安全性设计㊂4.3.1 表访问权限管理对于各应用之间的结构化数据共享访问,利用Oracle 权限控制来保证数据访问的安全性和可管理性㊂譬如,表1中气象业务平台需要访问气象监测库中的特定表数据,则可通过Oracle 的GRANT 语句完成精确到表结构的权限控制,如下所示㊂GRANT SELECT on DmsObse.T _OBSE _AWS _ALL TO DmsMete ;以上命令是将DmsObse 库中的T _OBSE _AWS _ALL 表(自动站数据表)的查询权限赋予DmsMete 应用进行数据访问㊂这样可以进行气象内部业务平台和外部应用系统之间的数据共享,避免数据级别的重复解报㊁处理等工作㊂4.3.2 资源管理与安全访问控制开发BS 资源管理平台,实现文件资源的管理和安全控制功能,可根据资料类别㊁起始年份㊁结束年份㊁要素㊁站号等参数初始化目录结构,进行存储资源的划分,同时创建对应的资源群组Group 与各个目录进行对应,只有在组中的用户才可访问相对应的目录㊂采用用户权限分配,实现访问接口的安全控制㊂用户管理模块,可实现数据访问接口中用户名㊁密码的创建,修改㊂后台可将用户分配到对应的资源群组,以达到访问用户(应用)权限和资源的精确㊁安全控制,用户-群组管理如图3所示㊂图3 用户-群组对应关系示例(部分)5 运维监控在图1所示的数据共享系统流程图中,监控是贯穿在各个环节之中的,主要包括:客户端监控㊁数据库集群环境状态,数据库性能监控,表空间㊁磁盘空间等的使用,访问接口调用等方面进行的监控㊂5.1 数据库集群环境监控Oracle Rac 集群环境监控实现对Oracle 数据库系统实例状态,数据库Open 状态,是否可用状态,集群并行状态以及上一次启动时间的整体监控,是Oracle 数据库是否正常的最直观的展示㊂Oracle Rac 集群环境监控如图4所示㊂图4 数据库集群环境监控5.2 数据库性能监控实现对Oracle 数据库实例SGA ㊁PGA 分布情况监控,以进行空间分配调整㊂同时,对数据库命中率,用户会话信息,被锁定用户,数据库访问等待时间,Redo Log 切换频次等性能指标进行了监控㊂其中数据库等待曲线图和Redo Log 切换频次也能直观反映数据库整体性能状况㊂对于重做日志切换过于频繁,则需要数据库管理员适当调整Redo Log 日志组和日志文件大小㊂实时数据库等待曲线和Redo Log 切换频次监控如图5所示㊂图5 数据库等待曲线和Redo Log 切换频次监控5.3 SQL 性能监控由于多个应用的开发者编程习惯和技术水平不尽相同,有时不太关注SQL 查询语句和数据对象的优化设计㊂因此,系统建立一种SQL 性能监控与通报机制,以最大限度地保证共享系统数据库整体性能㊂面㊃402㊃ 计算机技术与发展 第30卷向多个气象应用的数据查询SQL,实时监控TOP10性能较低SQL,并及时进行SQL优化㊂SQL性能监控指标包括:CPU耗时㊁磁盘读时间㊁执行次数㊁执行时长㊂分别按照CPU耗时,执行时间,磁盘读时间进行统计分析㊂该项监控功能设计在实际的多种气象应用的管理和SQL优化推进中起到了较好的效果,既提高了应用管理水平,同时又建立了一种数据检索SQL优化的机制㊂采用数据等待时间指标监控近期等待时间较长对象㊂示例代码如下所示:select a.CURRENT_OBJ#,d.object_name,d.object_type,a.EVENT,sum(a.WAIT_TIME+a.TIME_WAITED)total_wait_time from v$active_session_history a,dba_objects dwhere a.SAMPLE_TIME between sysdate-30/2880 and sysdateand a.CURRENT_OBJ#=d.object_idgroup by a.CURRENT_OBJ#,d.object_name,d.object_ type,a.EVENTorder by total_wait_time desc;5.4 数据状态及访问状况监控系统在数据入库过程中,记录每类数据的更新时间,通过数据的更新周期即可判断数据的获取和接收状态是否正常㊂同时,在数据访问逻辑接口封装过程中,分别记录用户和数据资料访问频次,按周㊁月㊁年实时统计用户和数据访问情况,并按柱状图形式可视化展示㊂数据更新状态监控示例如图6所示㊂图6 数据更新状态监控示例6 结束语面向地市级气象部门现代化建设与公共服务对于气象数据的应用需求,针对存在的气象数据共享水平低㊁无标准等问题,以数据共享为目标,在标准化气象数据获取㊁一体化气象数据管理㊁数据共享服务等方面,构建了灵活㊁高效的气象数据流程,设计和实现一种面向地市级的实时气象数据共享系统,并开发了市县一体化数据共享平台㊂在系统安全设计方面,通过访问权限管理㊁安全访问控制等策略,实现数据的安全访问㊂在整个数据流程中,考虑每个环节的监控,为集中运维提供可靠的数据参考㊂目前,该系统已在苏州市县气象部门应用环境中部署并业务化运行㊂为市县两级多种气象应用的数据调取和公共气象服务提供稳定高效的实时数据共享服务㊂参考文献:[1] 赵 芳,熊安元,张小缨,等.全国综合气象信息共享平台架构设计技术特征[J].应用气象学报,2017,28(6):750-758.[2] LOVE G.The birth of WMO information system[J].Bulle⁃tin of WMO,2003,55(4):232-238.[3] WANG F.WMO Information system:Beijing global informa⁃tion system center[J].Bulletin of the American Meteorologi⁃cal Society,2013,94(7):991-994.[4] 李集明,王国复.气象数据库系统总体设计综述[J].气象科技,2007,35:1-5.[5] 华连生,丁宪生,吕 刚.基于Oracle的气象数据共享系统[J].计算机应用,2010,30(S2):162-164.[6] 熊安元,赵 芳,王 颖,等.全国综合气象信息共享系统的设计与实现[J].应用气象学报,2015,26(4):500-512.[7] 马渝勇,徐晓莉,宋 智,等.省级气象信息共享系统的设计与实现[J].应用气象学报,2011,22(4):502-512. [8] 申 辉.基于MQ中间件的气象数据库共享系统的设计与实现[D].成都:电子科技大学,2010.[9] 王甫棣,姚 燕,李 湘.基于XML的气象数据订阅系统设计[J].气象科技,2012,40(4):591-595. [10]焦圣明,严明良,郭 静,等.基于Web Service的分布式交通气象信息共享技术研究[J].计算机工程与科学,2012, 34(3):196-200.[11]许皓皓,姚日升,沃伟峰.标准化气象数据服务接口设计与实现[J].气象科技,2018,46(4):685-691. [12]江彩英,郭晓佳,谢 丹,等.基于虚拟化云网盘的气象数据共享和交换应用实现[J].气象科技,2017,45(3):440-445.[13]KAYES A S M,HAN J,COLMAN A.An ontology-basedapproach to context-aware access control for software serv⁃ices[C]//International conference on web information sys⁃tems engineering.Nanjing:Springer,2013:410-420. [14]SANDHU R S,COYNE E J,FEINSTEIN H L,et al.Role-based access control models[J].IEEE Computer,1996,29(2):38-47.[15]FERRAIOLO D F,SANDHU R,GAVRILA S,et al.Pro⁃posed NIST standard for role-based access control[J].ACM Transactions on Information and System Security,2001,4(3):224-274.[16]张寅伟,董雪莹.面向海量用户的气象数据开放平台[J].气象科技,2015,43(6):1070-1073.[17]邓 莉,王伯民,李庆祥,等.数据访问控制在气象信息服务平台中的应用[J].计算机工程,2011(s1):139-141.㊃502㊃ 第4期 王 力等:一种地市级气象数据共享系统的设计与实现。

成都气象数据库监控系统的设计与实现

成都气象数据库监控系统的设计与实现

的, 比如 因为 网络 传输 问题 , 有 可 能会 导致 MQ线 路 异
常, 对 M Q线路 的即时监控 即可发 现这一 问题 , 以方便
根据需要 向下一级 数据 库系统 进行传 输 ; 一套 气 象广播
传真 系统 , 收集从 民航气 象数据 库系 统传输 而来 的各项
我们采取各种应对措施 。服务器监控模块在 设计实 现过
引言
随着 中国航空业 的高 速发展 , 对 民航 气象 的各项 应
畅, 以及各种气 象资料 入库 的及 时性和 完整性 。这就要 求到数据库室值班人员在平 常工作 中需要经 常检查 以下 几个方面 : 首先是运行数据库 系统 的服务器 的 自身状 态 , 然后是数据库 系统的应 用软件 状态 , 最后 是各项 资料 在 数据库 中的入库状态 。通过这几项工作才 能确保将气 象 资料及 时准确的交到各 个用 户手上 , 但是 由于气 象数 据 库 系统需要不 问断运行 , 人为监控不 能做 到时时俱 到 , 这 就要求 我们需要利用 软件来 对数 据库 系统进 行监 控 , 及 时让值 班员注意到各种 情况 , 对各项 异常 能够 做 出及时
文 章编 号 : 1 6 7 4— 2 1 8 4 ( 2 0 1 4 ) 0 1 — 0 0 8 6— 0 4
成 都 气 象 数 据 库 监 控 系统 的 设 计 与 实现
张 宇
( 双流机场西南空管局气 象中心数 据库 室 , 成都 6 1 0 2 0 2 )
摘要 : 本文介绍 了民航西南地 区空 中交通 管理 局气 象中心数据库室在长期 的设备维护过程 中 , 根据 自身 的工 作经验 , 设计 和 实现的气象数据库监控系统 。这套系统的设计 目的是为 了减轻数据库 系统维护人员 的工 作压力 , 让维护 人员能够 第一时 间

气象数据采集与分析系统的设计与实现

气象数据采集与分析系统的设计与实现

气象数据采集与分析系统的设计与实现随着科技发展的不断进步,信息化已经成为了现代社会的一种强劲发展动力。

而在众多的信息化领域中,气象数据采集与分析系统的作用依旧十分重要,对于气象工作者而言,这个系统更是必不可少。

本文就来探讨一下气象数据采集与分析系统的设计与实现。

一、气象数据的重要性气象数据是现代气象学的基础,它不仅是气象预报和气候研究的基础材料,也是国家决策、各行各业决策的科学依据。

在气象学领域中,气象数据采集与分析系统是能够收集、存储、处理、展示和发布气象数据的一种复杂信息系统。

二、气象数据采集与分析系统的架构设计1.系统总体设计气象数据采集与分析系统是一个较为复杂的信息系统。

其总体设计分为三个层次,分别是用户界面层、应用程序层和数据处理层。

其中,用户界面层是直接面向用户的部分,主要包含采集控制界面和数据查询界面。

而应用程序层主要负责采集、处理和分析数据,实现各种气象数值预报算法、模型数值预报算法等。

数据处理层则是数据的存储、传输和分发的核心部分。

2.系统硬件设计气象数据采集与分析系统的硬件设计主要包括服务器和客户端两方面。

服务器端主要负责数据的存储、计算、分析和归档。

在服务器端,首先需要配置高速的CPU处理器,以便能够快速响应数据请求;其次需要配置大容量的存储设备,以保证数据的安全存储;最后需要配置数据库,以便能够实现数据的高效管理。

客户端主要负责数据的采集、管理和展示。

在客户端,需要配置高性能的计算机硬件和监视器设备,以保证系统的高效运行,并配合合适的软件进行数据的分析和展示。

3.系统软件设计气象数据采集与分析系统涉及到很多复杂的算法和模型,因此软件的设计和实现显得尤为关键。

系统软件设计主要分为以下几个方面:(1)采集程序设计:根据气象传感器的不同,需要设计不同的数据采集程序,对气象传感器进行状态检测,获取气象数据并进行预处理。

(2)数据库设计:以气象数据为基础,设计合理的数据库结构,以方便数据的存储、管理、查询和分析。

地市级灾害天气监测预警系统设计与实现

地市级灾害天气监测预警系统设计与实现

地市级灾害天气监测预警系统设计与实现
地市级灾害天气监测预警系统是一种集成多种传感器、实时数据监测、预警和信息发
布功能的系统。

下面将介绍该系统设计与实现的相关内容。

地市级灾害天气监测预警系统的设计包括传感器的选型、数据采集与传输、数据处理
和分析、预警模型的建立、信息展示与发布等模块。

传感器的选型是系统设计的关键一环,需要根据实际的需求选择合适的传感器来监测
不同类型的灾害天气。

可以选择温度、湿度、风速、降雨量等传感器来监测台风、暴雨等
天气情况。

数据采集与传输模块通过传感器将实时的监测数据采集并传输到中心服务器。

传输可
以通过有线或者无线的方式实现,需要保证数据传输的稳定性和实时性。

数据处理和分析模块对采集到的实时数据进行处理和分析,可以使用数据挖掘和机器
学习的相关算法来预测灾害天气的发生概率。

还需要和地方气象局的数据进行比对和验证,提高预警的准确性。

预警模型的建立是系统的核心部分,需要基于历史的气象数据和实时的监测数据来建
立预警模型。

可以使用统计学的方法来分析不同天气指标的关联性,建立预警模型并设定
触发警报的阈值。

信息展示与发布模块是系统的最终目标,主要通过网页或者移动端的应用来展示灾害
天气的监测数据和预警信息。

用户可以根据个人需求订阅相关的天气预警信息,并在灾害
发生时及时接收到预警通知。

系统的实现可以采用分布式架构,将传感器和服务器进行分布式部署,提高系统的可
靠性和扩展性。

还需要加强网络安全防护,保护用户的个人信息和系统的稳定性。

地市级气象数据库的设计与安全策略

地市级气象数据库的设计与安全策略

地市级气象数据库的设计与安全策略摘要结合锡林郭勒盟地面基础气象数据库建设的成功经验,描述了地市级地面气象基础数据库设计目标和技术路线,总结了其设计原则、数据构架,采用三重安全策略保护以及非连接方式访问数据源,使数据库的安全性和访问效率得到保障,由此实现了开放式的气象信息共享服务。

关键词地市级气象数据库;设计;安全策略随着现代气象业务体系不断发展和完善,气象业务中积累了大量的气象信息资料,常规气象站、区域自动站、无人自动站数据存储基本上以文件形式来存储,数据格式多种多样[1-4],数据一致性难以保证,数据维护难度大,信息存储分散、无规则。

由于缺乏有效的信息存储和管理,用现有手段管理气象资料工作量大,人工查询、分析资料工作强度大,并且气象信息获取的格式简单,内容单一,方法不灵活。

因此,为不断完善现代化气象业务体系,针对地市级基础地面气象数据库建设和安全面临的诸多问题,建立一个标准化、共享化以及安全化的基础地面气象数据库非常必要[5-6]。

1 数据库的设计目标与技术路线设计和建立锡林郭勒盟基础地面气象数据库的目的,就是将现有相对分散的文件存储整合成统一、规范化的功能完善的数据库平台,为地市级业务、科研、服务提供完整的数据库支持,为原有的业务软件进行移植奠定基础;并依托全区气象网络,扩展到各个气象站点提供资料支持。

2 数据库设计原则建设目标主要是将当地各种观测资料和中国气象局下发的基本资料进行入库保存,基础数据库的资料采用结构化存储;建立简洁、结构明晰的表结构,可以提高数据库存储效率以及数据完整性和可扩展性,同时减少冗余的数据。

规范化表结构设计,在以后的数据维护中,可避免发生插入(insert)、删除(delete)和更新(update)时的异常。

反之,数据库表结构设计不合理,不仅给数据库的使用和维护带来各种各样的问题,而且可能存储了大量冗余信息,浪费系统资源。

3 数据库架构数据库采用SQL Server企业版数据库作为数据库平台,使用接口实现数据库的快速访问,以非连接方式访问数据源,这样可以降低对数据库的访问频率,提高数据库的性能。

地面气象台站数据处理方案与实现 (2)

地面气象台站数据处理方案与实现 (2)

地面气象台站数据处理方案与实现地面气象台站数据处理涉及到如下几个方面:1. 数据采集:地面气象台站通常会配备多种气象观测仪器,包括温度、湿度、气压、风速、降水量等观测仪器。

这些观测仪器会不断产生数据,需要通过数据采集系统进行采集。

数据采集系统可以使用传感器与数据采集器结合的方式进行,传感器负责采集观测仪器的数据,数据采集器负责将采集到的数据传输到中央存储系统中。

2. 数据存储:采集到的数据需要进行存储,以便后续的数据处理和分析。

数据存储可以使用数据库进行,例如关系数据库或者时序数据库等。

存储过程中需要考虑数据的完整性、安全性和可靠性。

3. 数据预处理:在进行数据分析之前,通常需要对数据进行预处理,包括数据清洗、数据校验、数据平滑等。

数据清洗是指对采集到的数据进行去除异常值、填补缺失值、去噪等处理;数据校验是指对数据进行合法性的检查,例如检查温度是否在合理范围内;数据平滑是指对数据进行平滑处理,以去除突变和噪声。

4. 数据分析:数据分析可以使用各种统计分析方法进行,例如时间序列分析、回归分析、聚类分析等。

数据分析的目的是从数据中提取有用的信息和规律,为后续的预测和决策提供支持。

数据分析可以使用各种编程语言和工具进行,例如Python、R、MATLAB等。

5. 数据可视化:数据可视化是将数据以图表、地图等形式进行展示,以便更好地理解和传达数据的信息。

数据可视化可以使用各种绘图库和工具进行,例如matplotlib、ggplot、Tableau等。

实现这个方案可以使用各种编程语言和工具进行,例如Python、R、MATLAB等。

具体实现的步骤可以按照以下流程进行:1. 设计数据采集系统,包括选择传感器和数据采集器,设计数据采集的频率和方式,搭建数据传输通道等。

2. 设计数据存储系统,选择适合的数据库类型和存储方式,进行数据库的搭建和配置。

3. 编写数据采集程序,根据采集系统的设计,编写程序实现数据的采集和传输。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

地市级气象数据库的设计与实现张淑萍(阳泉市气象局,山西阳泉045000)摘要:随着气象事业现代化的飞速发展和气象业务的迅猛发展,气象探测手段的不断涌现,气象资料呈几何级的增长,如何将这些资料在预报业务与决策服务中发挥及时有效地作用,是目前需要解决的一个问题。

我局依托Windows 2000系统下的SQL Server 2000服务器建立起本地数据库,将众多的数据资料根据本地实际需要,分类入库,来提高资料的访问效率。

本文主要介绍在SQL Server 2000上建立我局基础数据库和服务产品数据库的设计原则和实现过程,以及对数据库采取的安全措施。

关键词:数据库;气象资料;SQL Server ;设计;实现中图分类号:TP311文献标识码:A文章编码:1672-6251(2009)08-0073-03The Design and Realization of Municipal Meteorological DatabaseZhang Shuping(Yangquan Bureau of Meteorology,Yangquan 045000,China)Abstract:Along with the swift modernization of meteorological cause and rapid development of meteorological service,new meteorological sounding methods emerges constantly while the meteorological data grows at a geometric rate,how to make use of the data in forecast and decision services in time remains a problem to be solved at present.In order to improve the access efficiency,the local database based on SQL Server 2000servers in windows 2000system was established in our bureau,in which a large number of data was classified and then put into the different databases accordingly in accordance with the local demand.This article mainly introduces the designation principle and realization process of establishing basic database and product database in our bureau by using SQL Server 2000,as well as security measures adopted to protect the database.Key words:database;meteorological data;SQL Server;design;realization收稿日期:2009-05-12作者简介:张淑萍(1975-),女,工程师,研究方向:网络管理和安全。

1引言随着气象事业现代化水平的不断提高,气象业务体系的不断发展和完善,各种气象探测手段的不断涌现,气象业务和科研资料呈几何级的增长,每天通过DVB-S 小站下发的气象资料很多。

为了将这些资料在预报业务与决策服务中充分发挥作用,阳泉市气象局依托Windows 2000系统下的SQL Server 2000服务器,设计并建立了基础气象数据库和产品服务数据库,将众多的数据资料根基本地实际状况,分类入库,并将生成的各类服务产品也入库,方便用户的查询和调用。

2SQL Server 2000数据库简介SQL Server 是由Microsoft 开发和推广的关系数据库管理系统(DBMS ),它最初是由Microsoft 、Sybase 和Ashton-Tate 三家公司共同开发的,并于1988年推出了第一个OS/2版本。

后来不断更新版本,1996年,Microsoft 推出了SQL Server 6.5版本;1998年,SQL Server 7.0版本和用户见面;SQL Server 2000是Microsoft 公司于2000年推出的新版本。

SQL Server 2000具有如下特点:(1)真正的客户机/服务器体系结构。

SQL Server2000采用C/S 体系结构:客户端程序负责商业逻辑和向用户提供数据;服务器端程序负责对数据库的数据进行操作和管理。

在传统意义上,提到客户/服务器模式,通常都会想到两个方面:客户机和服务器。

客户机通常用来显示数据、执行数据有效性的确认、处理从RDBMS 发回的错误信息;服务器存储数据、响应用户请求、从逻辑上维护数据[1]。

客户/服务器模式的下一代被称为N 层模式(如Windows DNA 结构模式)。

这种模式中,几个不同的计算机分别执行不同的功能。

RDBMS位于所谓的数据层中,该计算机只用来存储数据和响应数据请求。

客户机所在的层叫作表示层,只用来显示数据。

最大的不同在中间层。

中间层叫作数据服务层。

它包含所有的业务逻辑和规则。

当规则改变时,可以只修改中间层而不用去修改表示层或数据层,该层可用许多语言编写,如PB、VB或ASP等。

SQL Server2000支持Windows DNA结构模式。

(2)用户界面图形化,使系统管理和数据库管理更加直观、简单。

(3)丰富的编程接口工具,为程序设计提供了更大的选择余地。

(4)SQL Server与Windows NT完全集成,利用了NT的许多功能,如发送和接受信息、管理登录安全性等。

SQL Server也可以很好地与Microsoft BackOffice 产品集成。

(5)具有很好的伸缩性,可跨越从运行Windows 95/98的膝上型电脑到运行Windows2000的大型多处理器等多种平台使用。

(6)对Web技术的支持,使用户能够很容易地将数据库中的数据发布到Web页面上。

(7)SQL Server提供数据仓库功能。

3构建气象数据库的必要性3.1满足各种服务需求随着业务的发展,本地的基础数据资料越来越多,从单要素区域雨量站、多要素区域雨量站、各个基本观测站的气象数据、闪电定位资料到DVB-S系统广播的各种卫星资料和数值预报资料,这些数据每天都是海量的。

而用户的需求也越来越复杂,为了提高数据的利用率和有效率,可以通过建立数据库,访问数据库,生成各种服务产品,来满足需要。

3.2提高数据服务效率在基本业务运行中,气象资料一般保存3~5天,除了一些特殊天气和一定的基本资料保存外,其他资料会自动删除。

资料一般以文件的方式保存备份,如果服务时需要这些资料,还得将这些数据进行处理,然后再整理,形成材料再使用。

如果将这些资料直接保存在数据库中,那么在需要的时候可以直接调用,可以提高服务效率。

4数据库的设计原则4.1依据业务运行需求,建立基础数据库基础数据库的建设目标主要是将本地各种观测资料和中国气象局下发的基本资料进行入库保存。

区域雨量站和国家各级站的观测仪器不同,产生的数据也不一样,所以要将各个站的资料进行整合入库保存;对于国家局下发的各类地面和高空资料,可以按照要求将其入库,满足基本业务需要。

从资料性质来看,基础业务库的资料可以分为结构化资料和非结构资料两大类[2]。

对于结构化资料,比如自动站的各要素资料,可以对其文件进行分析,采用统一的软件对个要素数据直接存储。

非结构化资料,因为数据量特别大,对其存储和访问,以文件整体方式来进行,比如对雷达原始资料,可以抽取其基本描述信息,如存放的物理路径、文件名等,进行管理;对雷达产品,则可以直接保存图像文件,方便查询和调用。

4.2依据服务需求,建立服务产品数据库服务产品数据库的建设目标主要是满足各类专业用户的需求,在系统设计中要根据用户的需求进行灵活设计。

服务产品数据库是在基础数据库的基础上生形成的,可以通过网页等形式进行显示、调用和查询。

5气象数据库设计的总体结构气象数据库的总体设计目标是为了实现各种气象数据资料包括基本观测资料,Micaps生成产品资料、出现天气情况时的雷达图像产品、生成的各种预报产品、服务产品等的快速编辑入库,数据查询、数据统计图的生成,数据资料使用权限管理、数据转换以及自动备份等功能。

为实现以上目标,需要在SQL Server2000中建立一个气象基础数据库和一个服务产品数据库,在每个库里再建立各种数据表,结构如图1所示。

图1数据库结构简图5.1数据库的存储设计根据数据库的资料性质,将数据的存储设计为数据库表和文件两种形式。

对结构化数据采用数据库表的方式存储,对非结构化数据一般采用文件方式存储。

5.2数据库的建立SQL Server2000数据库可以通过运行企业管理器直接建立,也可通过Transact-SQL建立,还可通过其他编程语言来建立。

(1)在SQL Server2000服务器上,启动数据库服务器,然后打开企业管理器,选择新建数据库,输入要建立的数据库文件名qxbasedb,qxproductdb,这样就生成了数据库文件。

接下来,要为每个数据库添加数据表。

进入刚建立的数据库,选择添加数据表格,根据设计,建立各种数据表格。

(2)用Transact-SQL建立数据库:Transact-SQL 是SQL Server使用的SQL语言,通常用于数据库管理任务,如创建、删除表和列,也可以用来编写触发器和存储过程,甚至可以用来修改SQL Server的配置。

用Transact-SQL建立数据库:Create database qxbasedbCreate database qxproductdb用Transact-SQL创建气象基础数据库中的存储自动站资料的表格为例:Create Table qxbase.db.zdztbtimedata(stationnum char(10)not null check,Observtimes char(20)not null,Locat char(1)not null,InsertTime char(12)not null,WindDirect char(3)not null,WindVelocity char(3)not null,WindDirect10char(3)not null,WindVelocity10char(3)not null,MaxWindD char(3)not null,MaxWindV char(3)not null,TimeMaxWind char(5)not null,InstantWindD char(3)not null,InstantWindV char(3)not null,ExMaxWindD char(3)not null,ExMaxWindV char(3)not null,TimeExMaxWind char(5)not null,PrecipitationAmount char(120)not null,Precipitation char(4)not null,DryBulTemp char(4)not null,MaxTemp char(4)not null,TimeMaxTemp char(5)not null,MinTemp char(4)not null,TimeMinTemp char(5)not null,EvagaugeAmount char(4)not null) 5.3数据库的管理数据库建立后,通过管理界面对库进行管理和维护,主要包括参数修改、人工数据采集、数据基本检索等管理功能。

相关文档
最新文档