气象数据存贮管理系统

在 资料 的分发上综合考虑 资料时效和传输效率 。 集中资料 的存储 ，减少 资料存放处 ，保持数据 的一致 性，方便用户获取资料 。目前的数据分发模 式有三种 ，
一
每天从各种渠道获取的大量气缘数据 ，以一天一 个文件形式 ，按照约定 的文件名 （ １ 表 ，文件名包含 文件类型及 日期两种信息 ） 通 过 Ｆ Ｐ ， Ｔ ，从各个服 务器 传 到存放数据 的服务器硬盘 ，临时放入一个指定 的文
数 据存 贮 管 理 提 供 了 一个 很 好 地 样 例 。
关键词：结构化查询语言；气象数据 ：海 量存贮系统
Ｍ ｅｅ ｒ ｌ ｇｃ ｌ ｔ ｔ ｒ ｇ ｎ ａ ａ ｅ ｅ ｔ ｙ ｔｍ ｔｏ ｏ ｏ ｉａ ａ Ｓ ｏ ａ ｅａ ｄ Ｍ ｎ ｇ ｍ ｎ ｓｅ Ｄａ Ｓ
ＤＯＵ — ｅ ， ＹｉＷ ｎ ＬＵ ， Ｕ — ｎ ＺＨＡＮ Ｇ ｉＰｉｇ Ｌｉ ＬＩ Ｘｕ Ｌｉ ， Ｄａ・ ｎ
Ｍｉ ｏｏｔ Ｑ ｅｖｒ ０ ５ Ｗｅ ｃ ｓｆＳ Ｌ Ｓ ｒｅ ０ ＋ ｂ为系统框架，总体由 ｒ ２
力和调取数据的效率基础上 ，将所 有数 据按用 户使用 的频 率和单个文件的大 小将其 分为 ４个等级，数字小
的等级最高 。用户常用 的数据定为 １级 ，不常用 的或 文件字节数较少的定为 ２级 ，常用但文件字节数超大
限的数据 一律下线 ， 即将数据刻录入光盘或存入磁 带。 另外 ，将有天气过 程 日期的数据和重要 事件 日期 节点的数 据长期保存在盘 阵上 ，为气象科技人 员分析
总结天气过程提供方便。 １ ． ２数据分发策略 ２１后台数据分拣程序 ．
图１ “ 气象数据存贮管理系统” 总体框架流程 图
１ 数 据 管理 策 略
１ ． １数据存储策略 数据的存贮主要采用数据库表和文件两种形式即 元数据和结构化的数据采 用数据库形式 ，非结构化数 据采用文件方式存 储。在 综合考 虑现 有设备的存 储能
２ 系统结构及功 能
本系统采用 Ｂ Ｓ构架，以 Ｍｉ ｏｏｔ ｅｖｒ２ ０ ＋ ／ ｃ ｓｆ Ｓ ｒｅ ０ ３ ｒ
① 基金项目： 北京市气象局基 ４（ＭＢ ＷＦ ２ １０ １ ， Ｂ Ｙ Ｚ ０ ００） ＃
收稿 时间：００１４１ 到修 改稿 时间：００１－ ２ １．１）； 收 ２ １．１ ４ ２
１ ６ 实 Hale Waihona Puke Baidu案例 ＡｐｌａｉｎＣ ｓ １ ｐｉ ｔ ａｅ ｃ ｏ
２１ ０ １年 第 ２ Ｏ卷 第 ７ 期
以及科研人员、气象预报人员获取历史气 象数据难两大突出问题 ，提 出了气象数据 存贮策略 ，并 以 Ｂ Ｓ结构框 ． ／
架 ，开发了气象数据存贮 管理系统 。该系统为业务和科研人员在数据获取上提供 了一个便捷通道 ，同时 ，又将
数据统一、 有序 管理起 来，实现了气 象数据 的存储 、管理 、以及服务 的整合和一体化 。本系统 的实现将为气象
Ｋ ｙ ｏ ｄ ： Ｑ ； ｔ ｒｌｇ ａ ｄｔ ｍａｓ ｔ ａｅ ｙｔ ｅ ｒ ｓ Ｓ Ｌ ｍｅ ｏｏｏ ｉ ａ ； ｓ ｓ ｒｇ ｓ ｍ ｗ ｅ ｃ ｌ ａ ｏ ｓ ｅ
Ｓ Ｌ Ｓ ｒｅ 是微软开发的一个数据库管理系统 ， Ｑ ｅｖｒ 功 能非常强大 。它具有 良好的可收缩 性、安全性 、易 用性，以及大容量的管理能力（ 支持 Ｔ Ｂ级数据量） ，广 泛应用于大中型据库系统 中【 】Ｓ ＬＳｒｅ ２０ 版本 １ 。 Ｑ ｅｖｒ ０ ５ ． ３ 不仅是迄今 为止 Ｓ ＬＳｒｅ 的最大发行版本 ，而且是 Ｑ ｅｖｒ
同时 ，气象卫星每天 也在获取 各种 各样 的遥感观测数
据 。另外 ，由于气象预报业 务的需要，每 天也有来 自
全球各地的数值预报 产品经 由通信传输 系统接收 。此 外 ，由于工业的发展 、城市 的扩 张，对大气成分 的监 测 日益受到重视，获取 了多种相 关观测 资料 。因此 ， 气象数据具有量大、种类 繁多的特 点。
Ａｐ ｌ ａｉ ａｅ实 用案 例 １ ７ ｐｉ ｔ ｎＣ ｓ ｃ ｏ １
是将数据放公共数据 区，由用户 自行调取 ；二是 由
计 算 机 系 统 应 用
ｈｔ： ｗ． ｓ ． ｇｃ ｔ／ ｐ／ ｗｗ ｃ － ｏ ． －ａ ｒ ａ
２１ ０ １年 第 ２ Ｏ卷 第 ７期
航 空报 报文
Ｓ ｒ ｅ ０ ５ Ｗ ｅ ． ｉ ｙ ｔ ｍ ｐ ｎ ａｃ ｎ ｅ ｅ ｔｃ ａ ｎ ｌ ｒｄａａ ａ ｑ ｉｉ ｏ ． ｅｏ ｅ ａ ｄ ｉ ｎｅ ｒ ｔｓａ ｉ ｄ ｅ ｒ２ ０ ＋ ｖ ｂ Ｔｈ ｓｓ ｓｅ ｏ ｅ ｏ ｖ ｎ ｎ ｈ ｎ ｅ ｔ ｃ ｕ ｓｔ ｎ Ｏｎ ｔ ｔ ｒｈ ｎ ． ｔｉｔ ｇ ａｅ ｎ ｋ ｎ ｓ ｉ ｏ ｆ ｉ ｈ ｈ ｏ ｅｅ ｒ ｌ ｇｃ ａａ ｏ ｄ ｒｙ ｎ ｃ ｎ ｌ ｓｏ ，ｔ ｅ ｍｅｅ ｒ ｌ ｇｃ ｔ ｔ ｒ ｇ ｎ ａ ａ ｅ ｅ ｔ Ｓ ｓｅ ｍ ａ ｅ ｅ ｆｍ ｔｏ ｏ ｏ ｉａ ｄ ｔ ｒ ｅ ｌ．Ｉ ｏ ｃｕ ｉ ｎ ｈ ｔｏ ｏ ｏ ｉａ ｄａ ｓｏ ａ ｅ ａ ｄ ｍ ｎ ｇ ｍ ｎ ｙ ｔｍ ｋ ｓ ｔ ｌ ｌ ａ ｈ ｍｅ ｅ ｒ ｌ ｇｃ ａａ ｉ ｔｇ ａ ｏ ｎ ｓｏ ａ ｅ ｔｏ ｏ ｏ ｉａ ｄ ｔ ｎ ｅ ｒ ｔ ｎ ｏ ｔｒ ｇ ，ｍ ａ ａ ｅ ｎ ｎ ｅ ｖ ｃ ｏ ｅ ｔｕ ． ｉ ｙ ｔｍ ｓａ ｇ ｏ ｘ ｍ ｐｌ ｆｔ ｅ ｌ ｉ ｎ ｇ ｍｅ ｔａ ｄ ｓ ｒ ｉｅ ｃ ｍ ｒ ｅ Ｔｈ ｓｓ ｓｅ ｉ ｏ ｄ ｅ ａ ｅｏ ｈ ｍａ ａ ｅ ｎ ｆｔｅｍ ｅｅ ｒ ｌｇ ｃ ａ ． ｎ ｇ ｍｅ ｔｏ ｔｏ ｏｏ ｉａ ｄ ｔ ｈ ｌ ａ
计 算 机 系 统 应 用
ｈｔ：ｗ ． Ｓａ ｒ． ｔ ／ ｗｗｃ ・． ｇｃ ｐ／ — ｏ ｎ
２１ 年 第 ２ ０１ ０卷 第 ７期
气象数据存贮管理系
窦 以文 ，卢 俐 ，刘旭 林 ， 张代 萍
（ 北京市气象信息中心，北京 １０ ８） ０ ０ ９
摘
要 ：为解 决当前北 京市气 象局历史气象数据庞大 ，存储结构欠合理 ，存储格式不统一 ，数据管理不明晰，
（ ｅｉｇＭｅ ｏｏｏｉａＩｆｒ ｔ ｎＣ ｎｅ， ｅ ｉｇ１０ ８ ， ｈｎ） Ｂ ｉｎ ｔ ｒｌｇｃｌｎｏｍａｏ ｅ ｔ Ｂ ｉｎ ０ ０ ９ Ｃ ｉａ ｊ ｅ ｉ ｒ ｊ
Ａ ｓ ａｔ Ａ ｒｓｎ， ｈ ａ ａｅ ｎ ｎ ｅ ｉｅｏ ｏ ｅｌｉ ｔ ｒｌｇ ａ ｄ ｔ ａ Ｂ ｉｎ ｔ ｒｌ ｉａ ｂｔ ｃ： ｔ ｅｅｔ ｔｅｍ ｎｇｍｅｔａｄｓｒ ｃ ｆｎ ｎｒａ ｔ ｍｅ ｏｏｏｉ ｌ ａ ｔ ｅ ｉｇ Ｍｅ ｏｏｏ ｃｌ ｒ ｐ ｖ ・ｍｅ ｅ ｃ ａ ｊ ｅ ｇ
ｉ ｅ ｓｎ ｔｕ ｉｏ ｍ，ａ ｄ ｄ ｔ ｎ ａ ｍｅ ｔｉ ｏ ｌ ａ．Ｔｈ ｅ ｏ ｄ ｉ ｔＳｄ ｆ ｃ ｌ ｏ ｅ ｅ ｒ ｈ ｒ ｎ ａ ｅｍｅ ｏ ｆｌｓｉ ｏ ｎ ｆ ｒ ｎ ａａ ｍａ ｇｅ ｎ ｓｎ ｔｃｅ ｒ ｅ ｓ ｃ ｎ ｓｉ’ ｉ ｕｔｆ ｒｒ ｓ ａ ｃ ｅ ｓａ ｄ ｗｅ ｔ ｒ ｎ ｔ ｉ ｈ
让 气象 数据 产 生最 大 的社 会 服 务价 值 ，是 一 个 亟 待 解 决 的重 要 问题 。
信息 中心直接 向业务单位的应用 系统推送数据；三是 特殊资料服务 由人工处理。对 不同级别的用户赋予不
同的下载／ 接受资料的权限。
１ ． ３数据分发策略
建立 资料整编 审核制度 ，对实 时资料和历史 资料
系统 ，实现 了气象 数据的存储、管理， 以及服 务的整
合 和 一 体化 。
提供历史数据服务需要对文档加密 ， ｕ盘 贴 Ｒ Ｉ ＦＤ
标签 ，设定数据使用 范围，有效期等 ；实时气象 资料 服务 需要建立信任体系如 Ｃ 认证；除 了管理好 日常 Ａ
的常 规 备 份 ，还 要 做好 异 地 数 据 灾难 备 份 。
后 台数据分拣程序、 气象数据查询下载 网页、 台 Ｆ Ｐ 后 Ｔ 实 时监测 管理程序 、系统后 台管理 四部分组成 ，图 １
是 该系统总体框架流程 图：
的定为 ３级，根本没人用 的定为 ４级。
每种 数 据采用 一天 一个压 缩包 的保 存方 式 （ａ ｒｔ
文件 ） ，如果一天仅有一个 文件 ， 存储为原始文件 。 则 数据在盘阵上存储 的 目录结构定为 ４级 ， 第一级 目录 为资料类型 ，第二级 目录 为资料 子类 型 ， 三级 目录 第
Ｂｕ ｅ ｕ ｈ ｖ ｗｏ ｐ ｏ ｌｍ ｓ Ｏｎ ｓｔ ａ ｔ ｒ ｇ ｔｕ ｔ ｒ ｆｍ ｅｅ ｒ ｌ ｇ ｃ ｌｄ ｔ ｏ ｅ ｓ ｎ ｂ ｅ ｔｅ ｆ ｒ ａ ｆｓｏ ａ ｅ ｒ ａ ａ ｅｔ ｒ ｂ ｅ ． ｅｉ ｈ ｔｓｏ ａ ｅｓｒ ｃｕ ｅ ｏ ｔｏ ｏｏ ｉａ ａａ ｉ ｎ ｔｒ ａ ｏ ａ ｌ ，ｈ ｏ ｍ ｔｏ ｔｒ ｇ ｓ
为数据生成 的年份 ，第 四级 目录为数据 生成 的月份。 这 样的 目录结构清晰 明了， 便于 日后对数据 的管理和
维护。
综合考虑数 据下载速度与存储能力，将 ｌ级数据 长期保存在盘 阵上 ， 、 ２ ３级数据 只在盘 阵上保 留 ５年 ， ４级数据只在盘 阵上保 留 １年 。超过在盘阵上存储年
ｈｔ： ｗ． ｓ ．ｒ．ｌ ｔ／ ｐ／ ｗｗ ｃ — ｏｇｃ —ａ ｒ
计 算 机 系 统 应 用
还存在 多次保存 的冗余现象 ，缺少数据到达和使用情 况监控等 。如何将这些珍贵 的气象数据整合到～起 ， 分门别类妥善保存 ，一方面方便气象数据管理人员的 管理 以及数据服务，另一方面方便科研 人员 以及 气象 预报人员最快最便捷 获取所 需的各种历史气象数据 ，
进行 审核 ，包含设备维护及故障情况等 电子文档 ；制 定资料存贮规章制度 ，所 有的探测资料都要按一定形
为解决 以上两大突 出问题 ，基于 Ｓ ＬＳｒｅ ２０ Ｑ ｅｖｒ ０５ 数据库系统，北京市气象局开发 了气象数据存贮管理
式实时归档；定期制作常规数据集 。
１ ． ４数据安全策略
Ｓ ｓ ｍ ａ ｅ ｎｄ ｖ ｌｐ ｄｗｉ Ｐｌｎ ｕ ｇ ． ｅｓ ｓ ｍ ｔ ｃｕｅｉ ｂ ｓ ｎＭｉｒ ｓ ｆＳ ｒｅ ０ ３ Ｍｉ ｏ ｏ ＱＬ ｙ ｔ ｈ ｓ ｅ ｅ ｅｏ ｅ ｔ ＡＳ ｇ ａ ｅ Ｔ ｙ ｔ ｓｒ ｔｒ ａｅ ｏ ｃｏ ｏｔ ｅｖ ｒ２ ０ ＋ ｃ ｓ ｆＳ ｅ ｂ ｈ ａ ｈ ｅ ｕ ｓ ｄ ｒ ｔ
件夹 （ ｐ ｕ ｌａ ） ｉ ｔ ＿ ｐｏｄ ，等待按 照类 别分拣入最后存放地 址。 数据分拣程序 （ｏ ｎ＿ ａ ． ｅ 用 Ｖ ｓｒ ｇ ｄｔ ｅ ） ｉ ｔ ＿ ａｘ Ｂ语言编写， 该程序首先执行一个 ｂｔ ａ 小程序 ， ｔ ＿ ｐｏｄ文件夹 将 ｉ ｕ ｌａ ｐ
ｏ ｔｉ ｈ ｅ ｄ ｄ ｍ ｅｅ ｒ ｌ ｇ ｃ ａａ。 ｏｖ ｅ ａ ｏ ｅｐ ｏ ｌｍ ｓ ａ Ｍ ｅｅ ｒ ｌ ｇｃ ｌＤａ ｔ ｒ ｇ ｎ ａ ａ ｅ ｎ ｂａｎ ｔｅ ｎ ｅ ｅ ｔｏ ｏｏ ｉａ ｄ ｔ Ｔｏ ｓ ｌ ｅ ｔ ｂ ｖ ｒ ｂｅ ， ｔｏ ｏ ｏ ｉａ ｔ ｓｏ ａ ｅ ａ ｄ ｍ ｎ ｇ ｍｅ ｔ ｌ ｈ ａ
最为可靠安全 的版本 。
随着气 象观 测技术的发展 以及观测硬件设备的更
当前，各种实 时气象数据和产 品，基本满足 了气
象预报和科研 人员的需要 。但 是，海量 的历史气象数 据存储 结构欠合理，存储格式不统一 ，部分气象数据
新 ，地面、高空气象观测站点和观测 要素均在逐年增 加， 每天新生成的观测数据 以千兆级数量单位在增长。