气象数据异地服务器同步系统的设计与实现
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
气象数据异地服务器同步系统的设计与实现摘要:随着气象信息化的飞速发展,近几年气象资料成倍增长,预报、科研人员对基础气象资料的实时性与完整性提出了越来越高的要求,气象数据异地服务器同步系统用于省级信息中心未完整接收气象卫星数据广播系统分发的资料时,自动通过ftp方式到国家气象信息中心的数据服务器下载所需文件,实现与国家级资料的同步,极大的保证了省级气象资料的完整性与实时性。本文主要介绍了所开发系统的功能,业务流程及实现方法。
关键词:资料传输;自动同步;ftp
中图分类号:tp311.52 文献标识码:a 文章编号:1007-9599 (2012)18-0000-02
1 引言
随着网络通讯技术、现代探测技术、新一代数值预报技术和天气预报业务的飞速发展,目前获取的气象观测数据、资料海量增加,省级气象信息中心除了收集本省的各类资料外,大量的资料通过国家局气象主站的卫星数据广播系统获得,但是,如果省级接收机出现故障,则故障时段分发的资料就会缺收。而且,由于接收干扰、降雨衰减等影响,省级文件丢失情况时有发生,给预报业务和服务业务带来了直接影响。开发此气象数据异地服务器同步系统,可以有效满足预报、科研人员对基础气象资料实时性与完整性日益提高的需求。该系统每间隔一段时间就自动通过地面气象宽带网从国家气象信息中心的数据服务器ftp下载所需文件,以实现省级服务器
的数据与国家级数据的同步,极大的保证了省级气象资料的完整性与实时性,提高了省级信息中心提供基础气象数据的主动性与及时性,解决了资料缺失滞后处理的问题。
2 系统的功能
系统的功能主要是实现省级气象数据服务器资料与国家级的同步,当省级未完整接收国家局气象卫星数据广播系统分发的资料时,自动从地面气象宽带网ftp连接到主站的数据服务器下载所需文件,由于只在检测到省级资料不全时才启动数据传输功能,避免了大量资料的重复传输,作为资料接收的备份方式,极大的保证了省级资料的完整性与实时性。
系统界面显示实时处理的文件,便于值班人员巡视系统的运行情况。数据同步每隔20分钟自动完成当前时间应收资料的补全,也可人工干预,手动选择需要同步的资料类型,在任意时间下载截止当前系统时间的所有缺失资料。按目前的设置,系统每天扫描的资料类型有地面常规资料,数值预报资料,卫星云图。可以满足预报对基本资料的需求,如果需要更多的数据,只要在配置文件列表增加相应的文件名即可。
3 系统的业务流程分析
根据系统数据同步的处理过程,得出系统的业务流程图,如图1所示。用流程图表示过程直观形象,易于理解,可以比较清楚地显示出各个步骤之间的逻辑关系[1]。
3.1 选择需要同步的资料类型
数据同步开始,选择需要同步的资料类型,可选多种,目前根据预报需求,列出了较为常用的几种,如常规资料中的地面观测、高空探测资料,数值预报中的欧洲中心、德国、日本资料,还有卫星云图资料。
3.2 查看省级文件是否齐全
对照文件列表到省级数据服务器查找文件,如果查找的文件存在,则不需要下载资料;如果没有查找到匹配的文件,则通过地面气象宽带网ftp连接到主站的数据服务器下载所需文件,下载成功后将文件以ftp方式传到省级的数据服务器,并断开主站的ftp连接,释放资源。若主站也没有所需的文件,则断开主站的ftp连接,等下一次同步时再下载,本系统设置的自动同步时间间隔为20分钟,根据业务需求可调整,也可以人工干预,手动选择需要同步的资料类型,在任意时间下载截止当前系统时间的所有缺失资料。
3.3 判断文件列表是否结束
判断扫描的文件列表是否结束。如果列表中还有未查找过的文件,则继续查找,如果列表中的缺收文件已查找完毕,则此次数据同步结束。然后更新文件列表,详细记录文件下载时间,对缺收的文件进行标示,下一次数据同步时再下载。
4 系统的实现方法
系统的具体实现就是通过ftp方式查找与传输文件,核心功能的实现需要依赖于每天生成的文件列表,每种同步的资料都预先设置一个对应的文件列表,列出需要的文件名,依据文件列表可以缩
小查找的范围,将需要同步的资料精确化,确保基本资料的完整性与及时性。
4.1 开发环境
系统以c++ builder为开发平台,便于实现简洁的用户界面,编程语言使用c++,程序的编写及调试在windows xp 操作系统完成,经过业务使用验证,在windows系列操作系统运行稳定。
4.2 灵活选择同步的资料类型
系统用设置复选框的方式,打勾选择需要同步的资料类型,可以灵活选择一种或几种资料,默认方式是全部勾选。
4.3 数据同步过程的实现方法
系统每隔20分钟自动扫描一次省级服务器存放当天资料的目录,当文件不全时,通过地面气象宽带网从主站数据服务器ftp下载截止当前时间所缺的文件,有两个终端可选,一个是主站网站服务器,另一个是主站的实时资料服务器,两个终端互为备份,每次只选择其中一个同步数据,默认为选择实时资料服务器,从而确保省级服务器上的资料与主站是同步的。
系统每天国际时00点生成当天的文件列表,每次数据同步完成后更新该文件。该文件也可以作为简单日志查看数据同步系统的运行情况。文件详细列出了全部需要扫描的文件名,文件是从网站还是实时资料服务器下载的,最后一次扫描文件的时间,还有文件的存在方式,0为不存在,1为已经存在,新生成的文件存在方式都为0,只要文件的存在方式是不为0的文件,之后的每次查找都不
再扫描。
系统查找文件以及传输文件均是以ftp方式连接本地服务器,因此可以在业务网段的任意一台pc机运行,避免了将服务器映射为网络驱动器方式,需保证时时连接服务器的弊端,优化了服务器的资源利用率。
4.4 模块化编程
同步不同类型的资料所采用的流程是一样的,区别在于文件存放的路径和文件名的不同。因此在编程时写好ftp连接模块,查找文件用到的文件名匹配模块,还有ftp传输模块,在同步某种资料时调用所需模块赋予对应参数即可。另外,服务器地址,ftp连接用到的用户名,登录密码,以及文件存放路径都写入一个单独的配置文件,在系统启动时读取该文件的内容,就不用在程序中重复录入相同的参数。模块化编程简化了系统的代码修复工作,提高了程序的可靠性。
5 结束语
气象数据异地服务器同步系统已投入业务不间断运行,期间运行稳定,解决了资料不全时手动下载效率低的问题,确保了省级服务器上的资料与主站的同步性,为预报员及时获得实时资料分析天气提供了有效保障。该系统可扩展性强,通过修改配置文件,设置服务器地址,添加文件列表,可实现地市级或县级气象数据服务器与省级数据服务器的数据同步。
参考文献: