广东省水利数据中心数据交换平台设计

广东省水利数据中心数据交换平台设计
蔡宇翔
【摘要】介绍广东省水利数据中心数据交换平台的总体设计,对设计中遇到的如何与既有业务系统数据库交换、与分中心、直属单位及DMZ区的数据库进行交换等问题,采取了相应的解决措施.应用实践证明,广东水利数据交换平台设计是成功的.【期刊名称】《广东水利水电》
【年(卷),期】2012(000)005
【总页数】3页(P70-72)
【关键词】广东省水利数据中心;数据交换平台;设计
【作者】蔡宇翔
【作者单位】广东省防汛抢险技术保障中心,广东广州 510635
【正文语种】中文
【中图分类】TP391
信息的网络化促使数据交换技术的快速发展，数据交换是一个在多个数据终端设备(DTE)之间，为任意2个终端设备建立数据通信临时互连通路的过程。

数据交换技术应用的范围十分广泛，它应用于企业、政府机构间还有电子商务等领域。

如水利部门，不同地区的水利部门的信息共享有助于汛情的预测和突发灾情的防范，但由于不同政府部门间的数据信息架构存在着差异，为了使政府机构在不同信息库间信息数据能够自由转换，就需要建立一个数据交换平台。

数据交换平台通过建立统一的数据交换模式，采用统一的数据格式，屏蔽底层的数据转换、传输等数据处理技术，可解决应用系统包括关系型数据库系统的数据交换和处理等问题，同时还可以实现应用系统间一对一、一对多、多对多的数据交换［1］。

1 数据交换平台的总体设计
广东省水利数据中心(以下简称:数据中心)数据交换平台以Web服务的形式构建数据迁移、交换等数据集成流程，为跨域的应用系统应用、业务流程等提供基于HTTP、SOAP和接口访问方式的便捷的功能服务和系统管理控制。

1.1 数据交换平台的体系结构［2］
根据不同逻辑层次，数据交换平台的系统体系结构可分为任务引擎服务、BPEL引擎服务、组件服务、元数据服务和开发与管理工具(见图1)。

任务引擎服务通过构建基于BPEL规范的服务模型封装了数据集成应用模型中的典型应用，在组件服务层面上，系统以Web服务的形式提供了ETL引擎、传输、错误处理、监控等基础数据集成组件服务，为数据集成流程定义工具等平台中的其他依赖组件和商业流程的编排构建了支撑服务群支持。

1.2 数据交换平台的功能设计［2］
数据交换平台的主要功能包括资源管理、主题管理、任务管理、监控管理、系统管理和安全管理6个模块。

这些功能涵盖在开发与管理工具、元数据服务、BPEL引擎服务和任务引擎服务中。

其中，“资源管理”模块主要功能是正确、高效地完成数据交换的任务;“主题管理”模块的功能是解决在一些数据交换的实际场景中，
业务数据库之间不能直接连通，无法直接进行数据交换的情况，这时通过发布主题，使用“主题”方式顺利进行数据交换;“任务管理”模块的主要功能是新建数据交
换任务;“监控管理”模块的主要功能是监控数据交换任务的运行状态、校验、查
看任务日志;“系统管理”模块主要功能是管理服务、服务的属性以及服务中使用
的变量;“安全管理”模块主要功能是完成数据交换平台中权限的配置。

2 数据中心数据交换平台设计遇到的问题及解决措施
根据上述数据库交换平台基本原型的设计思想，下面探讨数据中心进行数据交换的一些具体情况:数据交换平台是如何在其中起着关键性的作用，在进行实际数据交换过程中会遇到什么问题，需要怎样去协调。

除此之外，还会进一步考虑怎样完备这个数据交换平台系统。

图1 数据交换平台体系结构
2.1 数据中心进行数据交换前的准备工作
在进行数据交换之前，数据中心需要根据各业务系统数据库表的调研情况，在数据中心设计建立一个完备的对应的数据库系统，更好地容纳相应的数据库信息，并与其进行信息交换。

另外，需明确数据中心可进行数据交换的范围，大致可划分为与厅原业务系统，地市数据分中心，地市、厅直属单位，省直其他单位，上级单位等进行数据交换，经调研，确定进行数据交换的范围为:省三防综合库、省水文综合库、地方三防综合库、厅直属单位三防综合库、厅原业务系统、DMZ区以及地市数据分中心。

图2为数据中心与这些数据进行交换的整体框架。

2.2 与既有业务系统数据库交换设计
目前省水利厅既有的各业务系统的系统整合可分为用户整合和改造整合。

(1)对于用户整合，需要实时保证数据中心与业务系统的数据交换以保证业务系统与数据中心并行运行。

实现数据交换需要如下2个步骤:①将省三防综合数据库作为数据中心的一个交换分支节点，数据的汇集在数据中心完成，并由数据中心向省三防综合数据库、省三防后备库及地市级水利单位和流域局的数据分发，以支撑各节点的业务应用，同时减轻数据中心的负载。

②并行的业务系统数据通过ETL工具将数据抽取到数据中心，供数据中心使用。

数据中心获得业务系统数据，完成应
用操作后，共享回并行的业务系统，最终实现与业务系统数据的并行［3］。

(2)对于改造整合，数据交换平台提供系统过渡期的数据交换以确保系统的平稳过渡，其共享交换与并行业务系统的共享交换的交换流程相同。

2.3 与分中心数据交换设计
根据不同的场景，数据中心与分中心数据交换需进行不同的设计。

为说明不同的场景，假设分中心数据对数据中心是开放的:①在数据实时要求高、数据量大和数据结构差异不大的情况下，分中心数据与省数据中心的ODS库进行直接的数据交换;②在数据实时性要求不高、数据量不大和数据结构差异不大的情况下，分中心数据通过缓存区与省数据中心进行数据交换，这样可以减轻直接与ODS库交换的负载;③在数据实时性要求不高、数据量不大和数据结构差异不大的情况下，分中心本身的数据抽取和下发都通过缓冲区实现交换。

图2 数据中心数据交换整体框架
除上述基于不同情景的考虑外，在交换方式上可采用一对多的交换模式，支持自动交换和手动交换。

各分中心在建设过程中采用省数据相关的技术标准和体系结构，实现双向交换，并且趋向以缓冲区作数据交换，以减轻数据中心的业务负担。

2.4 与地市、厅直属单位现有数据库交换设计
省数据中心与省三防的数据交换主要涉及实时水雨情数据库、水利工程数据和灾情数据。

实时水雨情数据包括基础水雨情数据和历史水雨情数据，数据交换要满足数据的唯一性、正确性、及时性3个方面的要求以保证信息决策的正确性;水利工程数据库包括基础工情信息和历史工情信息，实时工情信息的交换只有从下级部门向上级部门发送数据，三防指挥中心不存在将实时工情向地市三防指挥中心发送数据;灾情数据包括基础灾情信息、防洪物料信息、旱情信息、历史旱情信息，其交换条件与实时工情信息相同。

这些数据都可以通过省三防指挥中心统一加载到省三防指挥中心综合数据库中，而本地的就通过21个地市三防办、工程管理单位将信息加
载到本地综合数据库中。

2.5 与DMZ区数据库交换设计
DMZ区通常认为是非常安全的，它提供了一个放置在公共区域的服务器，从而能有效地避免一些互联应用需要公开，而与内部安全策略相矛盾的情况发生。

根据水利厅网络部署，政务外网能单向访问DMZ区数据，而DMZ区不能访问政务外网。

因此，对于DMZ区的数据交换，采取从政务外网利用数据库访问或获取数据的方式进行数据交换，通过将公网系统的数据抽至数据中心，由数据中心推送数据至DMZ区数据库，而公网的系统在DMZ区数据库获得想要的数据。

3 结语
上述探讨了广东水利数据中心的数据交换应用，分别对不同的数据交换情况进行分析与说明。

在这一个过程中，还有很多实质的问题需要协调，如在业务系统进行数据交换中协调业主单位和原业务系统的承建商来完成数据映射的整合等，要建立一个完备的系统，这仅仅是一个初步阶段，数据导入的开发、数据管理与维护设计的开发、系统观看设计与开发、资源目录与原数据设计、数据交换平台开发、ETL设计还有数据仓库设计这些阶段性工作是必不可少的。

参考文献:
【相关文献】
［1］袁林海.通用数据交换系统的研究及实现［D］.西安:西安电子科技大学，2007.
［2］广东省防汛抢险技术保障中心，东软集团股份有限公司.广东省水利数据中心工程项目数据库
与数据仓库和系统集成项目总体设计报告［R］.广州:广东省防汛抢险技术保障中心，2011.
［3］于立.ETL关键技术研究［D］.南京:东南大学，2005.。