东方通——数据中心项目数据交换平台技术方案

数据中心项目
数据交换平台技术方案
二〇一三年二月
一、建设概况
数据交换平台是用于解决多系统之间的数据共享和应用整合问题。

技术实现过程中所采用的技术来看，它包括了组件技术、中间件技术、XML技术、数据库技术等当今最成熟的计算机技术。

功能上主要是实现数据抽取、数据格式转换、数据更新变化跟踪、数据加工、数据可靠传输、数据路由、数据流量监控、断点续传、传输队列保障等。

数据交换平台技术当前已经十分成熟，从技术上必须基于成熟、可靠的中间件产品，包括应用集成产品和消息中间件产品。

同时要考虑数据交换项目建设是一个螺旋式上升的系统工程，需要提供一定的实施服务能力。

从安全可靠的角度出发，目前科学的做法是采用前置机的模式实现数据采集，与原有业务系统分离采集模式。

将所需要采集的数据桥接到前置机上，再通过前置机上的数据交换软件适配器将数格式化数据转换为XML，同样采集回来的数据可以双向的同步回业务系统中去。

数据到达前置机后将通过数据交换平台进行技术上的操作以及业务上的数据加工合并等操作。

数据交换平台的需求可以概括为以下几个方面：
(1).数据交换性能需求
数据交换平台的建设必须基于成熟、可靠的平台产品。

数据交换平台是系统的核心基础服务模块，负责实现跨系统的数据采集、数据交换、数据统计和分布式数据存储服务。

这些系统必须基于成熟、可靠、遵循国际、国内通行标准的相关平台产品。

同时符合国家、福建省有关数据交换规范要求。

(2).数据交换平台的建设是螺旋式上升的系统工程
数据交换平台由于系统规模大，业务需求不断发生变化，本着‘总体规划，逐步实施’的原则推进项目建设。

在相关业务系统中，有一些业务系统内部已经建成了独立的网络信息系统，未来的系统必须能够与它们互连并进行信息交换。

再就是系统建设要有充足的灵活性，满足业务关系不断变化需求。

(3).要充分利用现有系统的各类资源
在信息交换平台的设计中，充分利用现在已经建成的网络平台及信息资源，对这些资源加以合理利用，不仅可以大大缩短系统的建设周期，还可以降低系统的总体造价。

(4).数据交换平台要有充足的灵活性，满足业务关系不断变化需求
由于系统涉及多个部门的多个业务系统，它们之间的各种业务关系可能随时变更，因此要求数据交换平台必须有充足的灵活性，当业务系统发生变化的时候能够将系统变更的影响降到最小。

(5).先进实用与安全可靠是本系统成功的重要因素
数据交换平台的技术要求，充分体现了采用先进计算机技术与保护现有投资的结合，在各项技术指标满足要求的前提下，对于现有的网络设备、应用系统和信息资源进行合理的利用，充分发挥投资效益。

同时，数据交换平台也对系统的安全可靠提出了全面的要求，这也是数据交换平台的核心技术要求，必须将数据交换平台建设与电子政务安全体系建设紧密集成，才能保证各个系统全部范围的安全可靠和数据安全。

二、建设目标
基于消息中间件、应用集成中间件构建西湖景区数据交换平台。

通过数据交换平台采集各个相关业务系统数据，为构建西湖景区数据中心提供数据支撑，并向外提供服务，实现与杭州市其他部门之间的数据共享和交换，例如杭州市权力阳光、杭州市城管等。

数据交换平台支持跨网段数据交换，以多种通信方式实现不同部门之间的数据交换和转换，并对数据转换和传输过程实现集中统一控制和规范管理，可以支持多种数据接口，包括文件系统、数据库、消息队列等多种接口方式，可对数据交换任务进行跟踪和事后审计，基于安全基础服务，实现信息内容的保密和操作的不可抵赖。

实现异构数据库、资源库、应用服务系统的多种方式的灵活接入。

三、设计原则
平台建设需要遵循实用性、科学性、先进性、安全性和可扩展性等原则。

建设标准上应遵循国家和行业信息化建设有关标准及要求。

此外，还应该注意体现以下原则：
●标准性
设计应该遵循相应的国际、国内、地方或行业标准。

●先进性
采用面向SOA架构体系，及适配器服务的设计技术，同时融入消息可靠保障、文件共享等多种设计先进保障模式，提高系统可靠性，提高模块的复用性及
耦合度，方便系统扩展。

并对数据标准和交换标准指定统一的管理制度及规范等。

●可扩展性
构建ESB服务总线及统一消息传输机制，根据所接入应用、服务、数据的变化，系统应具备相应的扩展能力，并且所提供的扩展方式不应影响系统工作效率。

同时在软件系统的开发中，考虑各个功能模块可重复利用，降低系统扩展的复杂性。

●安全性
系统对数据、节点的安全做了充分考虑，包括数据加密、节点认证、文件访问权限、用户角色等安全技术手段加以保证。

●开放性
采用国际工业标准，对数据的XML标准、适配器的JCA保准、体系架构的SOA、服务的Web Services、通讯的JMS、流程管理XPDL\BPMN、门户集成JSR168/181等都采用国际国内最新成熟标准，方便扩展。

●可靠性
基于成熟的JAVA EE容器技术、消息可靠传输技术、文件传输保障技术及成熟的中间件技术等保证其高度的稳定性和可靠性。

●灵活性
平台支持广泛的通信协议、支持多种数据源屏蔽异构系统的技术差异，并支持数据的实时，定时，批处理等各种数据访问、交换和传输方式。

●可管理性
对数据流程提供强有力的监控。

提供方便的流程监控工具，对平台进行实时监控。

及时发现故障，便于用户进行信息跟踪和系统维护。

对关键流程和关键数
据进行流程监控，保证数据传输的可靠和完整，对异常情况进行统一处理，允许自动异常处理策略和转入人工干预流程。

提供图形化远程管理工具。

对接入节点、操作节点、服务内容等进行有效的控制，对服务节点映射、服务提供策略、权限角色策略、服务启动运行策略等提供图形化管理工具。

四、平台总体框架
4.1.总体技术路线
4.1.1.JAVA EE规范
为了保证高可用性、高可靠性和可扩展性，系统必须要选择支持强大的企业级计算的成熟的技术路线。

能够满足这些条件的技术首推JAVA EE企业标准。

JAVA EE是主流的开发技术平台，已成IT领域的国际工业标准，围绕着JAVA EE有众多的厂家和产品，其中不乏优秀的软件产品，合理集成以JAVA EE为标准的软件产品构建数据交换系统，可以得到较好的稳定性、高可靠性和扩展性。

JAVA EE技术的基础是JAVA语言，JAVA语言的与操作系统平台无关性，保证了基于JAVA EE平台开发的应用系统和支撑环境可以跨平台运行。

4.1.2.中间件技术
中间件具有以下的一些特点：满足大量应用的需要；运行于多种硬件和OS 平台；支持分布式计算，提供跨网络、硬件和OS平台的透明性的应用或服务的交互功能；支持标准的协议；支持标准的接口。

程序员通过调用中间件提供的大量API，实现异构环境的通讯，从而屏蔽异构系统中复杂的操作系统和网络协议。

针对不同的操作系统和硬件平台，它们可以有符合接口和协议规范的多种实现。

由于标准接口对于可移植性和标准协议对于互操作性的重要性，中间件已成为许多标准化工作的主要部分。

对于应用软件开发，中间件远比操作系统和网络服务更为重要，中间件提供的程序接口定义了一个相对稳定的高层应用环境，不管底层的计算机硬件和系统软件怎样更新换代，只要将中间件升级更新，并保持中间件对外的接口定义不变，应用软件几乎不需任何修改，从而保护了企业在应用软件开发和维护中的重大投资。

中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。

中间件软件管理着市民端程序和数据库或者早期应用软件之间的通讯。

中间件在分布式的市民和服务之间扮演着承上启下的角色，如事务管理、负载均衡以及基于Web的计算等。

利用这些技术有助于减轻开发者的负担，使他们利用现有的硬件设备、操作系统、网络、数据库管理系统以及对象模型创建分布式应用软件时更加得心应手。

由于中间件能够保护企业的投资，保证应用软件的相对稳定，实现应用软件的功能扩展；同时中间件产品在很大程度上简化了一个由不同硬件构成的分布式处理环境的复杂性，所以它的出现正日益引起用户的关注。

4.1.3.SOA服务体系架构
SOA（Service Oriented Architecture，缩写SOA），即面向服务的体系架构，提供了一种构建IT组织的标准和方法，并通过建立可组合、可重用的服务体系来减少IT业务冗余并确保信息系统的可持续发展以及快速构建。

SOA的实现对技术没有限制。

SOA是关于共享和管理服务的结构，对所采用的技术只需要满足它的需要就可以。

虽然Web服务协议到目前为止还是首选
的创建和部署SOA架构的标准，但是也可以使用其他标准，比如CORBA、COM 和JAVA EE。

甚至可以采用私有技术创建SOA。

SOA可以节省组织成本，包括重复利用已存在的软件作为服务，以及增强改变IT方案适应需求变革或灵活性的能力。

SOA对兼容性的需求完全处在松耦，可以通过在项目实施过程中为创建和部署大多数SOA提供的端到端解决方案解决兼容性问题。

4.1.4.ESB企业服务总线
ESB（Enterprise Service Bus，缩写ESB），即企业服务总线，是SOA的骨干，在完成服务的接入，服务间的通信和交互基础上，还提供安全性、可靠性、高性能的服务能力保障。

采用SOA架构，基于ESB总线进行信息系统集成，如下图所示，信息系统之间的交互通过总线进行，这样可以降低应用系统、各个组件及相关技术的耦合度，消除应用系统点对点集成瓶颈，降低集成开发难度，提高复用，增进系统开发和运行效率，便于业务系统灵活重构，快速适应业务及流程变化需要。

应用系统
2……………………
企业服务总线 ESB
数据服务信息服务业务服务流程服务适配器服务适配器服务适配器服务适配器服务
应用系统
3应用系统
4
应用系统
1
4.1.
5. 异构系统适配器服务
异构系统适配器服务是数据交换系统的基础服务部件，是各信息系统接入ESB 的桥梁，是多种异构系统之间互连互通及互操作的服务单元。

适配器应遵循国际级行业标准，提供标准的XML 数据对象、服务接口、服务操作方法，如下图示，真正实现了信息系统服务重用。

适配器服务应分为提供服务者和消费服务者，既可以提供服务消费，也可以消费其他服务。

可以实现信息系统常用文件、数据库、通讯等技术适配能力，并可以按照特定规范进行适配器服务定制，满足数据库通讯其他文件
适配器服务XML 服务接口
操作方法
4.1.6. XSLT 服务 XSLT 是扩展样式表转换语言（Extensible Stylesheet Language Transformations ）的简称，它是把XML 文档转化为另一文档的转换语言，即将源文档的所有数据或者部分数据，利用XPath 进行选择，生成另外的XML 文档或者其他可直接显示或打印的文件格式。

XSLT 服务是用来对数据进行转换的一种服务，通过XSLT 服务，一种数据格式可以轻松的转换为另一种数据格式。

4.1.7. Web Services
Web Services 即Web 服务，属于轻量级访问协议服务。

服务的技术实现和表现形式多种多样，例如：适配器服务、XSLT服务、服务编排服务等，这些服务都可以发布为Web服务。

同样，ESB总线还可以访问其他信息系统提供的WEB服务。

4.2.平台总体架构
平台体系结构符合SOA设计，总体架构逻辑如下图所示：
●交换前置：交换前置与交换中心连接，各个业务系统通过交换前置将需
要交换和共享的数据传输到交换中心。

交换前置上通过部署交换软件适
配器可以方便的与各类型的数据库、文件、消息接口等建立集成机制，
实现数据通讯及数据交换机制。

●消息传输：由消息中间件提供交换前置到交换中心之间的数据安全可靠
传输通道，并能实现消息传输、消息路由、消息优先级控制、消息质量
保障、消息加密压缩等功能。

为数据集成服务，建立异步数据传输机制，
提高数据集成的数据压力承受能力。

● 交换中心：将各个接入系统的数据汇集到交换数据库中，形成基础数据
交换库，为数据中心提供数据基础。

● 公共服务：将数据中心形成的不同主题应用数据作为服务提供给别的系
统调用，例如公共服务、决策支持等。

4.3. 软件部署结构
产品逻辑部署结构如下：
乡镇农合办
TongIntegrator 集成中间件TongLINK/Q 消息中间件
交换中心
TongLINK/Q 乡镇农合办网络
前置2
乡镇农合办
乡镇农合办前置1乡镇农合办
乡镇农合办前置N
乡镇农合办
乡镇农合办前置3
……
TI Adapter
TongLINK/Q TI Adapter
TongLINK/Q TI Adapter TongLINK/Q TI Adapter
中心数据库
交换节点
数据交换部署采用中心--前置模式，在西湖景区管委会设立交换中心，在其他几个机房设置交换前置机，业务系统通过交换前置机接入交换平台。

交换中心：部署应用集成中间件TongIntegrator 提供整体集成框架，并实现中心数据集成；部属消息中间件TongLINK/Q 提供分布式消息可靠传输服务，解决不同交换前置机到中心的数据安全可靠传输。

共享交换前置：作为交换节点，分别部署应用集成中间件适配器
TongIntegrator Adaptor 和消息中间件TongLINK/Q ，提供数据采集和交换传输功能，满足接入系统到交换中心之间的数据共享交换需求。

4.4. 交换软件产品配置
平台组成部分 产品部署配置
交换中心
中心数据集成
TongIntergrator V4.1 交换传输 TongLINK/Q V8.0 前置系统
交换传输
TongLINK/Q V8.0 前置交换
TongIntergrator Adaptor
V4.1
五、 功能设计
5.1. 数据共享交换服务封装
数据服务封装主要是完成数据加工处理的过程，包括数据格式转换、数据清洗、以及数据加工等数据处理功能。

数据服务封装首先是适配器服务。

适配器服务是外系统接入数据共享与交换服务平台的桥梁，是多种异构系统之间互连互通及互操作的重要组件。

适配器遵循JCA1.5标准，真正实现了适配器的重用。

常见的适配器，如结构化及非结构化文件适配器，Oracle 、DB2、SqlServer 、KingBase 、MySql 、Access 、Excel 等数据库适配器，FTP 、SMQP/POP3、JMS 等通讯类适配器等。

除了系统本身
集成的适配器之外，它还提供了适配器开发工具，便于用户开发适合自己需要的定制适配器，并无缝集成到开发系统中。

服务封装是数据交换接入的最前端，无论直接交换还是“桥接”交换，都可以采用该适配器服务封装实现。

⏹XML数据表示
即根据转换定义的规则，完成数据转换的处理。

将原始的数据转换为需要的数据格式。

统一的数据和服务表示——标准XML。

不同的系统传输数据内容和方式都可能不一样，不同的系统提供服务的方式和数据格式也不一样，为了使不同系统在互相交互时有一个统一的接口表现方式，需要定义一套统一的接口（服务方式和数据格式）表示方式，因为XML的强大描述能力，使用XML来描述各系统的服务接口和数据传输方式。

⏹适配器服务
不同的业务系统存储数据的方式可能各不相同，需要支持数据源的不同存储方式（如不同的数据库、文件等）。

采用适配器服务技术。

接入的适配器服务封装主要是为了减少开发工作量，努力实现接入部门的“零编程”目标。

适配器服务是外系统接入数据共享与交换服务平台的桥梁，是多种异构系统之间互连互通及互操作的重要组件。

适配器遵循JCA1.5标准，真正实现了适配器的重用。

常见的适配器，如结构化及非结构化文件适配器，Oracle、DB2、SqlServer、KingBase、MySql、Access、Excel等数据库适配器，FTP、SMQP/POP3、JMS等通讯类适配器等。

除了系统本身集成的适配器之外，它还提供了适配器开发工具，便于用户开。