解决方案：04-xx数据交换SI Toolkit产品白皮书

SI Toolkit数据集成与交换工具

产

品

白

皮

书

曙光云计算技术有限公司

1产品概述

数据集成与交换工具（SI Toolkit）是是一个由SI Studio、SI Worker和SI Monitor组成的软件组合。它是搭建数据交换平台消除信息“孤岛”的有效手段。它为不同网络环境、不同数据库、不同数据格式之间，进行数据集成与交换提供软件支撑服务。

2产品架构

图 1 产品组成架构图

SI Toolkit包括三个关键组件：SI Studio、SI Worker和SI Monitor。

SI Studio，即曙光数据交换集成开发工具，可以管理数据集成的整个生命周期，集开发、调试、部署、运行、监控等管理功能于一身，支持图形化拖拽方式实现数据集成流程的开发。

SI Worker，即数据交换服务处理程序，是用于执行数据集成作业和转换的引擎。它是数据集成与交换的核心支撑，具有流程检测、流程部署、流程控制、转换监控等功能。

SI Monitor，即数据交换远程监控管理系统，是一套对数据交换节点及

相关交换流程进行监控和管理的Web系统。它实现了对数据集成与交换的远程管理，如流程部署、流程控制、转换监控、日志查看等功能。

3产品特点

3.1支持多源数据集成

支持各种主流数据库（Oracle、SQLServer、DB2、MySQL、Sybase、Postgre SQL等）的全量和增量数据抽取、装载，还支持TXT、CSV、Excel、XML文件、消息服务器、LDAP服务器、Web Service等。

3.2丰富的数据转换规则

内置40多种数据清洗转换规则，并支持修改和自定义转换规则，最大限度满足各种数据转换需求。

3.3多重加密保障、传输更安全

基于产品自带的安全服务功能，对敏感信息交换进行MD5、DES、SSL 加密，根据数据加密应用途径进行交换信息内容的加密（可逆或不可逆），保障数据交换传输过程中的安全。同时还将具有数据合法性验证功能，能够对交换平台与应用系统之间的合法性验证，确保数据可信交换。

3.4简单、易用

SI Toolkit为构建数据交换平台提供了一套可快速实施的工具组件。在单点系统部署上它采用引导安装模式，只要点击按钮便可安装完成；对于多节点集群平台的部署，只需要重复同样的操作，多安装几套软件，并进行简单的节点集群注册便可以完成数据交换平台的搭建。

另外，SI Toolkit提供的SI Studio工具支持通过鼠标拖拽生成数据交换流程，并定义清洗比对规则，极大的降低了数据交换实施的操作门槛。

3.5可移植性

SI Toolkit基于Java，可完美运行于Windows或Linux系统。在SI Studio 中设计的数据交换任务(Job)，可轻松导出成文件并导入进其它的SI Studio 中，实现同一个数据交换任务在不同的数据交换平台间的移植。

4功能简介

4.1SI Studio

SI Studio是提供从数据集成逻辑的设计、开发、调试、部署，到运行、管理、监控各个生命周期不同阶段的集成开发工具。它主要具有资源库管理、流程编辑、流程执行、SI Worker管理功能。

资源库管理：SI Toolkit中的资源库是一个抽象的资源管理中心，为数据交换平台提供对转换、任务、数据库连接、服务器的配置信息等资源集中式管理功能。通过SI Studio能便捷地对上述资源进行添加、修改、删除操作，此外还能对资源库中的资源进行导入导出操作。

流程编辑：流程编辑器是为用户提供图形化的转换流程和任务流程的编辑工具。利用流程编辑器，可用拖拽组件的方式组建交换流程。通过这样一种简洁的方式，将开发人员从复杂的程序接口设计与编程工作中解放出来，仅需通过配置、定义的方式即可产生功能丰富多样的交换流程，从而大大地提高了实施效率，降低了数据交换平台的使用难度。

流程执行：利用SI Studio可方便地控制交换流程的执行情况。设置交换作业的执行策略，交换作业可在本地执行，也可在远程服务器上执行。若设置为远程执行，则将交换作业推送至SI Worker并由SI Worker负责具体的交换任务执行。

SI Worker管理：曙光数据交换平台中，SI Worker是支撑任务和转换运行的一个容器。SI Worker供网络接口对运行于其上的流程进行监控管理，通过这个接口，SI Studio可以向服务器部署任务或转换，启动或停止任务和转换，获取部署在SI Worker上的任务和转换的信息，以及获取运行日志

和统计信息。

4.2SI Worker

SI Worker用于执行数据集成作业和转换，并通过HTTP协议对外开放对服务器的管理接口。SI Worker包含了执行数据集成流程（作业流程和转换流程）的作业引擎和转换引擎。在SI Worker启动时，可以检查发布在该SI Worker上的数据集成流程，并执行配置为启动执行的流程。同时，SI Worker还提供了对运行时的监控和管理功能，这些功能都通过HTTP接口对外开放。通过这些接口，可以实现对数据集成与交换的远程管理，如流程部署、流程控制、转换监控、日志查看等功能。

4.3SI Monitor

SI Toolkit提供了一套B/S架构的统一监控管理系统SI Monitor，可以实现对数据集成与交换的远程管理。通过SI Monitor可以在全局上管理、监控各个SI Worker的节点运行状态、交换服务运行状态、作业运行状态、数据吞吐量、系统异常数等等参数。

SI Monitor的主要功能包括状态监控、业务管理、节点管理、数据统计等功能。

状态监控：状态监控页面将数据交换平台的几个主要的监控对象集成到了一个页面中。包括节点状态、运行作业状态、数据吞吐量、系统异常数、实时流量等。

业务管理：对数据交换平台中正常运行的节点进行作业、转换的开启、暂停、删除和调度、查看日志等操作。

节点管理：用于注册管理各个交换子节点，即对整个交换平台的SI Worker进行统一注册管理。

数据统计：以图表的方式对数据吞吐量等统计结果进行展现。