数据交换平台的设计方案
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
10
功能介绍
性能
1. 单节点最大配置数据交换流程≥2000个； 2. 单节点并发交换数≥500； 3. 单节点数据吞吐率> 40M/秒； 4. 结构化数据加工速度> 3000行/秒； 5. 系统资源平均消耗不大于50%； 6. 支持对TB级数据进行数据交换。
以上指标在以下测试环境测得： 服务器（CPU 8核2.20GHz；内存 48G；64位Windows），网络（1000Mbps），数据库（oracle 11g）。
纵向数据交换
横向数据交换
SG-UEP
批消同服
数据中心
营销系统
协同办公
ERP
量息步务
横向数据交换
… …
5
平台简介
整体功能架构
6
平台简介
技术特点
分布式高可靠文件传输； 数据库数据抽取、转换、传输、装载； 基于数据库日志的低延迟、低影响同步复制； 高性能分布式企业级消息中间件； 面向服务的企业级服务集成总线。
系统A
系统B
…
子公司
系统A
系统B
…
子公司
…
子公司
3
平台简介
海迅数据交换平台简介
海迅数据交换平台（HSP-EXG）旨在提供复杂环境下、异构系统间企业数据孤岛问题的一体化解决方案。平 台集合了业内主流的数据交换产品功能，提供ETL、ESB、MQ、文件传输、数据库同步复制等产品的整体功能实现 ，各组件能够按照需求组合或裁剪，从而一次性满足中大型企业各类型数据集成共享需求，并进行统一的数据交换 监测与管理。平台主要包括五大子系统：
统一监测子系统（HSP-EXG-MS ）对平台各组件提供统一的可视化状态监测、统计分析、告警、报表导出等 功能。以全局视图方式展示企业数据集成情况以及数据流向。
4
SG-UEP一期成果介绍
典型解决方案
两级部署
上级单位
SG-UEP
批消同服
数据中心
营销系统
协同办公
ERP
量息步务
SG-UEP
统一监测
下级单位
序
文件
交换 节点
交换 节点
数据传输
交换 节点
第三方系统（目标端）
应
数据库
用
程
序
文件
批量数据总线子系统（HSP-EXG-ETL）主要实现将批量数据从源端经过抽取、转换、加载至目标端的功能 ，主要提供系统间基于文件的交换功能以及数据库间的数据交换功能。系统支持对oracle、mysql、db2等主流 数据以及excel等常见文件的数据抽取，在交换过程中可以对数据进行合并、拆分、转换、筛选、过滤等处理。 批量总线子系统可以单机部署，为局域网第三方应用系统提供批量数据交换服务，也可以随平台进行分布式部 署，交换节点部署于企业多个上下级部门，贯穿组网形成通信网络，为企业提供横纵向批量数据交换服务。
12
调度与管理
11
数据整合功能
– 常见数据库数据抽取、装载； – 动态SQL、变量数据抽取； – XML/ Excel文件数据抽取； – 数据库表条件路由传输； – 字段逻辑检查； – 数学运算支持； – 字段拆分、合并； – 数据类型转换； – 数据内容转换； – 数据清洗； – 高效私有格式转换； – 前置、后置处理；
批量数据总线子系统（HSP-EXG-ETL ）作为中间件实现将数据从源端经过抽取、转换、加载至目的端，主要 提供系统间基于文件的交换功能以及数据库间的批量数据交换功能。支持TB级文件交换，GB级数据库数据交换。
即时数据总线子系统（HSP-EXG-MQ）实现了满足JMS1.1规范面向系统间消息型数据交换的中间件，用于 在应用程序之间或分布式系统中互发消息，进行高效异步通信，一般用作企业级数据集成通信总线。支持30000条/ 秒的高频度点对点、一对多消息通信。
客户价值
一体化企业数据交换解决方案； 统一企业业务系统数据交换标准； 简化应用集成技术复杂度； 集中管理与共享企业接口服务资产； 提高企业应用集成共享水平；
7
目录
一 平台简介 二 功能介绍 三 典型案例
8
功能介绍
1、批量数据总线子系统介绍
第组网）
应
用
数据库
程
数据交换平台的设计方案，架构方 案，总体建设思路整体解决方案
目录
一 平台简介 二 功能介绍 三 典型案例
2
平台简介
总体目标 ：提供企业级复杂环境下异构信息系统间数据共享、集成、融合的整体解决方案
系统A
系统B
…
总部
1. 系统间文件传输 2. 数据库数据抽取、转换、装载 3. 系统间高频消息通信 4. 数据库准实时同步复制 5. 应用接口服务注册、转换、编 排、管理
9
功能介绍
运行原理
流程编排 文件传输 数据库数据抽取 数据清洗、转换、过滤 数据库数据装载
管理工具 管理工具 管理工具
http
管理服
xml
务器
引擎/ 节点
引擎/ 节点
服务
引擎 / 节点
第三方系统
集成 接口
URL/ 定时
批量数据总线子系统（HSP-EXG-ETL）由引擎节点 、管理服务器、管理工具、集成接口组成，主要完成 两大类工作：面向文件的分布式高可靠路由分发传输；面向数据库的数据抽取、转换、传输、装载。
功能介绍
基于文件的批量数据传输
– 文件、文件夹传输； – 模糊匹配多文件传输功能； – 对文件的压缩、加密传输； – 断点续传功能； – 数据的完整性检查及差错校验； – 多任务并发传输； – 文件变化传输机制（增量传输）； – 文件传输后删除、备份功能； – 节点间一对多、多对一传输； – 同步/异步传输机制； – 可视化配置与FTP系统集成；
管理服务器对多个引擎节点进行管理，用户通过管理工具连接到管理服务器进行图形化开发管理，管理服 务器将用户开发的服务/流程下发到涉及的引擎。引擎分布式部署在不同机器上，他们按照服务/流程信息相互 协作对数据在各节点上进行抽取、转换、传输、装载等处理以完成数据交换任务。第三方系统通过平台提供的 API、URL、定时调度等方式调用总线上配置好的服务或流程完成数据交换任务。
数据库同步复制子系统（HSP-EXG-Sync ）实现基于数据库日志的同步复制功能，主要用于oracle数据库的 主备式灾备、读写分离、数据迁移。系统保障数据的事务性，支持秒级数据库准实时同步。
服务集成总线子系统（HSP-EXG-ESB ）基于SOA思想，实现对企业接口服务的协议转换、注册/发布、编排 、管理，帮助企业对繁杂的应用服务接口进行统一标准、分类管理、集成共享。
功能介绍
性能
1. 单节点最大配置数据交换流程≥2000个； 2. 单节点并发交换数≥500； 3. 单节点数据吞吐率> 40M/秒； 4. 结构化数据加工速度> 3000行/秒； 5. 系统资源平均消耗不大于50%； 6. 支持对TB级数据进行数据交换。
以上指标在以下测试环境测得： 服务器（CPU 8核2.20GHz；内存 48G；64位Windows），网络（1000Mbps），数据库（oracle 11g）。
纵向数据交换
横向数据交换
SG-UEP
批消同服
数据中心
营销系统
协同办公
ERP
量息步务
横向数据交换
… …
5
平台简介
整体功能架构
6
平台简介
技术特点
分布式高可靠文件传输； 数据库数据抽取、转换、传输、装载； 基于数据库日志的低延迟、低影响同步复制； 高性能分布式企业级消息中间件； 面向服务的企业级服务集成总线。
系统A
系统B
…
子公司
系统A
系统B
…
子公司
…
子公司
3
平台简介
海迅数据交换平台简介
海迅数据交换平台（HSP-EXG）旨在提供复杂环境下、异构系统间企业数据孤岛问题的一体化解决方案。平 台集合了业内主流的数据交换产品功能，提供ETL、ESB、MQ、文件传输、数据库同步复制等产品的整体功能实现 ，各组件能够按照需求组合或裁剪，从而一次性满足中大型企业各类型数据集成共享需求，并进行统一的数据交换 监测与管理。平台主要包括五大子系统：
统一监测子系统（HSP-EXG-MS ）对平台各组件提供统一的可视化状态监测、统计分析、告警、报表导出等 功能。以全局视图方式展示企业数据集成情况以及数据流向。
4
SG-UEP一期成果介绍
典型解决方案
两级部署
上级单位
SG-UEP
批消同服
数据中心
营销系统
协同办公
ERP
量息步务
SG-UEP
统一监测
下级单位
序
文件
交换 节点
交换 节点
数据传输
交换 节点
第三方系统（目标端）
应
数据库
用
程
序
文件
批量数据总线子系统（HSP-EXG-ETL）主要实现将批量数据从源端经过抽取、转换、加载至目标端的功能 ，主要提供系统间基于文件的交换功能以及数据库间的数据交换功能。系统支持对oracle、mysql、db2等主流 数据以及excel等常见文件的数据抽取，在交换过程中可以对数据进行合并、拆分、转换、筛选、过滤等处理。 批量总线子系统可以单机部署，为局域网第三方应用系统提供批量数据交换服务，也可以随平台进行分布式部 署，交换节点部署于企业多个上下级部门，贯穿组网形成通信网络，为企业提供横纵向批量数据交换服务。
12
调度与管理
11
数据整合功能
– 常见数据库数据抽取、装载； – 动态SQL、变量数据抽取； – XML/ Excel文件数据抽取； – 数据库表条件路由传输； – 字段逻辑检查； – 数学运算支持； – 字段拆分、合并； – 数据类型转换； – 数据内容转换； – 数据清洗； – 高效私有格式转换； – 前置、后置处理；
批量数据总线子系统（HSP-EXG-ETL ）作为中间件实现将数据从源端经过抽取、转换、加载至目的端，主要 提供系统间基于文件的交换功能以及数据库间的批量数据交换功能。支持TB级文件交换，GB级数据库数据交换。
即时数据总线子系统（HSP-EXG-MQ）实现了满足JMS1.1规范面向系统间消息型数据交换的中间件，用于 在应用程序之间或分布式系统中互发消息，进行高效异步通信，一般用作企业级数据集成通信总线。支持30000条/ 秒的高频度点对点、一对多消息通信。
客户价值
一体化企业数据交换解决方案； 统一企业业务系统数据交换标准； 简化应用集成技术复杂度； 集中管理与共享企业接口服务资产； 提高企业应用集成共享水平；
7
目录
一 平台简介 二 功能介绍 三 典型案例
8
功能介绍
1、批量数据总线子系统介绍
第组网）
应
用
数据库
程
数据交换平台的设计方案，架构方 案，总体建设思路整体解决方案
目录
一 平台简介 二 功能介绍 三 典型案例
2
平台简介
总体目标 ：提供企业级复杂环境下异构信息系统间数据共享、集成、融合的整体解决方案
系统A
系统B
…
总部
1. 系统间文件传输 2. 数据库数据抽取、转换、装载 3. 系统间高频消息通信 4. 数据库准实时同步复制 5. 应用接口服务注册、转换、编 排、管理
9
功能介绍
运行原理
流程编排 文件传输 数据库数据抽取 数据清洗、转换、过滤 数据库数据装载
管理工具 管理工具 管理工具
http
管理服
xml
务器
引擎/ 节点
引擎/ 节点
服务
引擎 / 节点
第三方系统
集成 接口
URL/ 定时
批量数据总线子系统（HSP-EXG-ETL）由引擎节点 、管理服务器、管理工具、集成接口组成，主要完成 两大类工作：面向文件的分布式高可靠路由分发传输；面向数据库的数据抽取、转换、传输、装载。
功能介绍
基于文件的批量数据传输
– 文件、文件夹传输； – 模糊匹配多文件传输功能； – 对文件的压缩、加密传输； – 断点续传功能； – 数据的完整性检查及差错校验； – 多任务并发传输； – 文件变化传输机制（增量传输）； – 文件传输后删除、备份功能； – 节点间一对多、多对一传输； – 同步/异步传输机制； – 可视化配置与FTP系统集成；
管理服务器对多个引擎节点进行管理，用户通过管理工具连接到管理服务器进行图形化开发管理，管理服 务器将用户开发的服务/流程下发到涉及的引擎。引擎分布式部署在不同机器上，他们按照服务/流程信息相互 协作对数据在各节点上进行抽取、转换、传输、装载等处理以完成数据交换任务。第三方系统通过平台提供的 API、URL、定时调度等方式调用总线上配置好的服务或流程完成数据交换任务。
数据库同步复制子系统（HSP-EXG-Sync ）实现基于数据库日志的同步复制功能，主要用于oracle数据库的 主备式灾备、读写分离、数据迁移。系统保障数据的事务性，支持秒级数据库准实时同步。
服务集成总线子系统（HSP-EXG-ESB ）基于SOA思想，实现对企业接口服务的协议转换、注册/发布、编排 、管理，帮助企业对繁杂的应用服务接口进行统一标准、分类管理、集成共享。