达梦数据交换平台产品介绍

ETL转换
数据目的
体系结构
客户端工具 DMETL Studio 数据交换设计器 DMETL Web Monitor 数据交换监控系统 第三方应用
DMETL Server 达梦数据集成服务器
OSGI
接口层（API）
服务监听 服务管理
执行引擎
线程池 脚本引擎
调度
元 数 据 管 理
流程执行器
监控
转换规则
ORACLE SQL SERVER
ETL
数据库查找替换：过滤所需数据，并且根据规则进 行数据的替换 自定义转换：调用java程序执行特殊的数据处理 内置数据质量检查：边检查编入库 同时对节点状态和数据状态监控与统计 中文特色处理：全角半角转化，汉字转拼音等
数据仓库
WEB SERVICE
报表引擎
数据源
基于DMETL表级增量抽取和灵活的转换逻辑，高效的实现 了国家电网主备调系统间的异构数据（数据平台和数据模型、 数据结构均不同）的同步，保证了新旧调度系统的平稳过渡和 升级。
OPEN3000
DMETL实现异构数据库同步
D5000
一区
数据 在一二区之间搭建DM的主备用机
一三区异步复制功能
网关
二区
备份
网络隔离装置
任意的一次性或者周期性的时间调度 事件调度（DMETL系统事件、文件系统事件）
技术特性-扩展性
接口 开放
元数据 开放
插件 开放
DMETL
接口开放：提供完整的API接口及其文档和示例程序，便于集成和二次开发 元数据开放 支持DM、Oracle、SQLServer等主流关系数据库存储元数据 支持XML元数据导入导出 提供完整的元数据库定义，第三方应用可以自由提取相关信息 插件开放：基于OSGI的国际标准插件设计，第三方可以方便的开发新插件
• 达梦总部 • 产品研发、测试、技术服务中心，技术培训中心 ，华中区域销售中心
北京达梦数据库有限公司
• 全国行业销售中心 华北、东北、西北区域销售中心 • 北方区域技术服务中心
上海达梦数据库有限公司
• 产品核心架构设计中心 • 华东区域销售中心
广州、石家庄、南宁、海口、沈阳、西安、济南、南京、 珠海、成都、合肥等
国家电网网中ETL的应用
国网O3000到D5000 ETL数据同步 河南省调O3000到D5000 ETL数据同步
西北网调O3000到D5000 ETL数据同步
宁夏省调O3000到D5000 ETL数据同步
甘肃省调与西北网调（互为主备）ETL数据同步 陕西省调O3000到D5000 ETL数据同步 上海市调O3000到D5000 ETL数据同步 浙江省调O3000到D5000 ETL数据同步
各种数据源支持
• • • • •
X86 X64 SPARC POWER
DMETL
• • •
数据库 消息服务器 LDAP WebService xml excel txt dbf …
windows linux unix
• • • •
ASCII GBK GB18030 UTF8 UTF16 …….
兼容多种操作系统
产品优势-插件机制
支持插件机制，可以方便快速的接入新类型的数据源或者定制 特殊的或者复杂的业务逻辑转换组件或规则。 定制组件的可以简化流程配置并提高性能。 以下功能都支持插件：
数据清洗规则 转换组件 （抽取、转换、装载）
质量检查规则
作业组件
产品优势-批量流程生成
基于模板的批量流程生成功能，可以快速生成大量类似的转 换，大大提高工作效率。
技术特性-高性能 分区并行处理
流程的每个节点内部可以对数据进行分区并行处理，使得 数据的吞吐量可以随着系统CPU处理能力得到接近线性的提升
以上是对一个典型数据清洗流程在不同CPU个数的情况下 的测试结果，显示随着CPU个数的增加，清洗速度接近线性的 提升。
技术特性-高性能 其它高性能特性
支持单表多连接并行装载
HA虚拟地址=192.168.2.1
HA虚拟地址=192.168.3.1 服务名=(192.168.3.1)
服务名=(192.168.1.1,192.168.2.1) 服务名=(192.168.1.1,192.168.2.1)
工作站
工作站
工作站
工作站
工作站
工作站
异构同步----国家电网智能电网主备调系统数据同步
DMETL是达梦数据库有限公司 在上十年数据处理经验的基础上，
研制开发的具有自主版权的、商品
化的数据集成软件，实现了对数据 抽取、传输、整合、以及装载的一 站式支持，是构建数据中心、数据 仓库、数据交换和数据同步等应用 的理想工具。
主要应用场景
异构数据同步
数据源之间的数据一致性。 异构数据同步 • 异构数据同步是指在一定的时间范围内，通过特定的技术方式，实现异构
权的达梦数据库管理系统、达梦数据中心与商务智能套件及整体
解决方案。 863指定目标产品，发改委国产数据库示范基地。
机构设置
公司下辖北京、上海、广州、石家庄、南宁、海口六个全资子公 司及沈阳、西安、济南、南京、珠海、成都、合肥七个办事处，形成 了辐射全国的研发、销售及技术支持服务体系。
武汉达梦数据库有限公司
各种字符集支持
降低部署成本，提高了基础设施利用率和灵活性
技术特性-易用性
全生命周期图形界面支持，降低学习成本，提高实施效率
安装向导 控制台工具：服务器配置
DMETL Studio 管理、设计、调试 BS监控统计系统
技术特性-易用性
灵活的流程设计和调度、丰富的内置规则足以应对任何 复杂场景。
易用的流程设计器
达梦数据交换平台
达梦数据库

大 纲
1 2 3 4
总体介绍
技术特性 产品优势
应用案例
公司简介
达梦是国内最早从事数据库管理系统研发、生产、销售和服
务的专业公司。
公司连续五个“五年”计划得到了国家发改委、科技部、工 信部、总装备部等中央部委的支持与扶植，是中国电子信息产业 集团（CEC）的下属企业 。公司是国家规划布局内重点软件企业 和双软企业，中国数据库标准委员会组长单位，核高基重大专项 课题牵头承担单位。 公司主导产品：原始创新、独立研发、具有完全自主知识产
技术特性—安全性
基于角色的 权限管理 完善的操作日志， 可用于审计用户操作
支持对象和功能 权限设置
安全性
数据加密传输
大 纲
1 2 3 4
总体介绍
产品特性 产品优势
应用案例
产品优势-可视化转换规则
专为中文用户设计的转换
规则，如：
汉字转拼音 全角转半角 繁体转简体 乱码检测转换 大小写数字转换 ……
提高服务器可管理性和利 用率
产品优势-监控与统计
BS架构方便易用 可同时监控多台服务器以 及相关的数据源 支持按周、月以及任意时 段的数据统计报表 对于系统异常状态支持短 信和邮件告警
大 纲
1 2 3 4
总体介绍
产品特性 产品优势
应用案例
异构同步----国家电网智能电网主备调系统数据同步
三区
数据 备份
备份
数据
192.168.1.101
192.168.1.102 192.168.2.201
192.168.2.202 192.168.3.101
192.168.3.102
Oracle
服务器1-1 服务器1-2 服务器2-1 服务器2-2 服务器3-1 服务器3-2
HA虚拟地址=192.168.1.1 工作站 工作站
• 区域销售与技术服务中心
人员构成
达梦公司总员工数为400余人，拥有170余人的研发团队、70余人的技 术服务团队、30余人的行业解决方案团队、80余人的销售团队。 公司有30余名具有高级职称或博士学位的高级人才，150多名硕士，绝 大多数员工具有本科以上学历。
发展历程
研究所
1990年-2000年 1980年-1990年
课题组
企业资质
涉密集成软件 开发资质
国家规划布局内 重点软件企业
国家发改委高技术 产业化示范工程
中国数据库软件 采购推荐产品
ISO9001:2000证书
CMMI3级证书
军B证书
安全三级检验报告
产品资质
DM数据库著作权证书
ETL、智能报表著作权证书
荣誉奖励
国家科技进步 三等奖
国家科技进步 三等奖
支持常用数据库的快速装载接口
支持文本文件的分段并行解析
基于动态编译技术实现的脚本引擎，使得用户自定义函 数和规则的执行效率与内置规则的效率基本相同
技术特性—可靠性
支持数据磁盘缓存，数据无法写入目的数据源 时，可换缓存到磁盘中 流程执行错误时，可实时告警
增量数据抽取时，支持自动断点续传
出现短暂网络故障或者数据库宕机时，可以自 动重连 完善的日志记录功能包括系统日志、运行日志以 及操作日志
数据整合
主要功能
应用业务系统
数据迁移：将数据进行转移 数据同步：保持两个同构或者异构库的数据一致 增量抽取：对于发生改变的进行增量更新，MD5等 列映射：数据类型转换、列名变换、删除列、增加列 派生列：增加新列，其值为表达式的值 条件分支：根据一定的条件将数据的拆分、过滤
OLAP引擎
非结构化数据
异构数据库
教育部科技进步 一等奖
湖北省科技进步 一等奖
教育部科技进步 二等奖
教育部科技进步 二等奖
国家科技进步 三等奖
国防科技进步 三等奖
大 纲
1 2 3 4
总体介绍
产品特性 产品优势
应用案例
产品简介
ETL :抽取(Extract)、转换(Transform)和加载(Load)的第一个 字母，代表了数据交换流程的三个主要步骤。
可边配置边预览 可快速定制新规则
产品优势-文件处理
针对文件数据存储方式依然很普遍的现状，DMETL 增强了文件处理功能
远程文件同步
支持远程到本地和本地到远程的文件镜像同步 支持自定义文件过滤规则
批量文件解析
可以一次处理多个文件，支持定义文件过滤和匹配规则 可以自动识别处理过的文件，实现基于文件的增量数据抽取 对于解析成功和失败的文件可以分别进行改名、移动、删除等操作
全拖拽式设计、完整图形编辑功能支持，如复制、粘贴、撤销、重做、自 动对齐等 转换流程支持流程调试，如单步执行、顺序执行、执行到功能并可以查看 每步的中间结果集 作业流程可以无限嵌套，节点顺序和关系可任意编排
丰富的内置组件和规则
内置50多种流程组件和近40种数据清洗和转换规则
灵活调度配置
数据交换
• 数据交换，通常用于不同部门间的业务协同，数据的流动是通常由应用发 数据交换 也可以丢弃。 起并推动的，应用获取到数据并完成业务逻辑之后，可以把数据存储下来，
数据整合 • 数据整合是指将不同来源的数据，经过清洗转换后变为统一格式，存储到
数据中心或者数据仓库中，用于提供数据共享、数据分析等服务。
技术特性-高性能
基于流水线架构的转换执行引擎
数据转换流程采用多线程执行，数据以流水线的方式在不 同的节点间移动，避免了数据拷贝以及写磁盘的开销
线程 流水线 |||||| 流水线 线程 |||||| 线程
数据读取节点
数据转换节点
数据装载节点
流水线架构使得不同的流程节点可以并行执行，因此整个 数据流的执行时间应该接近于其中最慢的节点的执行时间，而 非所有节点执行时间之和。
流程节点
质量规则
权限
数据处理层
异构数据适配层
缓存模块
数据源
消息队列
数据库 应用系统
文件
Web服务
技术特性
硬件平台无关性 操作系统无关性 与数据源无关性 多种数据机变化捕获方式 多种数据转换方式 国际化支持
通用性
扩展性
自定义函数与变量 应用集成 二次开发
断点续传 自动重新连接 错误报警 完善的日志记录 磁盘缓存
产品优势-内置数据质量检查
不影响数据转换逻辑
可以独立输出违反检测规则的数据
数据质量检测规则可以独立于流程存 在，便于积累和重用
数据质量统计信息可以开放给其它应 用访问 规则可以表达式和插件的方式扩展
产品优势-集群
提升数据同步的可靠性 提升数据同步的实时性
提升数据清洗转换的性能
苏州市网O3000到D5000 ETL数据同步
山东省调O3000到D5000 ETL数据同步
重庆市调O3000到D5000 ETL数据同步
华中网调O3000到D5000 ETL数据同步
电力财务：
华中电力财务 华东电力财务 东北电力财务 西北电力财务
可靠性Байду номын сангаас
DMETL
易用性
简便的系统安装和配置 适用、易操作的图形化/ 远程管理工具 可视化的流程设计 丰富的图形作业控制组 件 灵活作业调度
可配置工作线程和缓存 基于流水线并行 分段并行读取 分区并行装载
安全性 高性能
功能权限 对象权限 加密传输 操作审计
技术特性-通用性
兼容多种硬件体系
• • • •