ETL PLUS v5白皮书

�
作业触发监控接口
第 6 页
ETL PLUS V5 产品白皮书
是调度引擎的输入组件，它以控制文件的方式对外提供服务，接收器定时扫描 接收目录中的控制文件，并且扫描间隔可以定制。 � 作业流执行策略 作业流定义了一组具有相互依赖关系的作业。作业流执行策略定义了作业失败 后的执行策略，包括忽略（Job 失败后流程可以继续运行） 、作业失败后的重 试策略（失败后从断点执行还是重头执行，失败重试间隔，失败重试次数）和 是否检查上次状态（如果检查，失败后不能自动运行，需要干预后重置状态） 。 � 调度代理 调度代理接收调度引擎的执行命令，管理作业从启动到完成，完成后存储作业 日志，返回作业执行结果到调度引擎。 � 资源管理器 资源管理器是作业进行资源分配的管理组件，作业在分发到调度代理前需要查 询资源管理器目前的资源状态，判断是否有合适的服务器执行作业，另外资源 管理器还负责实时采集服务器资源状态，为控制台监控资源提供信息。 � 通知和报警 可以在作业流上设置作业流执行状态通知和报警，在执行成功和失败后，系统 告警，并将异常明细通过 email 发给相关运维人员
灵活配置，可维护性强
� � � 定制简单化，仅需简单的鼠标点击拖拉即可完成任务调度 调度活动痕迹化，为管理风险做到可控化 灵活的消息机制，把各种消息自动分发给用户（例：将作业的执行状态通知给管
第 5 页
ETL PLUS V5 产品白皮书 理员等）
� � � �
平台组件化，耦合度低，接口简单，易开发 平台三层架构，结构清晰，具有良好的稳定性和容错性 采用了先进的 J2EE 技术架构，平台具有很强的跨平台性和良好的可移植性 支持多机集群，能承载大规模数据的高负荷运行
调度平台的逻辑架构如下图所示：
�

监控和管理控制台 管理控制台是用户设计调度作业、进行调度监控和资源监控的控制界面，有两 种用户角色：管理员和操作员，管理员具备平台所有的操作权限，操作员只能 监视系统运行状态，以及作业异常时允许有限的管理功能。
�
调度引擎 调度引擎是 ETLPLUS 调度的核心组件， 它接收作业触发监控接口的作业输入 ， 然后检查作业的依赖关系，通过资源管理器的资源分配将作业分发到调度代理 执行作业。
2.1. 强大的调度平台...................................................... 5 2.2. 全面的监控平台...................................................... 7 2.3. 灵活的代码自动生成平台.............................................. 8 2.4. 提供负载均衡（HA）特性.............................................. 8 2.5. 功能和资源权限管理.................................................. 9 2.6. 产品可定制性和丰富的二次开发接口.................................... 9 2.6.1. 开发工具包......................................................... 9 2.6.2. 与第三方系统集成.................................................. 10 3. 4. ETL PLUS V5 产品框架............................................... 11 ETL PLUS V5 应用环境............................................... 13
1.5. 商标声明
为东南融通公司在中华人民共和国国家商标局登记注册的商标， 其所有权由本公司合法拥有，受法律保护。未经本公司书面许可或授权，任何单位及个 人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与 其它产品捆绑使用。侵犯本公司商标权，本公司将依法追究其法律责任。
第 4 页
2.1. 强大的调度平台
全面性调度
� � 全面的、专业的调度管理，有效提高了数据管理水平 提供日历方案和频度方案等按需的自动化任务调度，大幅度提高了开发效率， 减少了开发成本
灵活的调度机制
� � 支持事件机制和定时机制的调度方式 支持灵活的、多角度的作业调度管理，包括事件、数据库就绪、文件到达和计 划调度以及手工触发
ETL Plus V5 产品白皮书
2010 年 05 月
目录
1. 文档说明............................................................ 3
1.1. 关于本产品.......................................................... 3 1.2. 关于白皮书.......................................................... 3 1.3. 关于阅读者.......................................................... 3 1.4. 版权声明............................................................ 4 1.5. 商标声明............................................................ 4 2. ETL PLUS V5 产品价值................................................ 5
ETL PLUS V5 产品白皮书
1. 文档说明
1.1. 关于本产品
ETL PLUS 是东南融通新一代 ODS/EDW 实施工具平台产品，适合于企业快速构 建数据中心，是企业快速实施基础数据平台的工具，在实施过程中进行开发过程的规范 化、 代码自动化、 代码和质量可控化、 调度管理统一化、 监控可视化。也可与第三方 ETL 工具（如 Datastage）实现互补，增强其开发过程自动化、统一调度、全局监控等功能 。 ETL PLUS 基于 J2EE、Web Services、Internet 等技术，具有很强的跨平台性， 最大限度的提高系统的并行性，进一步提高了数据处理的实时性。 ETL PLUS 是一套优秀的企业级数据整合和优化工具，凝聚了公司十几年在 ODS/DW 项目的最佳实践经验；已成功的应用到银行、保险、证券、基金、政府、制 造等不同行业的领域。
2.4. 提供负载均衡（HA）特性
ETLPlus 系统采用三层架构，管理平台、调度服务器、代理可以根据客户的负 载集中部署，也可以分来部署。系统对三层架构都提供了高可用方案。 � � � 管理平台通过应用服务器的负载均衡来达到更高的并发数 支持多个调度服务器的分布式调度，以分担负载。 代理 HA 和负载均衡支持；系统可以检测代理是否活动，当机的代理不在 执行作业，系统通过资源检测，自动寻找资源最优的代理进行作业的执行。 另外，代理提供作业并行度，用于控制最大同时运行作业数量，防止资源
4.1. 服务器环境配置要求................................................. 13 4.2. 客户端环境配置要求................................................. 14 5. 6. 7. ETL PLUS V5 差异化优势.............................................. 15 ETL PLUS 典型案例.................................................. 16 更多的产品信息..................................................... 17
2.2. 全面的监控平台
全局性监控
� � 全局的作业运行监控服务，有效提高数据管理水平 灵活的作业状态日志查询，支持作业批次的详细日志的查询，全局查看作业文 件日志或执行脚本 � 简单灵活的作业流水分析与监控，快速定位问题
可视化监控
� 支持可视化的多角度作业运行监控，包括总览全局的总体监控和明细型的计划 监控以及事件监控 � � 支持可视化服务器状态监控，及时了服务器的运行状况（启动/异常等） 支持资源预警，提供图形化方式实时跟踪服务器 CPU、内存、磁盘空间等状态
第 3 页
ETL PLUS V5 产品白皮书
1.4. 版权声明
本文包含的信息代表东南融通公司目前对本文所涉及内容的观点，由于用户需求、 市场和产品情况的不断变化，本文中的信息并不代表东南融通未来的观点，东南融通公 司不能保证本文信息在未来时间的有效性。本文包含的内容，无论是明确陈述的内容或 隐含的内容，都不能理解为东南融通公司的正式商业承诺。 本文包含敏感信息， 须限制使用。 扩散或复制本文须得到东南融通公司的书面认可 ， 严禁以任何形式印刷或出版本文的全部或部分内容。 本文中提及的有关产品和名称为相应公司或机构的（注册）商标。 本文信息若有变动，恕不另行通知。
ETL PLUS V5 产品白皮书
2. ETL PLUS V5 产品价值
ETL PLUS 以 ODS/DW 的实施过程为基础，工具平台集成了十多年在 BI 行业 ETL 领域的实施经验与深厚的积累，尤其是在 ETL 领域的数据整合和优化方面的丰富经验， 从实施的角度对实施流程的规范化，实施过程工具化，减少人为的出错因素，进一步提 高了系统的可维护性，不需维护系统中的代码，只需维护映射规则文档。平台各个工具 组件可以单独进行使用，但是也可以相互结合，从而进一步提高开发效率，使开发过程 并行化。 ETL PLUS 作为一套优秀的企业级数据整合和优化工具，其核心价值体现： 规范企业 ETL 开发过程 提高 ETL 开发效率 优化 ETL 代码质量 降低数据整合的风险 减少 ETL 开发成本 降低技术门槛
1.2. 关于白皮书
本产品白皮书旨在帮助读者了解 ETL PLUS 产品能力，确定工具平台构建的要
素，包含：产品价值、产品架构、应用环境配置、差异化优势和典型案例等。
1.3. 关于阅读者
本手册的目标读者包括管理和决策人员、系统架构人员、应用架构人员、应用开发 人员和应用实施人员。 除了前面所描述的特性之外，其他各章节之间的内容是基本独立的。管理人员和决 策人员可以了解本文的各个章节内容；架构设计人员可以直接阅读产品架构、应用环境 配置和二次开发部分，开发人员和实施人员可以直接阅读应用环境配置和二次开发部 分。
高效的开发过程
� � � � 自动生成 ETL Job 或者存储过程，提高开发效率 支持 DataStage 等第三方 ETL 工具，实现代码自动生成和调度监控 内置了数据库数据加载和卸数组件，使得工作简单自动化 支持 Oracle、DB2、SQL Server 等主流数据库
高质量的程序代码
� 内置了代码生成模板，使代码更加规范化，提高开发效率，减少开发成本，提 升开发质量 � 内置了一个便捷的数据质量检核组件，使得代码质量可控化，提高数据质量
第 8 页
ETL PLUS V5 产品白皮书
耗尽。
2.5. 功能和资源权限管理
第 7 页
ETL PLUS V5 产品白皮书
变化，设置服务器资源阀值，实时告警通知
扩展性强
� � � 支持分布式集群，实现负载均衡，具有良好的稳定性 二次开发接口丰富，扩展灵活 灵活的任务封装机制，灵活扩展作业类型
2.3. 灵活的代码自动生成平台
实施工艺规范化
� � 自动化工艺规范了实施技术体系，有利于提高工作效率、控制风险和降低成本 提供了灵活简便的需求管理，使得需求管理更加规范化