DATASTAGE的介绍及基本操作

一，datastage的介绍
本章主要讲解ETL的概念，datastage的 介绍、组成及主要功能。
ETL概要
ETL包括数据抽取（Extract）、数据转换（ Transform）以及数据加载（Load）3个阶 段。
一般而言，这三个过程中有二次落地（ 生成中间文件）。
DS介绍：
? Ascential DataStage 是一套专门对多种操作数据源 的数据抽取、转换和维护过程进行简化和自动化， 并将其输入数据集市或数据仓库目标数据库的集成 工具。
Datastage的组成：
Datastage 的服务器端和客户端
Datastage是C/S软件，服务器端存储所有 的ds项目和元数据，由关系型数据库（RDBMS ）组成。客户端具有同服务端一样的软件接口
。
客户端运行于windows95或更高版本，服 务端可运行于windowsNT4.0或windows2000 版
? Designer提供一个数据流程的模式，轻松将设置和Job的设计有 机的组成。
? 使用Designer，可以： 1、指定数据如何抽取。
? 2、指定数据的转换规则和进行转换。
? 3、使用参考性质的LookUp到数据集市中编辑数据。
? a）例如，如果销售的记录集包括CustomerID，可以在 CustomerMaster表中使用LookUp查找到Customer的名称。
? 自定义的Routines和Transforms 也在DataStage 中 的Manager 里创建。
DataStage中的Designer
? DataStage中的Designer允许使用熟练地拖拽图标和连线的方式 来表示数据抽取、清洗、转换、整合和加载的过程，并将数据导 入数据仓库的表单之中。
本，datastage的很多版本都支持unix。
? DS Administrator
在服务端管理 ds的项目和服务端操作。主要用于工 程的参数调整，变量设置，及 command 操作。
? DS Designer
建立ds的job并且编译执行的程序。主要用于 job的 开发及编译。
? DS Director
DATASTAGE 介绍及基本操作
内容提要：
? 一、datastage 介绍 ? 二、如何安装datastage ? 三、配置datastage 工程 ? 四、设计并运行datastage的job ? 五、操作元数据 ? 六、操作关联数据 ? 七、操作约束条件及数据来源 ? 八、定义查找使用的哈希文件 ? 九、聚合数据 ? 十、job的运行及调试 ? 十一、创建Basic表达式
使用Administator的‘Project Propertities' 工程属性的 窗口，可以进行
1、在‘General'页框中，设置Job监控的一些限制信息 和Director中的其他信息。
2、在‘Permission'页框中，设置并分配开发人员组的 权限 。
3、在‘Tracing' 页框中， 设置或取消服务端进行跟踪 。
? b）当需要连接数据集市并使用查询，可以快速的进行访问。
? 4、对数据进行整合。
? 5、在定义的约束条件中将基础数据分割成为多个输出的连接。
? 在Tools 菜单中可以轻松的于Director，Designer和Manager之间 切换。
DataStage中的Director
? 使用Datastage的Director可以对设计的 job进 行验证、运行、任务调度和监控的工作。也 可以针对job 的运行查看运行的聚合统计情况 。
? 1、定义工程的属性——在Administrator中。 ? 2、打开工程。 ? 3、导入元数据，在job中定义格式、读入或写入——在
Manager中。 ? 4、设计job——在Designer中。
a) 定义数据的抽取（读取）。 b) 定义数据流程。 c) 定义数据的集合。 d) 定义数据的转换。 e) 定义数据的约束条件。 f ) 定义数据的加载（写入）。 g) 定义数据的聚合。 ? 5、编译和调试job——在Designer中。 ? 6、运行和监控job——在Director中。
? DataStage 能够处理多种数据源的数据，包括主机 系统的大型数据库、开放系统上的关系数据库和普 通的文件系统 。包括Oracle,Sybase,DB2,SQL Server，Teradata, FTP 文件系统,文本文件等等。
? 数据清洗、转换、加载都可以在图形化工具里完成 ，同样可以灵活的被外部系统调度，提供专门的设 计工具来设计转换规则和清洗规则等，实现了增量 抽取、任务调度等多种复杂而实用的功能 。
在Datastage中进行开发
? 在Administrator中定义全局的和项目属性。 ? 在Datastage中的Manager里导入定义源的
元数据和目标的元数据。 ? 在Datastage中的Designer中验证和编译job
。 ? 在Datastage中的Director中验证、运行、
和监控job。
运行和监控 ds的job。主要用于 job调试。
? DS Manager
允许编辑和查看在 ds中存储的内容。主要用于项目 管理或jage中的Administrator
默认使用Administator来指定常规的服务端，用来增加 或删除DataStage工程，并且可以设置工程的属性。 Administator也对于总库提供命令接口。
4、在‘Schedule' 页框中， 设置调度时运行Job所用到 的用户名和口令。
5、在‘Tunables'页框中，指定Hash文件Stage的读写 的缓存大小。
在DataStage中的Administrator设置常用服务器的默认值：
1、改变Licence信息。
2
DataStage中的Manager
? 使用DataStage 中的Manager来存储和管理 Job的元 数据，使之可以在 DataStage 中的Designer中再度 被使用。
? 元数据包括表单和文件结构和导出数据的 Routines 的转换等等。
? Manager是DataStage 存储的一个重要的部分，可 以用来加入表单和文件的结构，在左侧分支树中显 示Routines、Transforms 和Jobs。