DataService-操作手册

DataServices培训总结-操作手册

目录

一、DS简介 (3)

二、DS数据加载方式 (4)

三、DS进行数据抽取模型开发的基本过程 (5)

四、DS创建数据源系统和目标系统的数据存储 (6)

1、Oracle数据库作为数据源系统 (6)

2、ECC作为数据源系统 (6)

3、HANA数据库作为目标系统 (7)

五、全量加载过程 (8)

1、创建Project和Job (8)

2、导入源表的元数据到资源库 (8)

3、创建Data Flow (8)

4、设置源表和目标表 (9)

5、手工执行Job (10)

六、基于表比较的增量加载 (11)

1、在Job下定义工作流 (11)

页脚内容1

2、在工作流中定义数据流 (11)

3、加入Table_Comparison控件 (12)

4、设置Table_Comparison控件 (13)

七、基于时间戳的增量加载 (13)

1、在Job下定义工作流 (13)

2、定义Script控件 (14)

3、定义处理新增数据的数据流和处理更新数据的数据流 (15)

八、DS中常用控件介绍 (16)

1、Key_Generation (16)

2、Case (17)

3、Merge (18)

4、Validation (19)

5、设置过滤器和断点 (20)

九、定义Job定期执行 (21)

1、登录Data Services Management Console (21)

2、定义Batch Job Schedules (22)

十、其他注意事项 (24)

页脚内容2

一、DS简介

SAP BusinessObjects Data Services是通过SAP HANA认证的ETL工具。采用数据批量处理的方式，定期执行后台作业，将数据从多个业务系统中抽取出来，并进行必要的处理（转换，合并，过滤，清洗），然后再加载到HANA数据库中。

DS的组件之间的关系：

Management Consol：

管理控制台是网页版DS管理工具，可以进行一些系统配置和定义Job执行

页脚内容3

Designer：

Designer是一个具有易于使用的图形用户界面的开发工具。它允许开发人员定义包括数据映射，转换和控制逻辑的数据管理应用程序，创建包含工作流（作业执行定义）和数据流（数据转换定义）的应用程序

Repository：

应用程序设计器使用的本地资源库用来存储Data Services对象（如项目，作业，工作流，和数据流）的定义和源和目标的元数据

Job server：

作业服务器启动数据移动的从多个不同种类的源集成数据的引擎，执行复杂的数据转换，并管理从ERP系统和其他源的抽取和事务

二、DS数据加载方式

全量加载

增量上载

a)基于表比较

作业在执行时读取数据源和目标中的全部数据，在服务器的内存中进行比较，计算数据差异

b)时间戳增量

需要在数据源中添加时间戳字段，一般为创建时间和最后修改时间，在抽取作业中定义对两个时间戳字段进行对比，符合条件的创建时间条目进行插入，符合条件的修改时间条目进行更新

页脚内容4

c)利用数据库CDC（changed data capture）

首先需要开启数据库的CDC服务，为数据库实例启用CDC功能，为源表启用CDC功能。在这种模式下，DS的增量更新不再直接访问源表，而是在与源表相关的变更记录表中读取增量

三、DS进行数据抽取模型开发的基本过程

为数据源创建数据存储

导入源表的元数据到资源库

为SAP HANA目标系统创建数据存储

新建DS项目和批量作业

新建DS数据流：定义源表和目标表，定义变量、编辑Query和Map_CDC_Operation

执行批量作业

页脚内容5

四、DS创建数据源系统和目标系统的数据存储

1、Oracle数据库作为数据源系统

登录Data Services Designer，在本地对象库的数据存储页签中单击鼠标右键，选择新建菜单

创建数据存储“EAM_TEST”，在弹出的对话框中输入EAM数据库的连接信息

2、ECC作为数据源系统

同样在创建DataStore时，输入ECC的连接信息

页脚内容6

3、HANA数据库作为目标系统

在创建DataStore时，输入HANA数据库的连接信息

页脚内容7

五、全量加载过程

1、创建Project和Job

在本地对象库的project页签中单击鼠标右键，选择新建菜单，创建项目“ERP_DS”。双击该项目，在“Project Area”，可以在该项目下创建Job

2、导入源表的元数据到资源库

在本地对象库的数据存储页签中，选择源系统的数据存储，单击鼠标邮件，选择“Import By Name”，输入需要导入到资源库的表名称。导入成功后，在数据存储的table目录下可以看到导入的表

3、创建Data Flow

单击“General”Job，在右边空白区域单击鼠标邮件，选择“Add New”-“Data Flow”

页脚内容8

4、设置源表和目标表

单击创建的Data Flow，将需要导入到HANA数据库中的源表拖入到Data Flow区域中，将Data Flow区域右侧的工具条中的模版表拖入Data Flow区域创建模版表

输入模版表名称、HANA目标系统的数据存储、HANA数据库存放DS抽取数据表的用户名。

连接源表和目标表

页脚内容9