KETTLE组件介绍与使用

KETTLE组件介绍与使用

4.1 Kettle使用

Kettle提供了资源库的方式来整合所有的工作，；

1）创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Trans，kettle默认transformation文件保存后后缀名为ktr；

2）创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Job，kettle默认job文件保存后后缀名为kjb；

4.2 组件树介绍

4.2.1Transformation 的主对象树和核心对象分别如下图：

Transformation中的节点介绍如下：

Main Tree：菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。

Steps：一个transformation中应用到的环节列表

Hops：一个transformation中应用到的节点连接列表

核心对象菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加：

Input：输入环节

Output：输出环节

Lookup：查询环节

Transform：转化环节

Joins：连接环节

Scripting：脚本环节

4.2.2 Job 的主对象树和核心对象分别如下图：

Main Tree菜单列出的是一个Job中基本的属性，可以通过各个节点来查看。

DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。

Job entries/作业项目：一个Job中引用的环节列表

核心对象菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。

每一个环节可以通过鼠标拖动来将环节添加到主窗口中。

并可通过shift+鼠标拖动，实现环节之间的连接。

4.3使用举例1

4.3.1建立转换

选中列表中的的“表输入”、“表输出”、“插入/更新”，拖拽到右侧工作区。鼠标选中节点键盘按shift键，拖拽即可连线。下图是一个转换，有两个动作，一是直接从数据源表同步数据到目标表，一是检查源表的插入和更新，同步到目标表。

黑色线为生效，灰色线为失效，节点和连接可双击进行编辑。

可预览数据是否正确。

双击编辑表输出动作。

操作的数据库名要获取的字段设置如下所示：

点击“Enter field mapping/输入字段映射”进行字段选择。

选择要用的字段后点确定，注意字段的约束条件。

编辑好后点击上面的执行即可。

左侧参数暂不说明，执行完成后可以观看下方的日志。

双击编辑“插入/更新”动作。

然后点击运行。

执行前，在源库里加条新纪录。确定作业执行正常后可以保存作业，如保存路径到本地磁盘地址C:\ etl2.ktr。

4.3.2建立执行的JOB/作业

建立JOB的前提是有可以完整执行的作业，上面步骤定制的作业进行保存。

从左侧列表拖拽“START”，“Success”，“转换”，“发送邮件”到工作区并连接，如下图。

然后双击“START”动作进行编辑。

然后双击编辑“Transformation”活动。转换文件名选择上一步编辑好的.ktr文件

双击发送邮件，参数设置如下：

编辑完成后直接点击运行即可。

运行后查看日志。

当任务执行以后可以查看相对应的日志，也可自行配置日志。

4.4使用举例2

本例是完成读取目录下的.log文件，找出其中包含错误代码的行，并统计个数4.4.1新建Transformation

本例所用到的步骤和组件如下图所示：

连接图如下所示：

a)获取文件名设置如下：

其中已选择的文件名称的变量都需要手写输入，可以点击显示文件名和预览记录检查是否配置正确。

b)文本文件输入设置如下：

文本文件输入选项中选择从上一步骤获取文件名，其中在输入里的字段被当做文件名一栏输入uri，步骤读取的文件名来自填写获取文件名2

内容选项卡的设置如下：

文件类型选择CSV，分隔符自己定义，格式为mixed，编码方式选择UTF-8

字段选项可设置如下：

需要手写输入str名称，设置类型为String

c)获取字符串设置如下：

d)测试脚本设置如下

其中可以点击获取变量和测试脚本来测试脚本的正确性

点击测试脚本界面如下：

脚本代码由JavaScript编写

e)聚合记录

聚合记录就是将上一步的结果进行聚合，这里的名称字段是点击获取字段获取的，而不是自己输入的，new name一列是制定新名字，可以自己输入填写，

f)文本文件输出

文本文件的输出设置如下，

其中字段属性的设置名称字段是点击获取字段自动获取的，不是输入的，设置如下

g)运行日志显示如下：

4.4.2建立Job

Job的建立于4.3中方法一样，用到的组件如下所示

转换组件设置如下：

将上一步保存的*.ktr添加到转换名文件路径中

点击运行按钮:

生成日志如下所示：