Kettle用法讲解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2.Kettle组件介绍与使用
2.1
Kettle的使用
Kettle提供了资源库的方式来整合所有的工作,; 1)创建一个新的transformation,点击 保存到本地路径,例如保存到 D:/etltest下,保存文件名为Trans,kettle默认transformation文件保存后 后缀名为ktr; 2)创建一个新的job,点击 保存到本地路径,例如保存到D:/etltest下, 保存文件名为Job,kettle默认job文件保存后后缀名为kjb;
核心对象菜单列出的是transformation中 可以调用的环节列表,可以通过鼠标拖 动的方式对环节进行添加: Input:输入环节 Output:输出环节 Lookup:查询环节 Transform:转化环节 Joins:连接环节 Scripting:脚本环节
2.2 Job 的主对象树和核心对象分别如下图:
3.kettle使用举例
3.1 建立转换
选中列表中的的“表输入”、“表输出”、“插入/更新”,拖拽到 右侧工作区。鼠标选中节点键盘按shift键,拖拽即可连线。下图是一 个转换,有两个动作,一是直接从数据源表同步数据到目标表,一是 检查源表的插入和更新,同步到目标表。
黑色线为生效,灰色线为失效,节点和连接可双击进行编辑
双击表输入可预览数据是否正确。
双击编辑表输出如下:
Hale Waihona Puke 要获取的字段设置如下所示:
点击输入字段映射进行字段选择。
选择要用的字段后点确定,注意字段的约束条件。
编辑好后点击上面的执行即可。
执行完成后可观看下方的日志
双击编辑“插入/更新”动作。
然后点击确定
执行前,在源库里加条新纪录。确定作业执行正常后可以保存作业。
DB连接:显示当前Job中的数 据库连接,每一个Job的数据 库连接都需要单独配置。
Job entries/作业项目:一个Job 中引用的环节列表 核心对象菜单列出的是Job中 可以调用的环节列表,可以通 过鼠标拖动的方式对环节进行 添加。 每一个环节可以通过鼠标拖动 来将环节添加到主窗口中。 并可通过shift+鼠标拖动,实现 环节之间的连接。
2.2组件树介绍
Transformation(转型) 的主对象树和核心对象分别如下图:
Transformation(转型)中的节点介绍如下:
Main Tree:菜单列出的是一个transformation中基 本的属性,可以通过各个节点来查看。 DB连接:显示当前transformation中的数据库连接, 每一个transformation的数据库连接都需要单独配 置。 Steps:一个transformation中应用到的环节列表 Hops:一个transformation中应用到的节点连接列 表 核心对象菜单列出的是transformation中可以调用 的环节列表,可以通过鼠标拖动的方式对环节进行 添加:
Kettle的使用方法
Kettle的使用方法介绍
讲解员:隗功庆
1.Kettle概念
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix 上运行,绿色无需安装,数据抽取高效稳定。 Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶 里,然后以一种指定的格式流出。 Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图 形化的用户环境来描述你想做什么,而不是你想怎么做。 Kettle中有两种脚本文件,transformation和job,transformation完成针对数据 的基础转换,job则完成整个工作流的控制。