kettle日志配置文档 - 360文档中心

Kettle使用文档

1.Kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle主要由资源库、数据库、作业（job）、转换、步骤五部分组成，资源库是用来存储用户所编写的作业和转换（即kjb文件和ktr文件）一般是在数据库中存储，方便用户的查找和使用。

数据库就是处理数据是需要的数据库。

作业是用来确定一个工程中需要使用的转换和转换的执行顺序。

转换是数据在ktr文件中的具体转换过程，类似于Java的一个方法，而作业就类似于java的一个类，它可以调用各种不同的方法（转换）。

2.Kettle框架搭建（1）下载安装可以从下载最新版的Kettle软件，同时，Kettle 是绿色软件，下载后，解压到任意目录即可。

（2）配置环境变量使用Kettle前提是配置好Java的环境变量,因为Kettle是java编写，需要本地的JVM的运行环境。

配置Java环境变量可参考:/zzq900503/article/details/9770237配置Kettle环境变量步骤：一、在系统的环境变量中添加KETTLE_HOME变量，目录指向kettle的安装目录：D:kettledata-integration（具体以安装路径为准）二、新建系统变量：KETTLE_HOME变量值：D:kettledata-integration（具体以安装路径为准，Kettle的解压路径，直到Kettle.exe所在目录）三、选择PATH添加环境变量：变量名：PATH变量值：%KETTLE_HOME%;（3）Kettle工具的运行在Windows系统下运行，只需要解压kettle文件后，双击data-integration文件夹中的Spoon.bat文件在Linux下运行则双击data-integration文件夹中的Spoon.sh文件3.Kettle的基本概念（1）作业（job）负责将【转换】组织在一起进而完成某一块工作，通常我们需要把一个大的任务分解成几个逻辑上隔离的作业，当这几个作业都完成了，也就说明这项任务完成了。

kettle操作文档

Kettle操作文档1.Kettle介绍。

(2)2. Kettle下载。

(2)3.使用规范和注意事项。

(3)3.1.配置数据库的全局变量。

(3)3.2.文件命名规范（不要用汉字）。

(3)3.3.文件存放位置。

(3)3.4.配置启动任务文件。

(3)3.5.注意事项。

(4)4. Kettle部署使用。

(4)4.1.启动kettle。

(4)4.2.创建转换文件。

(5)4.2.1.使用标识字段实现新增数据。

(5)4.2.2.使用时间戳实现新增或修改数据。

(11)4.2.3.使用时间比较实现新增或修改数据。

(14)4.2.4.使用对某一数据值比较实现新增或修改数据。

(17)4.3.创建任务文件。

(19)4.4.命令行启动任务。

(20)1.Kettle介绍。

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于政府部门来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。

Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定,提供了图形化界面，使用很方便。

Kettle中有两种脚本文件，transformation和job，transformation 完成针对数据的基础转换，job则完成整个工作流的控制。

2.Kettle下载。

Kettle可以在http://2.2.2.240/bbs/网站下载kettle压缩包，因kettle为绿色软件，解压即可使用。

这个压缩包，公司加了一些功能，跟官网下载的不太一样，建议使用公司论坛上的压缩包。

资料网站：/。

注：解压路径尽量不要有中文。

.kettle:存放kettle的一些环境变量信息，资源库的信息。

jre6:存放java运行库文件（1.6版本）。

launcher：存放启动的文件以及启动的配置信息。

lib：存放kettle的库文件。

kettle操作文档

Kettle操作文档1.Kettle介绍。

(2)2. Kettle下载。

(2)3.使用规范和注意事项。

(3)3.1.配置数据库的全局变量。

(3)3.2.文件命名规范（不要用汉字）。

(3)3.3.文件存放位置。

(3)3.4.配置启动任务文件。

(3)3.5.注意事项。

(4)4. Kettle部署使用。

(4)4.1.启动kettle。

(4)4.2.创建转换文件。

(5)4.2.1.使用标识字段实现新增数据。

(5)4.2.2.使用时间戳实现新增或修改数据。

(11)4.2.3.使用时间比较实现新增或修改数据。

(14)4.2.4.使用对某一数据值比较实现新增或修改数据。

(17)4.3.创建任务文件。

(19)4.4.命令行启动任务。

(20)1.Kettle介绍。

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于政府部门来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。

Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定,提供了图形化界面，使用很方便。

Kettle中有两种脚本文件，transformation和job，transformation 完成针对数据的基础转换，job则完成整个工作流的控制。

2.Kettle下载。

Kettle可以在http://2.2.2.240/bbs/网站下载kettle压缩包，因kettle为绿色软件，解压即可使用。

这个压缩包，公司加了一些功能，跟官网下载的不太一样，建议使用公司论坛上的压缩包。

资料网站：/。

注：解压路径尽量不要有中文。

.kettle:存放kettle的一些环境变量信息，资源库的信息。

jre6:存放java运行库文件（1.6版本）。

launcher：存放启动的文件以及启动的配置信息。

lib：存放kettle的库文件。

kettle操作文档

Kettle操作文档1.Kettle介绍。

(2)2. Kettle下载。

(2)3.使用规范和注意事项。

(3)3.1.配置数据库的全局变量。

(3)3.2.文件命名规范（不要用汉字）。

(3)3.3.文件存放位置。

(3)3.4.配置启动任务文件。

(3)3.5.注意事项。

(4)4. Kettle部署使用。

(4)4.1.启动kettle。

(4)4.2.创建转换文件。

(5)4.2.1.使用标识字段实现新增数据。

(5)4.2.2.使用时间戳实现新增或修改数据。

(11)4.2.3.使用时间比较实现新增或修改数据。

(14)4.2.4.使用对某一数据值比较实现新增或修改数据。

(17)4.3.创建任务文件。

(19)4.4.命令行启动任务。

(20)1.Kettle介绍。

ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于政府部门来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。

Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定,提供了图形化界面，使用很方便。

Kettle中有两种脚本文件，transformation和job，transformation 完成针对数据的基础转换，job则完成整个工作流的控制。

2.Kettle下载。

Kettle可以在网站下载kettle压缩包，因kettle为绿色软件，解压即可使用。

这个压缩包，公司加了一些功能，跟官网下载的不太一样，建议使用公司论坛上的压缩包。

资料网站：。

注：解压路径尽量不要有中文。

.kettle:存放kettle的一些环境变量信息，资源库的信息。

jre6:存放java运行库文件（1.6版本）。

launcher：存放启动的文件以及启动的配置信息。

lib：存放kettle的库文件。

libext:存放用到的外部库文件。

libswt:存放用到的界面库文件。

计算机网络Kettle命令行使用说明

保证原创精品已受版权保护Kettle命令行使用说明1.Kitchen——作业执行器是一个作业执行引擎，用来执行作业。

这是一个命令行执行工具，参数说明如下。

1)-rep:Repositoryname任务包所在存储名2)-user:Repositoryusername执行人3)-pass:Repositorypassword执行人密码4)-job:Thenameofthejobtolaunch任务包名称5)-dir:Thedirectory(don'tforgettheleading/or\)6)-file:Thefilename(JobXML)tolaunch7)-level:Thelogginglevel(Basic,Detailed,Debug,Rowlevel,Error,Nothing)指定日志级别8)-log:Theloggingfiletowriteto指定日志文件9)-listdir:Listthedirectoriesintherepository列出指定存储中的目录结构。

10)-listjobs:Listthejobsinthespecifieddirectory列出指定目录下的所有任务11)-listrep:Listthedefinedrepositories列出所有的存储12)-norep:Don'tlogintotherepository不写日志示例：1. Windows 中多个参数以/ 分隔，key 和value之间以：分隔✓作业存储在文件Kitchen.bat /level:Basic>D:\etl.log /file:F:\Kettledemo\email.kjb✓作业存储在数据库Kitchen.bat /rep kettle /user admin /pass admin /job F_DEP_COMP（Rep的值为数据库资源库ID）2.Linux 中参数以–分隔作业存储在文件kitchen.sh-file=/home/job/huimin.kjb >> /home/ log/kettle.log作业存储在数据库./kitchen.sh -rep=kettle1 -user=admin -pass=admin -level=Basic -job=job。

kettle的配置

采集转换引擎实施文档刘从云一、Kettle的资源数据库1、解压缩(Kettle)pdi-ce-3.2.0-stable.zip至采集机。

2、设置系统环境变量KETTLE_HOME，右键点击“我的电脑”→“属性”→“高级”→在“系统变量”处点击“新建”，分别输入变量名及值：KETTLE_HOMED:\Program Files\(Kettle)pdi-ce-3.2.0-stable\data-integration（Kettle 的解压路径，直到Kettle.exe所在目录）PATH% KETTLE_HOME%;3、替换%KETTLE_HOME%\.kettle\kettle.properties文件, 修改该文件里的各数据源及风控目标数据库的连接字符串信息，kettle.properties的配置如下所示：数据源配置格式：LOCALFAHOST=192.168.16.10 Host NameLOCALFADA TABASE=feappaix Database NameLOCALFAPORT=52000 PortLOCALFAUSER=risk User NameLOCALFAPSW=risk Password风控目标库,转换目标库配置格式HOST=192.168.16.10 主机名DATABASE=liucongy 数据库名PORT=1521 端口号USER=risk 用户名PSW=risk 密码4、启动kettle，1)新建到资源库的数据库连接点击“新建”按钮，弹出以下对话框这里可以选择本地一个数据库作为资源库，，最初没有资源库，则点击新建按钮，新建一个数据库（做资源库）连接，注意前提是(mysql为例)已存在该数据库。

(\\192.168.16.8\Share\个人杂项目录\lubacui\Database\kettle)目录下有关于mysql，kettle的相关安装文件。

建立到数据库的连接：点击“新建”按钮，选择General 选项，输入mysql数据库连接的相关信息。

Kettle配置使用说明

Kettle配置使用说明----4ed6e1fa-6ea4-11ec-a27d-7cb59b590d7d1.文件结构1.1kettle4.0.1此文件夹存储Ketter4 0.1桌面应用程序/Ketter4 0.1/spoon。

Bat是用于运行软件的批处理文件。

双击以运行它。

1.2workspace该文件夹以整个警察部队KTR文件和工作文件的文件夹命名。

开始这份工作是一个总的开始大纲。

1.3script此文件夹是存储在其中的数据库创建脚本。

目前，它是Oracle 10g版本1.4model存储的是powerdesign的CDM概念模型文件，用于根据需要生成PDM和脚本。

2.文件路径配置系统使用系统所在路径的相对路径。

无论它在哪个目录中，请将其放入0.1，工作区文件夹也放在同一目录中。

当然，您可以随意更改文件夹的名称。

3.运行环境配置先运行一次/壶4 0.1/勺。

蝙蝠，不是Linux。

如果你使用windows，你可以使用/${userhome}/I在Ketter下找到一个。

Ketter的文件夹主要包括以下内容：response.xml－记录资源库信息（自己去勾）水壶财产——这是件好事。

您可以在任何可以在软件中使用环境变量的地方使用配置信息（键值对配置），类似于全局变量。

当然是有利有弊,配置点什么数据库连接和一些常用的东西之外别把那里当仓库,想下全更多的局部变量会给系统带来什么风险。

a_fileinput=file:///e:/test_server/srcfile/a_fileoutput=file:///e:/test_server /errfile/这两个属性是用于配置读取excel文件并输出错误excel文件的路径配置。

由于文件名和存储位置不同，用户需要自行配置。

存在修改系统中文件路径的风险。

当然，这是无法避免的。

它只能在项目的早期阶段与用户建立。

3.1数据库您可以运行SQL脚本来创建自己的表空间和数据表，也可以连接到我的数据库进行测试。

2019年kettle日志-范文模板 (12页)

本文部分内容来自网络整理，本司不为其真实性负责，如有异议或侵权请及时联系，本司将立即删除！== 本文为word格式，下载后可方便编辑和修改！ ==kettle日志篇一：Kettle5.x使用步骤带案例超详细版Kettle使用方法介绍1、Kettle概念Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

2、下载和部署下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可3、Kettle环境配置1.安装JDK（略）2.测试JDK安装成功（略）3.运行KettleWindows下找到$KETTLE_HOME/spoon.dat，双击运行欢迎界面如下图所示：4、KETTLE组件介绍与使用4.1 Kettle使用Kettle提供了资源库的方式来整合所有的工作，；1）创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Trans，kettle默认transformation文件保存后后缀名为ktr；2）创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Job，kettle默认job文件保存后后缀名为kjb；4.2 组件树介绍4.2.1Transformation 的主对象树和核心对象分别如下图：Transformation中的节点介绍如下：Main Tree：菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。

kettle 运行参数

kettle 运行参数Kettle运行参数Kettle是一款强大的开源ETL（Extract-Transform-Load）工具，用于数据集成和数据处理。

在使用Kettle进行数据处理时，我们可以根据需求来配置不同的运行参数，以达到最佳的运行效果。

本文将介绍一些常用的Kettle运行参数，并详细解释它们的作用和用法。

1. 日志级别（LogLevel）日志级别参数用于控制Kettle在运行过程中输出的日志信息的详细程度。

常用的日志级别包括：Basic、Detailed、Debug、Minimal 和Rowlevel。

设置为Basic时，只会输出最基本的运行信息；设置为Detailed时，会输出详细的运行信息；设置为Debug时，会输出更为详细的调试信息；设置为Minimal时，会输出更少的运行信息；设置为Rowlevel时，会输出每一行数据的详细运行信息。

根据实际需求，可灵活选择合适的日志级别参数来监控和调试Kettle 的运行过程。

2. 缓冲区大小（Buffer Size）缓冲区大小参数用于控制Kettle在处理数据时的内存使用情况。

当处理大量数据时，为了避免内存溢出的问题，可以适当增大缓冲区大小，以提高处理效率。

反之，当处理的数据量较小时，可以适当减小缓冲区大小，以节省内存资源。

3. 并行度（Parallelism）并行度参数用于控制Kettle在处理数据时的并行程度。

通过设置并行度参数，可以让Kettle同时处理多个数据流，以提高数据处理的速度。

并行度参数的取值范围通常为1到10之间，具体取值应根据系统的硬件配置和数据量大小来决定。

4. 数据库连接参数（Database Connection）数据库连接参数用于指定Kettle与数据库的连接信息。

在使用Kettle进行数据处理时，需要连接到数据库来读取或写入数据。

数据库连接参数通常包括数据库类型、主机名、端口号、数据库名称、用户名和密码等信息。

kettle使用说明文档

Kettle使用方法说明文档安装程序解压pdi-ce-4.0.0-stable.zip到任意盘符，解压后点击根目录下Spoon.bat如下图所示。

点击cancel创建表到表直接抽取本实例演示的是在Oracle数据库zhwater下的zh用户里面表sys_user转换到本地Oracle数据库orcl下的zw用户下的表sys_user。

演示过程是建立transform将数据从zh.sys_user抽取到zw. sys_user 里面。

两个表结构相同。

建立转换进入系统后如下图所示，双击转换。

创建源和目标数据库连接点开【输入】——>【表输入】将表输入拉到右侧。

双击右侧的表输入，如下图，配置点开【输出】——>【插入/更新】将其拉到右侧。

按住shift先后左键点击表输入和插入/更新的图标。

双击插入/更新图标，点击【获取字段】和【获取和更新字段】用来查询的关键字保留主键USERID，其余删掉。

点击确定保存，点击上方验证无错误后，点击执行，如下图。

数据库中可以看到数据已从zh.sys_user抽取到zw.sys_user定时抽取设置建立job点击【文件】→【新建】→【作业】，如下图将【STRAT】拉入图中。

将【Transformation】拉入到图中，按住shift连接。

点开【Transformation】，将test转换加进去，并重命名job为test。

设置定时抽取双击【START】，设定自动抽取时间。

下图中显示为间隔5分钟自动执行抽取。

点击执行，如下图。

然后进行下一次执行等待。

如下图。

命令行执行编写test.bat内容如下E:\kettle\data-integration\Kitchen.bat /norep /file E:\kettle\test.kjb其中红色部分为安装路径下Kitchen.bat文件所在位置，蓝色部分为job 文件所在位置。

注意：/norep和/file前面都有一个空格。

kettle使用文档

kettle使用文档Kette目录1、输入 (2)1．1 文本输入 (2)1.2 表输入 (3)2、输出 (3)2.1 文本输出 (3)2.2)输出表 (3)3、连接 (5)3. 1 “Merge” (5)3.2 Sorted Merge (5)3.3 合并记录 (7)3.4 (8)4、转换 (10)4.1)split field to rows (10)4.2)去掉重复记录 (11)4.3 增加常量 (11)4.4 增加序列 (12)4.5 字段选择 (12)4.6)拆分字段 (13)4.7 排序记录 (14)4.8 换转列 (14)4.9)计算器 (15)4.10)值映射 (16)4.11)number range (17)5、flow (19)5.1)switch/case (19)5.2)过滤记录 (20)6、statistics (21)6.1)分组 (21)7、Uitlity (22)7.1)If field value is null (22)7.2)Null if... .. (24)8、查询 (25)8.1)Check if a column exists (25)8.2 File exists (26)8.3)Table exists (27)8.4 数据库查询 (28)8.5 数据库连接 (30)8.6 流查询 (31)9、脚本 (33)9.1) Modified Java Script Value (33)9.2)执行SQL脚本 (34)9.3 Regex Evaluation (35)1、输入1．1 文本输入：就是程序读取文本文件里边的东西，我现在用到的是自己到处去的文件。

给拉出来的文本起名文件卡里边先浏览选着自己用到的文本，点击添加，选中的文件会到“选中的文件”框里边图中的“1”就是我选中的文件之后点击“字段卡”在下边有个“”点击它会出现你导出时候的字段名称，下边有“”可以查看里边的记录1.2 表输入“编辑”就是选着数据库“获得sql查询语句”就是得到数据，下边可以预览然后会出现在你可以对语句进行编辑，去掉你不要的字段，或者加条件去掉的字段不会在导出的文件中出现，2、输出2.1 文本输出“步骤名称”是给选着的文本文件的加名字的“文件卡”中的“浏览”中是选着文本输出的地方和起名字的“字段卡”点击这个你会看见下边有“获取字段”这个是得到输出的字段的名称，默认的是全部输出2.2)输出表“步骤名称”kettle起名用的“数据库连接”是选着数据库“编辑”是修该数据库“目标表”是选着存入的表“Specify datebase fileds”挑勾它说明说上说选没说为什么“Datebase fileds卡”中点击“enter filed mapping”第一个文本框是读进来的表的字段第二个文本框是写数据库中的字段第三个是他们的对应关系在这你可以选择自己要的字段然后点add（注意数据库表的字段类型一定要一样，要不报错，你也可以选择guess ，这个是根据字段的名字去猜，如果你的字段类型不一样，报错，出现在第三个文本框中的才是写如表的字段3、连接3. 1 “Merge”“第一个步骤”选择导入的“输入表”或“输入文件”“第二个步骤”选择导入的“输入表”或“输入文件”“连接类型”是内连接外连接做连接有连接。

kettle操作文档.doc

Kettle 操作文档1.Kettle 介绍。

(2)2. Kettle 下载。

(2)3.使用规范和注意事项。

(3)3.1. 配置数据库的全局变量。

(3)3.2. 文件命名规范（不要用汉字）。

(3)3.3. 文件存放位置。

(3)3.4. 配置启动任务文件。

(3)3.5. 注意事项。

(4)4. Kettle 部署使用。

(4)4.1. 启动 kettle 。

(4)4.2. 创建转换文件。

(5)4.2.1. 使用标识字段实现新增数据。

(5)4.2.2. 使用时间戳实现新增或修改数据。

(11)4.2.3. 使用时间比较实现新增或修改数据。

(14)4.2.4. 使用对某一数据值比较实现新增或修改数据。

(17)4.3. 创建任务文件。

(19)4.4. 命令行启动任务。

(20)1.Kettle介绍。

ETL （ Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程）门来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl，对于政府部工具的使用，必不可少。

Kettle 是一款国外开源的etl 工具，纯 java 编写，绿色无需安装，数据抽取高效稳定,提供了图形化界面，使用很方便。

Kettle 中有两种脚本文件， transformation 和 job，transformation 完成针对数据的基础转换， job 则完成整个工作流的控制。

2.Kettle下载。

Kettle 可以在网站下载 kettle 压缩包，因 kettle 为绿色软件，解压即可使用。

这个压缩包，公司加了一些功能，跟官网下载的不太一样，建议使用公司论坛上的压缩包。

资料网站：。

注：解压路径尽量不要有中文。

.kettle: 存放 kettle 的一些环境变量信息，资源库的信息。

jre6:存放 java 运行库文件（ 1.6 版本）。

launcher：存放启动的文件以及启动的配置信息。

Kettle32配置使用文档说明--亲自测试编写,

Kettle配置使用文档说明一、安装配置Kettle系统环境1.安装前准备JAVA安装文件下载地址：/technetwork/java/javase/downloads/jdk6downloads-1902 814.html1.Windows下安装JDK1.6，并配置环境变量##下载Jdk1.6.exe直接执行安装程序2.Linux下配置JDK1.6，并配置环境变量###下载JDK1.6到目录/usr/java/###更改JDK可执行权限chmod +x jdk1.6.xx.bin###执行安装./jdk1.6.xx.bin###配置JAVA环境变量vi /etc/profile# java 1.6 setupJAVA_HOME=/usr/java/jdk1.6.0_38PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport JAVA_HOME PATH CLASSPATH###应用环境变量source /etc/profile###查看JAVA版本信息java -version2.Kettle下载解压到指定目录,下载kettle标准版工具包:/project/pentaho/Data%20Integration/3.2.0-stable/p di-ce-3.2.0-stable.zip解压到目录: D:\data-integration (目录可根据实际情况自定义)二、Kettle基本操作过程数据库操作说明:生产数据库: 10.176.0.221 DB : e2tms4 用户名: e2tms4 密码:1234567本地文本文件: D:\Db_file\outfile.txtKettle数据仓库: 10.176.0.221 DB : kettledb用户名: kettle 密码:12345671.启动Kettlet应用程序,打开D:\data-integration\下面的Kettle.exe或Spoon.bat，出现Kettle的欢迎界面：之后出现用户登录界面,先不加载配置,点击”没有资源库”,打开程序主界面,2.kettle界面显示3.Kettle配置说明新建transformation文件,双击左边转换将创建一个新的transformation(也可以通过菜单里面的文件-新建-转换方式新建文件)，点击另存为，保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation，文件保存后后缀名为ktr。

kettle使用说明(简版)

Kettl e使用说明简版1、文档说明本文档主要介绍我们实际应用中使用Kettle工具来开发ETL过程的相关说明,内部文档,仅供参考.2、ETL流程图3、关键操作介绍3.1创建资源库[对象位置]：登陆界面[实现功能]：配置存储相关转换、任务及相关附属信息的数据库[操作说明]：1）进入登陆界面：2）点击新建按钮，进入配置界面，填写相关信息3）填写完毕，可测试是否成功，成功后，进入如下界面，点创建或更新4）创建完毕可用资源库用户登录Kettle,默认用户名，密码：admin/admin[备注]：我们一般建立一个独立的数据库用户，专门存储Kettle相关信息，资源库就连接在这个数据库用户上3.2创建转换[对象位置]：文件〉〉新建〉〉转换[实现功能]：将库A的表A1中的数据经过一定转换，插入到库B的表B1[操作说明]：1)新建一个转换2)将“核心对象〉〉输入〉〉表输入”拖到转换设置面板3)双击“表输入”，进入脚本编辑界面：本界面可以设置数据库连接，点“新建”可以创建一个新的数据库连接，点“编辑”更改数据库连接，然后编辑好相关提取语句：4)将“核心对象〉〉输出〉〉表输出”拖到转换设置面板5)双击“表输出”，进入脚本编辑界面：本界面需要选择数据转入目标表的数据库连接，以及目标表的表名称，如果数据量比较大的话，可以设置每次提交的数据量6)将表输入和表输出连接：按住shift,鼠标从“表输入”拖到“表输出”，如图：7)该转换编辑成功，可以保存并执行测试［保存］：［执行］：8)执行成功后便可以编辑其它转换，过程类似[备注]：１）编写的ＳＱＬ语句的字段别名要与数据转入的目标表的字段名称一致；２）语句最后不能有标点；３）若ＳＱＬ中有参数的话，需要将“替换ＳＱＬ语句中的变量”选中；４）转换前可以执行一些脚本比如：将“脚本〉〉执行ＳＱＬ脚本”拖入，并连接即可，双击可编辑ＳＱＬ(需要有分号，若更新库则需要提交)3.3创建任务[对象位置]：文件〉〉新建〉〉任务[实现功能]：将多个操作串行合并，形成一个整体任务，其中的操作可以是转换、任务、脚本等等[使用说明]：1)新建一个任务2)拖入几个任务对象，可以是转换、任务、脚本等，并连接，如图：3)双击相关对象进行编辑，需要选择已经建立好的转换（任务名称）名称4)所有中间步骤的对象都已设定好以后，保存任务，执行测试任务[备注]：任务中各对象执行，以前一对象成功执行为前提，若任务里，包含多个子任务，如果各任务之间相互独立，可以在子任务中拖入“success”对象，否则当母任务中某一对象执行失败，则任务停止。

关于Kettle 转换、作业日志自动配置的解决方案

关于 Kettle 转换、作业日志自动配置的解决方案
在一个项目中，一般情况下 Kettle 所有的转换和作业日志应该集中放在一起，便于管理和维护。但在使用 Kettle 的过程中，发现每次新配置一个转换或作业的时候，转换或作业的日志需要重新配置一次，感觉比较麻烦。Kettle 不能把日志配置保存成一个默认值，或者在什么地方可以配置，查阅相关资料，一直没找到好的解决方法。分析 Kettle 相关系统表，发现借助数据库功能，可以实现 Kettle 转换或作业日志自动配置问题。 Kettle 的转换日志配置如下：
Kettle 的作业日志配置如下：
按照正常流程，每次新建一个转换或作业的时候，都需要重新配置一次日志，有时还会忘记，极大影响了的工作效率。
需要在日志数据库上创建两个触发器，即可实现上述功能。
作业日志配置 create or replace trigger r_job_log
after insert on r_job_attribute
然后关闭转换窗口，在重新打开该转换，就可以看到日志自动配置完成。
运行该转换，输出转换日志：
青蛙王子：82322156 2012 年 7 月 11 日星期三
update r_trans_attribute set value_str =v_database_name where code='TRANS_LOG_TABLE_CONNECTION_NAME' and id_transformation =v_trans;
update r_trans_attribute set value_str =v_database_name where code='STEP_LOG_TABLE_CONNECTION_NAME' and id_transformation =v_trans;

关于Kettle转换、作业日志自动配置的解决方案

关于Kettle转换、作业⽇志⾃动配置的解决⽅案关于Kettle转换、作业⽇志⾃动配置的解决⽅案在⼀个项⽬中，⼀般情况下Kettle所有的转换和作业⽇志应该集中放在⼀起，便于管理和维护。

但在使⽤Kettle的过程中，发现每次新配置⼀个转换或作业的时候，转换或作业的⽇志需要重新配置⼀次，感觉⽐较⿇烦。

Kettle不能把⽇志配置保存成⼀个默认值，或者在什么地⽅可以配置，查阅相关资料，⼀直没找到好的解决⽅法。

分析Kettle相关系统表，发现借助数据库功能，可以实现Kettle转换或作业⽇志⾃动配置问题。

Kettle的转换⽇志配置如下：Kettle的作业⽇志配置如下：按照正常流程，每次新建⼀个转换或作业的时候，都需要重新配置⼀次⽇志，有时还会忘记，极⼤影响了的⼯作效率。

需要在⽇志数据库上创建两个触发器，即可实现上述功能。

作业⽇志配置createorreplacetriggerr_job_logafterinsertonr_job_attributedeclare/Kettle作业操作-⽇志配置触发器作者：青蛙王⼦联系⽅式(QQ)：82322156⽇期2012-07-11/v_jobinteger;/⽇志表：与所建的⽇志表对应/v_job_logvarchar2(20):=''TB_JOB_LOG'';v_job_entry_logvarchar2(20):=''TB_JOB_ENTRY_LOG'';v_job_channel_logvarchar2(20):=''TB_JOB_CHANNEL_LOG'';/数据库连接名/v_database_namevarchar2(20):=''TEST'';beginselectmax(t.id_job)intov_jobfromR_JOBt;--更新⽇志表updater_job_attributesetvalue_str=v_job_logwherecode=''JOB_LOG_TABLE_TABLE_NAME''andid_job=v_job;updater_job_attributesetvalue_str=v_job_entry_logwherecode=''JOB_ENTRY_LOG_TABLE_TABLE_NAME''andid_job=v_job; updater_job_attributesetvalue_str=v_job_channel_logwherecode=''CHANNEL_LOG_TABLE_TABLE_NAME''andid_job=v_job;--更新数据库连接updater_job_attributesetvalue_str=v_database_namewherecode=''JOB_LOG_TABLE_CONNECTION_NAME''andid_job=v_job; updater_job_attributesetvalue_str=v_database_namewherecode=''JOB_ENTRY_LOG_TABLE_CONNECTION_NAME''andid_job=v_job; updater_job_attributesetvalue_str=v_database_namewherecode=''CHANNEL_LOG_TABLE_CONNECTION_NAME''andid_job=v_job;endr_job_log;转换⽇志配置：createorreplacetriggerr_trans_logafterinsertonr_trans_attributedeclare/Kettle转换操作-⽇志配置触发器作者：青蛙王⼦联系⽅式(QQ)：82322156⽇期2012-07-11/v_transinteger;/⽇志表：与所建的⽇志表对应/v_trans_logvarchar2(20):=''TB_TRANS_LOG'';v_STEP_LOGvarchar2(20):=''TB_STEP_LOG'';v_performance_logvarchar2(20):=''TB_PERFORMANCE_LOG''; v_channel_logvarchar2(20):=''TB_CHANNEL_LOG'';/数据库连接名/v_database_namevarchar2(20):=''TEST'';beginselectmax(t.id_transformation)intov_transfromr_transformationt; --更新⽇志表updater_trans_attributesetvalue_str=v_trans_logwherecode=''TRANS_LOG_TABLE_TABLE_NAME''andid_transformation=v_trans; updater_trans_attributesetvalue_str=v_STEP_LOGwherecode=''STEP_LOG_TABLE_TABLE_NAME''andid_transformation=v_trans; updater_trans_attributesetvalue_str=v_performance_logwherecode=''PERFORMANCE_LOG_TABLE_TABLE_NAME''andid_transformation=v_trans;updater_trans_attributesetvalue_str=v_CHANNEL_LOGwherecode=''CHANNEL_LOG_TABLE_TABLE_NAME''andid_transformation=v_trans;--更新数据库连接updater_trans_attributesetvalue_str=v_database_namewherecode=''TRANS_LOG_TABLE_CONNECTION_NAME''andid_transformation=v_trans;updater_trans_attributesetvalue_str=v_database_namewherecode=''STEP_LOG_TABLE_CONNECTION_NAME''andid_transformation=v_trans;updater_trans_attributesetvalue_str=v_database_namewherecode=''PERFORMANCE_LOG_TABLE_CONNECTION_NAME''andid_transformation =v_trans;updater_trans_attributesetvalue_str=v_database_namewherecode=''CHANNEL_LOG_TABLE_CONNECTION_NAME''andid_transformation=v_trans;endr_trans_log;测试如下：新建⼀个转换：然后关闭转换窗⼝，在重新打开该转换，就可以看到⽇志⾃动配置完成。

Kettle参数化配置

Kettle参数化配置Kettle参数化配置在做系统化的Kettle实现⽅案，我们基本要定义⼀些不变的参数，在整个⽣命周期中使⽤，或者设置⼀些特定的参数，在⼀些特定的JOB 中使⽤。

参数化配置有利⽤我们Kettle实现规范化和合理化。

现整理介绍基本Kettle参数化配置的实现⽅案；1、整个Kettle级别的参数：这些参数只要你打开Kettle就可以使⽤的，默认保存的KETTLE_HOME中的.kettle⽂件中的kettle.properties⽂件中；！如果你没有设置KETTLE_HOME的环境变量的话，默认保存的路径是在 java的user.home ⽬录下；？？之前有⼈问我在使⽤⾼版本的Kettle时，安装⽬录下怎么没有了.kettle⽂件夹，那我们设置变量怎么设置啊。

这个呢，我的回答是：在低版本的Kettle中确实有了这个⽬录，但是使⽤⾼版本的时候，如果你没有设置KETTLE_HOME的环境变量的话，默认读取的就是user.home的⽬录如果设置了KETTLE_HOME就会读取你指定的⽬录下的配置(指定的⽬录下必须要有.kettle的⽂件，不⼀定要是Kettle的安装路径，但是建议指定Kettle的安装路径，便于统⼀管理。

设置的⽅式类似于设置JAVA的环境变量，这⾥不再说明)；设置完之后重启就可以使⽤${PARAM_KEY}的⽅式读取设置的参数值了。

！！！由于这⼀种是直接在Kettle的整个⽣命周期中设置的，有点污染Kettle的意思，建议慎⽤；2、设置特定环境的参数(基于⾃定义配置⽂件)针对⼀个JOB或者若⼲个JOB单独指定所使⽤的配置⽂件设置⽅式：3、数据库中建⽴参数表，进⾏读取；！如果做整体的Kettle实现⽅案的话，推荐使⽤这种⽅式，统⼀出⼊⼝，便于维护和管理；。

Tomcat日志设定

Tomcat日志配置Tomcat 日志信息分为两类：一是运行中的日志，它主要记录运行的一些信息，尤其是一些异常错误日志信息。

二是访问日志信息，它记录的访问的时间，IP ，访问的资料等相关信息。

一：Tomcat server.xml日志的设定Tomcat的访问日志是靠org.apache.catalina.valves.AccessLogValve来控制的，你可以修改$tomcat/conf/server.xml来启用它($tomcat是Tomcat安装的目录)。

AccessLogValve默认应该是注释掉的，简单的将其注释去掉，然后重启Tomcat就可以了。

以下是Tomcat默认的配置：在server.xml里的<host>标签下加上<Valve className=“org.apache.catalina.valves.AccessLogValve”directory=“logs” prefix=“localhost_access_log.” suffix=“.txt”pattern=“common” resolveHosts=“false”/>各个参数：Ps:具体参数详见Tomcat官网：/tomcat-6.0-doc/config/valve.html className 官方文档上说了This MUST be set to org.apache.catalina.valves.AccessLogValve to use the default access log valve. &<60; 想配置访问日志？这就必须得写成这样。

directory这个东西是日志文件放置的目录，在tomcat下面有个logs文件夹，那里面是专门放置日志文件的，当然你也可以修改，我就给改成了D:\Prefix这个是日志文件的名称前缀，我的日志名称为localhost_access_log.2007-09-22.txt，前面的前缀就是这个localhost_access_logSuffix 这就是后缀名啦，可以改成别的 .txt就是后缀名Pattern这个是最主要的参数了，具体的咱们下面讲，这个参数的内容比较丰富resolveHosts如果这个值是true的话，tomcat会将这个服务器IP地址通过DNS转换为主机名，如果是false，就直接写服务器IP地址啦还有一些参数：Rotatable默认为true，默认的设置使得你的tomcat生成的文件命为prefix（前缀）+.+时间（一般是按天算）+.+suffix（后缀），参照我的日志名就知道了：localhost_access_log.2007-09-22.txt、使用这个需要谨慎，因为你将其设置为false的话，tomcat会忽略时间，不会新生成文件，最后导致你的文件超级大，这样生成的文件名就是：localhost_access_log.txtcondition这个参数不太实用，可以设置任何值，比如咱们设置成condition="tkq"，那么只有当ServletRequest.getAttribute("tkq")为空的时候，才会被记录下来fileDateFormat最后的一个参数，很明白，这就是时间格式嘛，但是这个时间格式是针对日志文件起作用的，还记得咱们生成的日志文件全名么：localhost_access_log.2007-09-22.txt，这里面的2007-09-22就是这么来的，如果你想让tomcat每小时生成一个日志文件，也很简单，将这个值设置为：fileDateFormat="yyyy-MM-dd.HH"，当然也可以按分钟生成什么的，自己改改吧pattern以下列出了一些基本的日志格式项：∙%a–远程主机的IP (Remote IP address)∙%A–本机IP (Local IP address)∙%b–发送字节数，不包含HTTP头，0字节则显示‘-’ (Bytes sent, excluding HTTP headers, or ‘-’ if no byteswere sent)∙%B–发送字节数，不包含HTTP头(Bytes sent, excluding HTTP headers)∙%h–远程主机名(Remote host name)∙%H–请求的具体协议，HTTP/1.0 或HTTP/1.1 (Request protocol)∙%l–远程用户名，始终为‘-’ (Remote logical username from identd (always returns ‘-’))∙%m–请求方式，GET, POST, PUT (Request method)∙%p–本机端口(Local port)∙%q–查询串(Query string (prepended with a ‘?’ if it exists, otherwise an empty string)∙%r– HTTP请求中的第一行(First line of the request)∙%s– HTTP状态码(HTTP status code of the response)∙%S–用户会话ID (User session ID)∙%t–访问日期和时间(Date and time, in Common Log Format format)∙%u–已经验证的远程用户(Remote user that was authenticated∙%U–请求的URL路径(Requested URL path)∙%v–本地服务器名(Local server name)∙%D–处理请求所耗费的毫秒数(Time taken to process the request, in millis)∙%T–处理请求所耗费的秒数(Time taken to process the request, in seconds)你可以用以上的任意组合来定制你的访问日志格式，也可以用下面两个别名common和combined 来指定常用的日志格式：∙common–%h %l %u %t "%r" %s %b∙combined -%h %l %u %t "%r" %s %b "%{Referer}i" "%{User-Agent}i"另外你还可以将cookie, 客户端请求中带的HTTP头(incoming header), 会话(session)或是ServletRequest中的数据都写到Tomcat的访问日志中，你可以用下面的语法来引用。