kettle分区应用案例

Kettle分区应用案例

实际生产中，经常会有地市数据上报或者省厅省厅数据下发，而且各地市的表结构都相同的需求。针对这种需求，假如有10个地市，一般会写10个抽取。这样不仅做了重复工作，而且增加了维护负担。通过kettle分区功能，可以只写一个抽取，实现多地市数据汇集和下发功能。下面通过一个案例，简单介绍下kettle分区使用。

1. 创建数据库连接

新建数据库连接，点击集群选项，此处假定所有节点都是相同类型数据库。

如下图，创建含有两个节点的集群连接。

2. 创建分区模式

新建数据库分区

点击导入分区，可以从刚刚创建的数据库连接中导入分区，点击ok保存。

3. 创建抽取模型

整个模型如下

表输入中选择刚刚创建的集群连接，输入SQL语句。这里获取查询SQL语句及预览功能不能直接使用。

文本文件输出组建配置如下

右键点击表输入，选择分区选项，选择使用数据库分区，分区类型如下：None：不分区

Mirror to all partitions：使用数据库分区

Remainder of division：使用kettle标准分区

4. 结果验证

源表数据如下：

数据结果文件如下：