ETL工具优缺点对比分析(kettle和Informatica)
超详细的六款主流ETL工具介绍及功能对比
超详细的六款主流ETL⼯具介绍及功能对⽐概述ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或⾏业应⽤来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握⼀种etl⼯具的使⽤,必不可少。
最近⽤kettle做数据处理⽐较多,所以也就介绍下这⽅⾯内容,这⾥先对⽐下⼏款主流的ETL⼯具。
1、DataPipelineData Pipeline是⼀家为企业⽤户提供数据基础架构服务的科技公司,DataPipeline数据质量平台整合了数据质量分析、质量校验、质量监控等多⽅⾯特性,以保证数据质量的完整性、⼀致性、准确性及唯⼀性,彻底解决数据孤岛和数据定义进化的问题。
2、KettleKettle是⼀款国外开源的ETL⼯具,纯java编写,可以在Windows、Linux、Unix上运⾏,数据抽取⾼效稳定。
Kettle 中⽂名称叫⽔壶,该项⽬的主程序员MATT 希望把各种数据放到⼀个壶⾥,然后以⼀种指定的格式流出。
Kettle家族⽬前包括4个产品:Spoon、Pan、CHEF、Kitchen。
SPOON 允许你通过图形界⾯来设计ETL转换过程(Transformation)。
PAN 允许你批量运⾏由Spoon设计的ETL转换 (例如使⽤⼀个时间调度器)。
Pan是⼀个后台执⾏的程序,没有图形界⾯。
CHEF 允许你创建任务(Job)。
任务通过允许每个转换,任务,脚本等等,更有利于⾃动化更新数据仓库的复杂⼯作。
任务通过允许每个转换,任务,脚本等等。
任务将会被检查,看看是否正确地运⾏了。
KITCHEN 允许你批量使⽤由Chef设计的任务 (例如使⽤⼀个时间调度器)。
KITCHEN也是⼀个后台运⾏的程序。
3、TalendTalend,是⼀家专业的开源集成软件公司,为企业提供开源的中间件解决⽅案,从⽽让企业能够在他们的应⽤,系统以及数据库中赢取更⼤的价值。
在传统软件公司提供封闭、私有的解决⽅案的领域Talend系列软件以开源的形式进⾏开发。
国际三大主流ETL工具分析
国际三大主流ETL工具分析ETL(Extract, Transform, Load)是指将数据从源系统中抽取出来,进行转化(加工、清洗、整合等),然后加载到目标系统中。
在ETL工具的选择上,有许多可供选择的工具。
本文将对国际三大主流ETL工具(Informatica PowerCenter、IBM InfoSphere DataStage和Microsoft SQL Server Integration Services)进行分析。
1. Informatica PowerCenterInformatica PowerCenter是一种广泛应用的ETL工具,它提供了强大的数据集成和数据转换功能。
它具有以下特点:- 强大的数据集成能力:Informatica PowerCenter支持从各种数据源中提取数据,包括关系数据库、文件、Web服务等。
它提供了丰富的连接器和转换函数,可以方便地构建复杂的数据集成过程。
- 易于使用的用户界面:Informatica PowerCenter具有直观的用户界面,使用户可以轻松地构建、调试和管理ETL工作流程。
- 可扩展性和可靠性:Informatica PowerCenter是一个可扩展的平台,可以处理大规模数据集成任务。
它具有高度可靠的作业调度和容错机制,保证数据的准确性和一致性。
- 强大的数据转换能力:Informatica PowerCenter提供了丰富的转换操作和函数,可以进行数据清洗、规范化、分割、合并等操作。
它还支持复杂的业务逻辑和数据处理规则。
2. IBM InfoSphere DataStageIBM InfoSphere DataStage是IBM公司开发的一种ETL工具,它具有以下特点:- 广泛的数据集成能力:InfoSphere DataStage支持从多种数据源中提取数据,包括关系数据库、文件、Web服务等。
它提供了丰富的数据连接器和数据传输功能,可以轻松地完成数据集成任务。
ETL工具的应用与性能优化解析
ETL工具的应用与性能优化解析ETL是一种用于将数据从源系统提取、转换和加载到目标系统的数据集成工具,它在数据仓库、数据集市、商业智能和数据分析等领域中广泛使用。
随着数据量的不断增加和业务需求的不断变化,ETL工具的性能优化越来越受到重视。
本文将从ETL工具的应用和性能优化方面进行解析。
一、ETL工具的应用ETL工具在数据仓库、数据集市、商业智能和数据分析等领域中应用广泛,其主要作用包括:1. 数据提取:ETL工具可以从各种数据源中提取需要的数据,包括结构化数据(如关系型数据库)、半结构化数据(如XML文件)和非结构化数据(如文本文件)等。
2. 数据转换:ETL工具可以对提取的数据进行清洗、规范化、合并、转换、加工等处理,以满足目标系统的数据需求。
3. 数据加载:ETL工具可以将转换后的数据加载到目标系统中,包括数据仓库、数据集市、商业智能平台等。
数据加载也可以是增量加载、全量加载或增量+全量加载等方式。
4. 数据质量管理:ETL工具可以进行数据质量管理,包括数据校验、数据清洗、数据验证等,以保证数据的准确性和完整性。
二、ETL工具的性能优化ETL工具的性能优化是数据集成中的一个重要环节,它对数据集成的速度和准确性有着直接的影响。
ETL工具的性能优化主要包括以下几个方面:1. 数据读取优化ETL工具的性能优化首先需要考虑数据的读取方式,包括如何选择数据源、如何调整数据读取方式以及如何通过过滤条件和索引等手段提高效率。
在数据读取方面,可以采用多线程读取、分片读取、增量读取等方式,以提高读取效率。
2. 数据转换优化数据转换是ETL工具的核心功能之一,它需要对数据进行清洗、加工、规范化、合并等处理,因此需要选择合适的转换方式和算法以及优化转换过程中的性能瓶颈。
在数据转换方面,可以采用内存缓存、数据分片、多线程运行等方式,以提高转换效率。
3. 数据加载优化数据加载是ETL工具的最后一步,它需要将转换后的数据加载到目标系统中,包括数据仓库、数据集市、商业智能平台等。
三大主流ETL工具选型
三大主流ETL工具选型ETL(extract, transform and load) 产品乍看起来似乎并不起眼,单就此项技术本身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个环节耗费太多的人力,而在后续的维护工作中,更是往往让人伤透脑筋。
之所以出现这种状况,恰恰与项目初期没有正确估计ETL工作、没有认真考虑其工具支撑有很大关系。
做ETL产品的选型,仍然需要从以前说的四点(即成本、人员经验、案例和技术支持) 来考量。
在此,主要列举三种主流ETL产品:Ascential公司的Datastage、Informatica公司的Powercenter、NCR Teradata公司的ETL Automation。
其中,ETL Automation相对其他两种有些特别之处,放在后面评述。
旗鼓相当:Datastage与Powercenter就Datastage和Powercenter而言,这两者目前占据了国内市场绝大部分的份额,在成本上看水平相当,虽然市面上还有诸如Business Objects公司的Data Integrator、Cognos公司的DecisionStream,但尚属星星之火,未成燎原之势。
谈Datastage和Powercenter,如果有人说这个就是比那个好,那听者就要小心一点了。
在这种情况下有两种可能:他或者是其中一个厂商的员工,或者就是在某个产品上有很多经验而在另一产品上经验缺乏的开发者。
为什么得出这一结论?一个很简单的事实是,从网络上大家对它们的讨论和争执来看,基本上是各有千秋,都有着相当数量的成功案例和实施高手。
确实,工具是死的,人才是活的。
在两大ETL工具技术的比对上,可以从对ETL流程的支持、对元数据的支持、对数据质量的支持、维护的方便性、定制开发功能的支持等方面考虑。
一个项目中,从数据源到最终目标表,多则上百个ETL过程,少则也有十几个。
这些过程之间的依赖关系、出错控制以及恢复的流程处理,都是工具需要重点考虑。
ETL抽取工具Informatica介绍-1
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
Informatica主要特点
• 1) 图形化设计,无需编码,快速开发和部署。 PowerCenter提供了一个可视化的、拥有丰富转换库的设计 工具,这个转换库使数据转换变成一个简单的“拖拽”过程 。使用PowerCenter,转换组件能够被合并到mapping对象中 ,独立于他们的数据源和目标,有近20种数据转换组件和近 百个函数可以调用,同时可以调用外部的过程和程序,实现 复杂的转化逻辑。 Informatica PowerCenter是完全图形化的开发,不需要有 语言基础也可上手,内部完全是图形化设置,不需在组件是 编写脚本语言。可通过简单的操作,完成此需求:
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
5个Client 个
• • • • • PowerCenter Designer:设计开发环境,定义源及目标数据结构;设计 转换规则,生成ETL映射 Workflow Manager:合理地实现复杂的ETL工作流,基于时间、事件的 作业调度 Workflow Monitor:监控Workflow和Session运行情况,生成日志和报 告 Repository Manager:资料库管理,包括安全性管理等,元数据维护和 安全操作,如:元数据查找,用户、组、权限管理等。 Repository Server Administrator Console:对知识库的操作,如: 知识库的创建、备份、恢复等。
ETL抽取工具Informatica介绍 ETL抽取工具Informatica介绍 抽取工具Informatica
VANDA CHINA VAS
开源ETL工具比较,Kettle和Talend,都有什么优势和劣势?
开源ETL工具比较,Kettle和Talend,都有什么优势和劣势?Talend这个工具之前还真没听说过。
搜索了下,可以借鉴下Pentaho Data Integration (Kettle)是Pentaho生态系统中默认的ETL工具。
通过非常直观的图形化编辑器(Spoon),您可以定义以XML格式储存的流程。
在Kettle运行过程中,这些流程会以不同的方法编译。
用到的工具包括命令行工具(Pan),小型服务器(Carte),数据库存储库(repository)(Kitchen)或者直接使用IDE(Spoon)。
Talend Open Studio是 Talend 开发的ETL工具——Talend 是一家主营数据集成和数据管理解决方案的企业。
Talend 采用用户友好型,综合性很强的IDE(类似于Pentaho Kettle 的 Spoon)来设计不同的流程。
这些流程可以在IDE内部测试并编译成Java 代码。
您可以随时查看并编辑生成的Java代码,同时实现强大的控制力和灵活性。
两者都非常优秀,都属于用户友好型的交叉平台(基于Java的)工具。
它们的主要差异在于Kettle 将 ELT 流程编译为 XML 格式,然而Talend Open Studio 则生成 Java 代码。
易用性:Talend:有 GUI 图形界面但是以 Eclipse 的插件方式提供。
Kettle:有非常容易使用的 GUI,出现问题可以到社区咨询。
技术支持:Talend:主要在美国Kettle:在美国,欧洲(比利时,德国,法国,英国),亚洲(中国,日本,韩国)都可以找到相关技术支持人员。
部署:Talend:创建 java 或perl 文件,并通过操作系统调度工具来运行Kettle:可以使用 job 作业方式或操作系统调度,来执行一个转换文件或作业文件,也可以通过集群的方式在多台机器上部署。
速度:Talend:需要手工调整,对特定数据源有优化知识。
基于现在接触的ETL工具(datax和kettle)做个小总结
基于现在接触的ETL⼯具(datax和kettle)做个⼩总结现阶段需要做数据库同步⼯作,⽬前调研了两个⼯具datax和kettle⽬前虽然环境使⽤的是kettle+jenkins调度平台⽅案,但是多多少少会有⼀些不太令⼈满意的地⽅,但应该算是满⾜⼤部分需求了,先暂时这样实现这两者各有优缺点,基本的就不总结了。
现在说说⼀些关键点:基本⽅⾯:1.datax适合做数据同步⼯作;kettle适合数据清洗,转换⼯作⽬前成型的可视化界⾯,datax推荐datax web,kettle后期维护⽤的界⾯推荐jenkins/kettle-manager简单2.datax对于数据库压⼒⽐较⼩,全量读取速度优于kettle3.对于⼀些⽅案的可⾏性,⼩数据量的选择全量对⽐,10w数据量⼤概3s完成插⼊更新全量抽取过程,还是⽐较快的。
⼩数据量的情况下差别不⼤4.⽬前⽣产可⾏⽅案可以选择datax+datax web/kettle6.⽇志⽅案是对于⼤量数据的最优选择,mysql⽤maxwell抓取⽇志或者上边提供的⽅案,oracle⽤ogg,sqlserver⽬前不清楚需要再找7.保证kettle后期稳定的情况下⽤windows⾃带的定时任务或者Linux中⽤crontab,不过后续的jenkins完全能胜任贴上链接:wgetftp:///mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/matthewdva:/build:/EPEL:/el7/RHEL_7/x86_64/webkitgtk-2.4.9-1.el7.x86_64.rpmyum install webkitgtk-2.4.9-1.el7.x86_64.rpm9.docker部署mysql10.部署jenkins进⾏配置⽂件配置,在 etc/sysconfig/jenkins⾥改端⼝#修改jenkins镜像⽂件cd ~/.jenkins/updates⼀些⼩坑:mysql 8.0驱动jar包⽅⾯更换,导致不能⽤,需要注意驱动#所有命令找不到export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin#刷新环境变量:source /etc/profile#给脚本赋予权限:chmod +x ./data-integration/*.shdatax⽤的python版本要注意,2.6+版本和3.0+版本有语法差别(记得是括号问题)centos 7可以通过添加打印机⽅式避免开机总是⿊屏部署kettle和jenkins会存在⼀些坑#书写sh脚本时候在脚本⾥⾯添加source /etc/profile即可11.关于调度平台问题,⽬前如果想要放⼊docker容器⾥⾯然后再放⼊集群中有难度,使⽤某个服务上xxl-job调度,carte.sh⽅法还得提供个ip地址,或者xml⽂件,⽬前没想到怎么实现,⽬前可能⽅法可能是⽤docker库⾥的kettle镜像,⾃⼰⽣成⼀个,或者⾃⼰通过源码⽣成⼀个docker file⽂件,打包完成后再进⾏部署12.⽬前8.0版本和8.2版本有差异,⽣成的镜像⽂件再运⾏job⽂件可能存在问题,⽽docker库⾥⾯的8.3版本可以运⾏8.2版本13.如果是从接⼝获取数据的⽅式,并且接⼝调⽤频率有限制可以通过这种⽅式(中间加个等待时间)然后获取的也是系统时间和时间戳存放的时间中间数据量,这样可以变化的获取页数和对应的所有数据,针对接⼝返回404情况,可以获取唯⼀标识存放到临时表⾥,然后再遍历这个唯⼀标识去做⼆次请求,这样如果实时更细数据量不多的情况下,其实可以⽤先从临时表⾥获取对应的404对应的唯⼀标识,然后先看看原数据⾥⾯有没有,如果没有的话则会进⼊插⼊更新,虽然这个组件很慢,但是对于已经在前边进⾏排除了,只是进⾏更新对⽐,所以实质上数据量并不⼤进⾏全量⽐对⽅式也是可⾏的(⽬前⽅法只是针对⽬前做的东西,通⽤的其实还是⽇志的效果好,但是难度⼤⼀些,需要再研究)重点是这⼏个转换⽅案太蠢了,步骤过多影响速度,还好现在⽤时间戳,并⾏所有job只⽤37-45s左右,但是数据量⼀⼤就有问题了不适合做现在或者以后的最佳⽅案,所以只做思路参考14.其实清洗最优⽅案还是通过python去处理,或者使⽤data-web的⽅式,那个是在git上有源码,并且结合的正好是xxl-job调度平台,可以使⽤这个调度平台+整合数据的⽅案16.关于部署到阿⾥云服务器的上的问题,⼀定⼀定要添加安全组,不然会报错,并且CONVERT_TO_NULL是可以使⽤。
数据仓库中ETL工具的选型与使用
数据仓库中ETL工具的选型与使用随着企业信息化的深入发展,数据仓库在企业的日常运营中扮演着越来越重要的角色。
而在数据仓库建设中,ETL工具起着至关重要的作用。
本文将结合笔者多年的从业经验,深入探讨数据仓库中ETL工具的选型与使用,旨在为读者提供一些有用的参考。
一、ETL工具的概述首先,我们来了解一下ETL工具的概念。
ETL工具是指一类用于将不同来源的数据进行抽取(Extract)、转换(Transform)、加载(Load)等操作的软件。
在数据仓库中,ETL工具类似于“数据加工车间”,可以完成数据的清洗、整合、转换等多种工作。
目前市面上比较流行的ETL工具有很多,例如IBM DataStage、Informatica PowerCenter、Oracle Data Integrator等。
每个ETL工具都有其独特的特点及适用场景,选择一款合适的ETL工具非常关键。
二、ETL工具的选型在ETL工具的选型中,需要考虑以下几个方面:1. 企业规模及需求企业规模及需求是选择ETL工具的首要考虑因素。
对于规模较小的企业,可以选择一些开源的ETL工具,如Kettle和Talend Open Studio。
这些工具具有操作简便、易于掌握、可扩展性强等优点,适合小型企业以及需要快速实现数据仓库的项目。
而若企业具有大规模的数据仓库及数据流转需求,可以考虑一些成熟的商业ETL工具,如IBM DataStage、Informatica PowerCenter、Oracle Data Integrator等。
这些工具具有高度可靠性、高性能、强大的数据处理能力等优点,可以满足企业不断发展的需求。
2. 数据量及复杂度数据量及复杂度也是选择ETL工具的一个重要考虑因素。
对于数据量较小、简单的企业,可以选择一些基础的ETL工具,如Microsoft SQL Server Integration Services等。
这些工具主要用于数据提取、转换、加载等基础操作,适合数据量较小及较为简单的企业。
ETL工具点评
ETL工具点评(转)数据仓库的架构大体可以分为三部分:后台是数据存储和计算引擎,前端是数据展现分析的用户界面,还有一个重要的部分就是ETL。
ETL所完成的工作主要包括三方面:首先,在数据仓库和业务系统之间搭建起一座桥梁,确保新的业务数据源源不断地进入数据仓库;其次,用户的分析和应用也能反映出最新的业务动态,虽然ETL在数据仓库架构的三部分中技术含量并不算高,但其涉及到大量的业务逻辑和异构环境,因此在一般的数据仓库项目中ETL部分往往也是牵扯精力最多的;第三,如果从整体角度来看,ETL主要作用在于屏蔽了复杂的业务逻辑,从而为各种基于数据仓库的分析和应用提供了统一的数据接口,这也是构建数据仓库最重要的意义所在。
如何评价ETL工具正确选择ETL工具,可以从ETL对平台的支持、对数据源的支持、数据转换功能、管理和调度功能、集成和开放性、对元数据管理等功能出发,具体如下。
支持平台随着各种应用系统数据量的飞速增长和对业务可靠性等要求的不断提高,人们对数据抽取工具的要求往往是将几十、上百个GB的数据在有限的几个小时内完成抽取转换和装载工作,这种挑战势必要求抽取工具对高性能的硬件和主机提供更多支持。
因此,我们可以从数据抽取工具支持的平台,来判断它能否胜任企业的环境,目前主流的平台包括SUN Solaris、HP-UX、IBM AIX、AS/400、OS/390、Sco UNIX、Linux、Windows等。
支持数据源对数据源支持的重要性不言而喻,因此这个指标必须仔细地考量。
首先,我们需要对项目中可能会遇到的各种数据源有一个清晰的认识;其次对各种工具提供的数据源接口类型也要有深入了解,比如,针对同一种数据库,使用通用的接口(如ODBC/JDBC)还是原厂商自己的专用接口,数据抽取效率都会有很大差别,这直接影响到我们能不能在有限的时间内完成ETL任务。
这里,笔者列出一些常见的数据源供参考:DB2、Informix、Oracle、Sybase、SQL Server、Teredata、OleDB、SAS、Text、Excel、SAP、Peoplesoft、IMS、VSAM、QSAM on 390、FTP、XML、MessageQueue、Weblog等。
ETL及kettle介绍
目录1. ETL知识 (3)1.1. ETL定义 (3)1.1.1. 定义 (3)1.1.2. 前提 (3)1.1.3. 原则 (3)1.2. 模式及比较 (4)1.3. ETL过程 (7)1.3.1. 总流程 (7)1.3.2. 数据抽取流程 (8)1.3.3. 数据清洗流程 (8)1.3.4. 数据转换流程 (10)1.3.5. 数据加载流程 (11)1.4. 问题分析 (12)1.4.1. 字符集问题 (12)1.4.2. 缓慢变化维处理 (14)1.4.3. 增量、实时同步的处理 (14)1.4.4. 断点续传 (15)1.5. ETL工具 (15)2. Kettle简介及使用 (16)2.1. 什么Kettle? (16)2.2. 下载及安装Kettle (17)2.3. Kettle简单例子 (19)2.3.1. 启动Kettle (19)2.3.2. 创建transformation过程 (20)2.3.3. 创建job过程 (41)2.3.4. 命令行运行ktr和kjb (45)1.ETL知识1.1.ETL定义1.1.1.定义●定义:数据的抽取(Extract)、转换(Transform)、装载(Load)的过程。
●目标:数据优化。
以最小代价(包括对日常操作的影响和对技能的要求) 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据。
1.1.2.前提●确定ETL范围通过对目标表信息的收集,确定ETL的范围●选择ETL工具考虑资金运行的平台、对源和目标的支持程度、可编程的灵活性、对源数据变化的监测、数据处理时间的控制、管理和调度功能、对异常情况的处理●确定解决方案抽取分析、变化数据的捕获、目标表的刷新策略、数据的转换及数据验证1.1.3.原则●应尽量利用数据中转区对运营数据进行预处理。
保证数据的安全性、集成与加载的高效性。
●ETL的过程应是主动“拉取”,而不是从内部“推送”,其可控性将大为增强。
ETL工具优缺点对比分析(kettle和Informatica)
ETL工具优缺点对比分析(kettle和Informatica)ETL工具优缺点对比分析--kettle和Informatica 目前业内比较主流的ETL工具有很多,本文主要对开源kettle和Informatica这两款工具,从各方面进行对比分析。
一、数据捕获能力1、如果要对数据库进行实时监控,kettle通常会采用CDC的方式,Informatica会采取PWX的方式。
优点:可以准确的识别变化数据,包括上游系统被删除的数据。
缺点:CDC和PWX都需要部署在核心数据库服务器,会对核心数据库造成一定压力。
2、如果不采用实时监控,采用其他方式抽取,(比如时间戳)。
优点:不需要在核心服务器部署,对核心服务器基本不会造成压力。
缺点:被删除的记录,以及手工修改但是没有修改时间戳的记录无法在下游数据库识别。
二、整体性能对比1、Informatica处理数据能力比kettle强。
2、Informatica属于收费软件,出现困难问题,可以找厂商解决。
3、kettle比较容易上手,Informatica需要充足的学习准备。
4、kettle部署相对简单。
三、数据处理能力ETL工具在处理数据的时候,要目标库日志空间,表空间足够。
日志需要定期清理,表空间自动扩展就好。
kettle:可以高效处理千万级别以下数据。
Informatica:可处理上亿量级的数据。
四、实时监控对核心数据库压力CDC:部署在核心数据库,读取核心数据库的归档日志,会在核心数据库生成实体表(每次数据变化,都会生成条记录,可以清理)。
PWX:部署在核心数据库,对核心压力较小,但是如果异常中断,重新启动的时候,会占用较大服务器资源。
ETL工具对比参考文档
E T L工具对比参考文档(总13页)-CAL-FENGHAI.-(YICAI)-Company One1-CAL-本页仅作为文档封面,使用请直接删除参考1:参考2:数据整合部分:PowerCenter,是业界公认领导者数据质量管理:Data Quality,成熟稳定技术,在中国有大规模应用的成功案例。
数据整合部分:Datastage,属于业界一类产品数据质量管理:QualityStage,收购的技术,不是主要其主要产实时数据捕获:PowerExchange,业界领先实时采集技术,支持广泛数据源的CDC和Realtime,与PowerCenter无缝集成。
元数据管理:Metadata Manager,是业界领先的企业级元数据管理平台,可做到字段级的元数据各项分析,有广泛的元数据采集接口,图形化无需编程,并可自动维护变更。
品组成实时数据捕获:MQ和DataMirror 的技术,技术复杂,与DataStage 是不同风格产品,产品的耦合度极差。
元数据管理:MetaStage,几乎免费的产品,应用性极差,并不能管理企业级的元数据。
而新推出的产品与旧有产品线耦合度差,并未经过市场的考验。
Informatica 是全图形化的开发模式,不需要编码,工具易使用,界面友好、直观。
专业的三天培训,可使开发人员快速入门,进行开发设计。
开发人员只要懂得数据库知识,即可。
Informatica 产品是以元数据为核心的,其开发过程中,所有的元数据,包括规则和过程,均是可复用,共享的。
经过简单配置即可支持大数据量的处理。
Informatica是完全基于引擎级别的,所有功能模块化,扩展性强,维护成本低。
虽然也是图形化的界面,但复杂的转换过程,里面嵌入了很多类Basic脚本的成份。
要求开发人员,有编程语言基础。
在处理大数据量,必须使用Datastage企业版。
但如果客户原先使用的Datastage 标准版,其作业的版本移植问题很大。
Informatica与Kettle的优缺点比较
Informatica与Kettle的优缺点比较近期由于客户其他同事需要一份Informatica与Kettle的优缺点比较文档,由于对这两个ETL工具均不是很熟悉,因此上网查找了一些材料,稍做整理,有不足之处,欢迎各位帮忙完善。
1、Informatica属于商业软件,而Kettle是开源软件;Informatica的收费方式是软件一次性购买,但技术支持按项目收费。
具体怎么界定项目不清楚。
2、风险和成本方面自然就不用说了,从某些方面来说的话,风险总是与成本成反比的;3、易用性方面,Informatica和Kettle都有GUI图形界面,操作步骤都比较简单易用;主要取决于开发人员的对工具的熟悉情况,没有太大的可比性;4、Kettle是基于Java开发的ETL工具,在使用过程中需要借助JVM,在数据抽取速度以及大数据处理能力方面远远不如Informatica;(Kettle在异构数据库的处理能力比同构数据库的处理能力要弱很多,特别是夸服务器之间就更弱了)5、Informatica将客户端和服务端进行分离,而Kettle则没有但需要基于JVM;因此Kettle的部署比较简易;6、稳定性方面,Informatica也有较大的优势;7、Informatica将元数据及一些配置信息存储于配置的数据库,也就是说Informatica需要借助其他数据库才能运行;8、Kettle的数据转换过程相对比较灵活,可以是手工编写的SQL语句、Java代码、正则表达式等;Informatica则由Data Quality组件来保证数据的质量,当然也支持SQL语句,两者没有明显的差异;9、Informatica和Kettle均有监控日志功能,这也是ETL工具必须具备的,Informatica的监控日志相对要详细一些,但在实际应用中,大多数情况下不需要这么详细;10、数据源方面,二者没有明显区别,Kettle支持广泛的数据库、数据文件等,同时支持扩展;Informatica广泛支持各类结构化、非结构化的数据源;。
常用ETL工具对比
常用ETL工具对比
目前市场上主流的ETL工具有,IBM公司的DataStage、Informatica公司的Powercenter、免费ETL工具Kettle等等。
1、Datastage
DataStage 是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化,并将其输入数据集市或数据仓库目标数据库的集成工具。
他的优点如下:具有多种数据源的连接能力,包括目前市场上的大部分主流数据库,并且具有优秀的文本文件和XML文件读取和处理能力。
2、Informatica
Informatica PowerCenter用于访问和集成几乎任何业务系统、任何格式的数据,它可以按任意速度在企业内交付数据,具有高性能、高可扩展性、高可用性的特点。
Informatica PowerCenter包括4个不同版本,即:标准版,实时版,高级版,云计算版。
同时,它还提供了多个可选的组件,以扩展Informatica PowerCenter的核心数据集成功能,这些组件包括:数据清洗和匹配、数据屏蔽、数据验证、Teradata双负载、企业网格、元数据交换、下推优化(Pushdown Optimization)、团队开发和非结构化数据等。
3、Kettle
Kettle是一款国外开源的etl工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定,提供丰富的sdk,并开放源代码,便于二次开发包装。
ETL和Kettle简介
ETL和Kettle简介ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。
它是构建数据仓库的重要环节。
数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程。
数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有:滥用缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。
即便是一个设计和规划良好的数据库系统,如果其中存在着大量的噪声数据,那么这个系统也是没有任何意义的,因为“垃圾进,垃圾出”(garbage in, garbage out),系统根本就不可能为决策分析系统提供任何支持。
为了清除噪声数据,必须在数据库系统中进行数据清洗。
目前有不少数据清洗研究和ETL研究,但是如何在ETL过程中进行有效的数据清洗并使这个过程可视化,此方面研究不多。
本文主要从两个方面阐述ETL和数据清洗的实现过程:ETL的处理方式和数据清洗的实现方法。
(1)ETL的处理方式本文所采用的ETL方法是数据库段区域中的ETL处理方式,它不使用外部引擎而是使用数据库作为唯一的控制点。
由于源系统SQLserver2000是关系数据库,它的段表也是典型的关系型表。
成功地将外部未修改数据载入数据库后,再在数据库内部进行转换。
数据库段区域中的ETL处理方式执行的步骤是提取、装载、转换,即通常所说的ELT。
这种方式的优点是为抽取出的数据首先提供一个缓冲以便于进行复杂的转换,减轻了ETL进程的复杂度。
(2)ETL过程中实现数据清洗的实现方法首先,在理解源数据的基础上实现数据表属性一致化。
为解决源数据的同义异名和同名异义的问题,可通过元数据管理子系统,在理解源数据的同时,对不同表的属性名根据其含义重新定义其在数据挖掘库中的名字,并以转换规则的形式存放在元数据库中,在数据集成的时候,系统自动根据这些转换规则将源数据中的字段名转换成新定义的字段名,从而实现数据挖掘库中的同名同义。
常见的三款ETL工具比较
支持 能够捕获表结构的变化
DataStage TX产品
设计手段和产品组合来支持 设计手段和产品组合来支持 设计手段和产品组合来支持 设计手段和产品组合来支持
支持 支持 支持 支持
支持
有 支持 有 需要用DataStage TX产品
支持,但对于进程附加任务无法监控
支持 支持(多种时间和事件) 支持
支持 支持(包括ETL任务和其他EXE,BAT等任务的监控和返回 值的获得)
数据库的load stage) 支持
SQL Server和Altibase等数据库) 支持
支持
设计手段和产品组合来支持
支持
较好
较好
较好
较快
较好
较好
采用RDBMS储存,支持多种OS
支持 支持
支持 支持
支持
支持
支持(Metad换 (Metadata Exchange) 支持
wwwg1comproductscustomerdataquality专门做数据质量管理etl例外跟踪与监控支持支持支持支持数据预览etl例外捕获与处理支持支持支持支持数据预览出错分析功能支持有语法检查功能支持调试功能支持支持支持支持数据预览和运行瓶颈的定位日志功能支持支持但不能导出成文本也不能为外部程序利用支持故障容错与恢复支持不支持设计手段和产品组合来支持增量抽取支持策略设计手段和产品组合来支持支持设计手段和产品组合来支持数据变化捕获设计手段和产品组合来支持能够捕获表结构的变化设计手段和产品组合来支持消息队列设计手段和产品组合来支持设计手段和产品组合来支持实时数据抽取设计手段和产品组合来支持datastagetx产品设计手段和产品组合来支持任务调度计划支持支持基于时间的调度基于事件的调度支持支持支持多种时间和事件提供调度的api供运维平台调用支持支持并发任务调度支持需要用datastagetx产品支持任务的监控支持支持但对于进程附加任务无法监控支持包括etl任务和其他exebat等任务的监控和返回值的获得高级功能错误信息的捕捉支持支持但很多时候信息不准确支持包括将错误信息发送email在指定的计算机上弹出窗口发手机短信等功能专用数据库驱动支持支持大批量数据转移调用数据库自身功能load支持没有通过写脚本间接支持7版后有针对不同数据库的loadstage支持oracledb2sybaseinformixredbricksqlserver和altibase等数据库进程并发处理支持支持支持线程并发处理支持支持负载均衡powercenter支持设计手段和产品组合来支持对cpu内存的可管理和分配支持支持稳定性在nt平台上不够稳定较好较好处理速度较快较好较快大数据量压力测试810g小时较好较好元数据是否采用rdbms储存os支持情况采用rdbms储存支持多种os采用rdbms存储如果客户没有rdbmssagent内置提供mysql支持多种os元数据库备份恢复支持支持支持元数据库的迁移支持支持支持
主流数据同步ETL工具的比较
视图增量交换整合任务(增量触发方式可 需另购ODI产品;不支持二进制 步任务;不支持二进制文件的
选:CDC触发、标识位、时间戳、触发器 文件的复制同步任务,不支持 复制同步任务场景; 不支持
、全量比对);6. 自定义SQL-EL任务; 7. 文 数据文件加载数据库/仓库的任 WS/REST服务对接; 没有数据比
件交换任务;8. 数据文件加载任务; 9. 务场景;不支持WS/REST服务 对的任务功能
WS/REST服务对接任务
对接;没有数据比对的功能
支持批处理的任务 (ETL),不支持日志模式 的CDC增量复制同步任 务;不支持二进制文件 的复制同步任务场景; 不 支持WS/REST服务对接; 没有数据比对的任务功 能
设 计 及 架 构
使用方式
完全web图形化界面“点击式”任务设计和 监控管理,简单易用,不需要额外的开发 没有图形化的界面,操作皆为 和生产发布;无需在源库端或目标库端部 命令行方式,可配置能力差。 署代理程序,对源库性能影响几乎为零; 界面配置管理工具需单独购买 高级版支持多租户SaaS服务平台的使用方 。 式
自动断点续 传
所有任务类型均支持断点续传;且集群版 中任务转移后,任务在新节点会自动从断 点续传
支持
不支持
不支持
不支持,依赖ETL设计的合 理性(例如T-1),指定续 读某个时间点的数据,非自 动
功
能
图形界面化、自动化的schema mapping
异构转换映 和智能化的异构数据类型匹配;支持
射
schema级、表级、字段级的映射和记录
支持:1.全量任务;2.实时增量任务(日志 只支持CDC增量(日志模式)的复
CDC);3. 全量+增量任务(源库不停服模 制同步任务,不支持全量任 支持批处理的任务(ETL),不支
开源ETL工具之Kettle介绍
开源ETL⼯具之Kettle介绍What起源Kettle是⼀个Java编写的ETL⼯具,主作者是Matt Casters,2003年就开始了这个项⽬,最新稳定版为7.1。
2005年12⽉,Kettle从2.1版本开始进⼊了开源领域,⼀直到4.1版本遵守LGPL协议,从4.2版本开始遵守Apache Licence 2.0协议。
Kettle在2006年初加⼊了开源的BI公司Pentaho, 正式命名为:Pentaho Data Integeration,简称“PDI”。
⾃2017年9⽉20⽇起,Pentaho已经被合并于⽇⽴集团下的新公司: Hitachi Vantara。
总之,Kettle可以简化数据仓库的创建,更新和维护,使⽤Kettle可以构建⼀套开源的ETL解决⽅案。
架构Kettle是⼀个组件化的集成系统,包括如下⼏个主要部分:1.Spoon:图形化界⾯⼯具(GUI⽅式),Spoon允许你通过图形界⾯来设计Job和Transformation,可以保存为⽂件或者保存在数据库中。
也可以直接在Spoon图形化界⾯中运⾏Job和Transformation,2.Pan:Transformation执⾏器(命令⾏⽅式),Pan⽤于在终端执⾏Transformation,没有图形界⾯。
3.Kitchen:Job执⾏器(命令⾏⽅式),Kitchen⽤于在终端执⾏Job,没有图形界⾯。
4.Carte:嵌⼊式Web服务,⽤于远程执⾏Job或Transformation,Kettle通过Carte建⽴集群。
5.Encr:Kettle⽤于字符串加密的命令⾏⼯具,如:对在Job或Transformation中定义的数据库连接参数进⾏加密。
基本概念1.Transformation:定义对数据操作的容器,数据操作就是数据从输⼊到输出的⼀个过程,可以理解为⽐Job粒度更⼩⼀级的容器,我们将任务分解成Job,然后需要将Job分解成⼀个或多个Transformation,每个Transformation只完成⼀部分⼯作。
ETL概述及部分工具比较
ETL概述及部分工具比较ETL的重要性ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程,在数据仓库建置过程中,资料整合转换(ETL)是最花费时间、人力的,约占整个项目的60%-70%左右。
一家企业除了在不同的成长阶段所留下来历史资料,还包括使用者所产生的大量资料,及对外部所取得的资料,这些信息可能来自不同的数据库平台,或一些特定的档案格式。
而ETL就是要将各个不同的数据文件或数据库所撷取的资料,根据企业之需求及数据仓库Model的设计,转换成正确的信息,清除重复不需要的资料,转至统一的数据库中,保留在企业内以利后续使用。
由于一些历史原因,统计口径原因企业内部各个部门的数据可能各自差异,做ETL方案时,往往会卷入到该企业的数据标准,规范制订中,而对于集团企业特别是对于过去是分散管理的集团公司,还将面对规范各个企业的生产系统统计口径,以及面对各个子公司系统。
如果不采用专业的ETL工具将会使得项目在数据仓库的ETL这个过程上耗费相当的时间。
综上所述如何在按需求将各个子公司业务数据导入到平台中,就变得越来越重要。
1 ETL工具VS 手工编码实现ETL,到底是选用ETL工具,还是手工编码?对于这个话题的争论可以说永无休止。
很显然,这两种方式都有各自的优势和劣势,相信在很长一段时间里谁也无法取代谁。
我们认为有必要从以下几方面对两种方式作一个比较。
除以上列表以外,采用专业的ETL工具还具有以下特点:1.详细的纪录成功情况和过程,日志功能完善,方便你查找问题,提高效率;2.容错性能好。
比如插入10条记录,在手工编码里写一起提交,可能因为1条出错而全部回滚,而etl工具就这一条不成功;2 市面ETL工具比较Data Stage: 为开放式、可延伸的结构,其简单易见的设计工具让开发人员可以增加资料来源、目标,无须重新建立应用程序,因而减低了成本时间及资源。
Informatica:为国外知名资料整合厂商,其最大的优点在于re-usable,因为可重复使用设计好的transform不需每次重新规定,大幅缩短开发时程及人力,管理元数据的功能较同类产品比较强,为目前市面上极佳的资料转换工具。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
ETL工具优缺点对比分析
--kettle和Informatica 目前业内比较主流的ETL工具有很多,本文主要对开源kettle和Informatica这两款工具,从各方面进行对比分析。
一、数据捕获能力
1、如果要对数据库进行实时监控,kettle通常会采用CDC的方式,Informatica会采取PWX的方式。
优点:可以准确的识别变化数据,包括上游系统被删除的数据。
缺点:CDC和PWX都需要部署在核心数据库服务器,会对核心数据库造成一定压力。
2、如果不采用实时监控,采用其他方式抽取,(比如时间戳)。
优点:不需要在核心服务器部署,对核心服务器基本不会造成压力。
缺点:被删除的记录,以及手工修改但是没有修改时间戳的记录无法在下游数据库识别。
二、整体性能对比
1、Informatica处理数据能力比kettle强。
2、Informatica属于收费软件,出现困难问题,可以找厂商解决。
3、kettle比较容易上手,Informatica需要充足的学习准备。
4、kettle部署相对简单。
三、数据处理能力
ETL工具在处理数据的时候,要目标库日志空间,表空间足够。
日志需要定期清理,表空间自动扩展就好。
kettle:可以高效处理千万级别以下数据。
Informatica:可处理上亿量级的数据。
四、实时监控对核心数据库压力
CDC:部署在核心数据库,读取核心数据库的归档日志,会在核心数据库生成实体表(每次数据变化,都会生成条记录,可以清理)。
PWX:部署在核心数据库,对核心压力较小,但是如果异常中断,重新启动的时候,会占用较大服务器资源。