安装ETL环境(Informatica)
Informatica PowerCenter平台ETL开发规范
Informatica PowerCenter平台ETL开发规范January 12, 2010广州安正软件科技有限公司BusinessMatrix Information System Corporation.文档历史记录变更历史审阅分发文档目录1.文档介绍 (5)1.1文档目的 (5)1.2适用范围 (5)1.3文档读者 (5)1.4参考文献 (5)1.5术语与缩写解释 (5)2.POWERCENTER平台介绍 (6)3.环境介绍 (7)3.1概述 (7)3.2开发环境 (7)3.3测试环境 (7)3.4生产环境 (7)3.5数据库账号 (7)3.6数据连接 (8)3.7参数文件 (8)4.通用规范 (14)4.1I NFORMATICA文件夹配置 (14)4.2操作系统文件夹配置 (14)4.3S ESSION配置项 (15)4.4I NFORMATICA用户配置 (15)4.5ETL转换规则说明 (15)4.6从平面文件导入数据 (15)4.7从数据库导入数据 (16)4.8从数据库导入数据结构 (16)4.9注释 (16)4.10日志文件 (16)4.11出错处理与通知 (17)5.命名规范 (18)5.1概述 (18)5.2F OLDER (18)5.3M APPING (18)5.4S ESSION (19)5.5W ORKFLOW (19)5.6S OURCE D EFINITION (19)5.7T ARGET D EFINITION (20)5.8A GGREGATOR (20)5.9E XPRESSION (21)5.10F ILTER (21)5.11J OINER (21)5.12L OOKUP (21)5.13N ORMALIZER (22)5.14R ANK (22)5.15R OUTER (22)5.16S EQUENCE G ENERATOR (22)5.17S ORTER (23)5.18S OURCE Q UALIFIER (23)5.19S TORED P ROCEDURE (23)5.20U PDATE S TRATEGY (23)5.21M APPLET (24)5.22I NPUT T RANFORMATION (M APPLET O NLY) (24)5.23O UTPUT T RANFORMATION (M APPLET O NLY) (25)5.24D ATABASE C ONNECTIONS (25)5.25FTP C ONNECTIONS (25)6.常用SQL知识介绍 (25)6.1NOT IN与MINUS (25)6.2多表连接中的条件限制(WHERE AND ON) (25)6.3游标尽量少使用 (27)6.4异常捕捉 (27)7.SQL编写规范 (27)7.1原则定义 (27)7.2大小写规则 (28)7.3缩进与换行 (28)7.4别名 (29)7.5运算符前后间隔要求 (29)7.6变量引用 (30)7.7注释 (30)7.8其它 (31)8.脚本编写规范 (31)8.1U LTRA E DIT (31)8.2SHELL (32)9.ETL开发流程 (32)9.1ETL开发流程 (32)9.2文档编写要求 (32)10.版本控制 (33)11.ETL程序迁移 (34)12.环境准备过程 (34)12.1创建用户 (34)12.2开发环境准备 (34)12.3测试环境准备 (35)12.4生产环境资准备 (35)13.性能调优 (35)13.1I NFORMATICA性能调优步骤 (35)13.2聚合 (35)13.3其他 (36)1. 文档介绍1.1 文档目的本文档主要描述了ETL开发人员在Informatica PowerCenter平台开发Mapping、Session和Workflow需要遵循的统一标准,使得不同项目不同开发人员在Informatica PowerCenter平台交付的ETL程序符合同一标准。
Informatica_PowerCenter安装指南 (2)
Informatica PowerCenter安装指南(2)目录简介: (2)目标程序: (2)安装环境: (3)假设: (3)前置任务: (3)数据库需求: (3)PowerCenter域配置存储库 (3)PowerCenter 存储库 (4)安装JRE: (4)环境变量设置: (4)安装服务器端: (5)配置服务器端: (6)创建PowerCenter存储库服务: (7)创建PowerCenter集成服务: (9)简介:PowerCenter是Informatica出品的数据中心管理工具集中的一个产品,主要用于设计和完成ETL过程,其中又包含多个子产品,如Data Profiling和Data Analyzer,其服务器端的架构如下:如上图所示,PowerCenter服务器端由被配置在同一域(PowerCenter domain)中的一组计算机组成。
此组计算机可以master-slaves的方式协作,也可以网格方式进行分布式运算?(待求证)。
一个PowerCenter domain中可以配有多个gateway nodes,但只有一个能被设为master,所有对该域的访问均由该结点路由;其余gateway可作为备份。
该服务器段采用面向服务架构,除Service Manager和PowerCenter Administrator这两个服务必须运行在master gateway机器上以外,其他服务均可部署在同一域中的其他结点上,由master gateway提供统一的访问。
对于ETL流程而言,PowerCenter Repository Service和PowerCenter Integration Service为核心服务。
只要安装和部署成功这两个服务,即可执行ETL流程,其他服务为可选服务,当购买了其他产品后才(如Analyst Service为PowerCenter Analyzer的依赖服务)需要。
BI生产环境迁移方案
BI生产环境迁移方案一、正式环境配置1.方案说明此方案针对BI新环境的搭建,包括数据库、BIEE及ETL的安装配置。
2.应用安装(1)数据库安装●安装环境:数据库服务器:IBM P770小型机(两个分区,HA) ;操作系统:AIX 6.0 64bit;CPU: 4C ;内存:24G;硬盘:V7000;容量:1TB;IP地址:192.168.190.94 192.168.190.95;浮动IP地址:192.168.190.96;●数据库应用:Oracle 11g;(2)BIEE安装●安装环境:操作系统:Cent OS 6.5;硬盘:500G (在V7000上);IP地址:192.168.190.138;●BIEE应用:bi_linux _11.1.1.7.0_x86_64;(3)ETL安装●安装环境:操作系统:linux 5.8 64bit;硬盘:500G(在V7000上);IP地址:192.168.190.137;●ETL应用:Informatica 9.0.13.安装测试4.应急方案二、生产环境迁移1.方案说明此方案针对BI生产环境所包含的所有内容原封不动的全部迁移到当前生产环境。
2.迁移范围(1)迁移数据库本次数据库迁移需要迁移生产环境数据库内所有用户,对应默认表空间,当前表空间使用率,密码,用户对象迁移,dblink不能迁移索引,所以要确认哪些表有索引,的所有对象,olap用户下的表逻辑上划分为五类:infa资源库表、DataWarehouse库表、DW库表、OLAP库表和temp表,其中infa资源库信息可合并到新的infa服务器中,不需迁移infa资源库表。
其BI数据库环境详细信息如下:数据库服务器:192.168.190.17实例:BIPROD端口:1521用户:表空间:(2)迁移informatica本次ETL迁移需要迁移Repository_Biapp资源库和RS_CRPHARM下的对象:其ETL环境详细信息如下:INFA服务器:192.168.190.19infa域:Domain_Biappinfa节点:Node01_Biapp资源库:Repository_Biapp,RS_CRPHARM对应服务:Ins_Biapp,IS_CRPHARMInfa控制台用户:Administrator/manager5资源库用户:Administrator/manager5域连接用户:资源库连接用户:(3)迁移BIEE其ETL环境详细信息如下:ETL服务器:192.168.190.183.迁移前准备1.备份BI数据仓库(192.168.190.17)用户olap_u下所有的对象。
Informatica安装手册
Informatica安装配置手册David Jiang1. 准备工作 (2)1.1. 安装环境 (2)1.2. 数据库准备 (2)2. Window下安装配置手册 (3)2.1. 安装Informatica 的相关组件: (3)2.2. 创建知识库(Repository) (8)2.3. 创建目录(Folder) (11)2.4. Repository Server Administrator密码 (12)2.5. Informatica Server 配置步骤 (13)3. Informatica客户端工具简介 (16)3.1. Designer (17)3.2. Reposiotry Manager (17)3.3. Repository Server Administration Console (18)3.4. Workflow Manager (19)3.5. Workflow Monitor (19)1.准备工作1.1. 安装环境工作站IBM PC及兼容机处理器-Intel Pentium®显示器-SVGA以上内存-建议128MB磁盘空间-70MBWindows 95/98,Windows 2000,Windows XP或者Windows NT 4.0。
服务器Informatica ServerUNIX(HP-UX™,AIX™,Solaris ™,Linux)Windows 2000,Windows XP,Windows 2003或Windows NT 4.0。
内存-256 MB磁盘空间-40 MBRepository ServerUNIX(HP-UX™,AIX™,Solaris ™,Linux)Windows 2000,Windows XP,Windows 2003或Windows NT 4.0。
内存-16 MB,并且每管理一个知识库增加16M。
磁盘空间-40 MB知识库所在数据库Database: Oracle,DB2,Sybase,MS SQL Server,Informix,Teradata磁盘空间-数据库100 MB(推荐150 MB)1.2. 数据库准备1.在要安装Informatica服务的主机上,要提供连接到关系型数据库的Native Driver。
Informatic_安装手册
Informatica 安装手册版本:V1.0All rights reserved版权所有侵权必究文档修订记录目录1简介 (4)1.1编写目的 (4)1.2范围 (4)2运行环境 (4)2.1硬件平台 (4)2.2软件平台 (4)3使用者 (4)4BUILD版本须知 (6)5数据库搭建 (6)5.1创建数据库实例 (6)5.2创建数据库表空间、用户和角色 (6)5.2.1创建表空间 (6)5.2.2创建用户 (6)6INFORMATICA POWERCENTER8.5.1 安装 (9)6.1准备工作 (9)6.2开始安装 (10)6.2.1上传Informatica安装介质和license.key到服务器上 (10)6.2.2Informatica安装过程 (10)6.3环境变量配置 (16)6.4启停服务 (17)7INFORMATICA配置 (18)7.1.1登陆PowerCenter Administrator Console (18)7.1.2创建Repository Service (19)7.1.3创建Integration Service (20)7.1.4客户端连接配置 (22)7.1.5建立Folder (24)7.1.6创建连接串 (26)7.1.7导入ETL开发程序 (28)7.1.8Assign Integration Service (33)7.2修改I NFORMA TICA知识库配置文件 (34)1 简介1.1 编写目的本文档详细说明了Informatica的安装步骤。
通过该文档,Informatica的最终使用者将能够顺利的搭建Informatica的运行环境。
1.2 范围该文档适用环境的相关部署人员,文档使用者需要对UNIX、Linux、Aix、Weblogic和ORACLE比较熟悉,如有必要请参考相关文档。
2 运行环境2.1 硬件平台无。
2.2 软件平台服务器⏹IBM AIX,Linux,Windows,HP-UX。
ETL学习笔记
Informatica PowerCenter8.1学习笔记一、软件的安装及配置安装前的注意事项:首先要确定密匙文件:Licnese.key内写明的授权日期范围及授权内容,如已过期,则将系统时间调整至未过期之前的时间,否则安装过程中极易出现问题!1、安装篇在安装之前我们先来进行一些准备工作,首先如果需要连接MSSQL2000,则应该先升级SP4补丁。
首先进入安装文件夹点击,然后会打开如下界面:(图1-1)点击要安装的组件。
(1)安装服务端组件首先点击,等待安装准备工作完成后自动跳转至如下界面:(图1-2)点击,至下一步:(图1-3)在这里需选择密匙文件,点击后在出现的选择界面内:(图1-4)选中密匙文件点击即可。
然后会回到图1-3 的界面,点击进行下一步。
可能出现错误:(图1-5)这个错误是由于密匙文件过期造成的,只需将系统时间调整至过期日期之前即可。
密匙文件验证完毕后会出现如下界面:(图1-6)点击即可进入下一步。
(图1-7)如果想要完全安装,则直接点击即可,如需定制安装,刚选中即可,这里我们只需安装PowerCenterServices,对于完全安装就不再详述。
点击进行跳转:(图1-8)在这里我们只选Services组件,然后点击进入下一步:(图1-9)在这里我们可以选择安装还是升级,我们选择第一项,点击进入下一步:(图1-10)选择安装目录,然后点击(图1-11)在图1-11 中所示的界面内检查安装信息是否正确,如正确点击安装完成后进入如下域设定界面:(图1-12)第一项为建立新的域,第二项为导入现有域,可根据实际情况进行选择,这里我们只介绍新建域的操作。
选中第一项后点击,会出现配置服务器数据库信息界面:(图1-13)几个需要填写的内容分别为:Database type(数据库类型)Database URL(数据库连接URL字符串)Database userID(数据库登陆用户名)Database user password(数据库登陆密码)Database service name(数据库名)在填写完毕后点击进行链接测试,如通过则会出现:(图1-14)然后点击,进入服务器信息配置界面:(图1-15)几个需要填写的内容分别为:Domain name(域名称)Domain host name(映射地址名称)Node name(节点名称)Domain port no(域对应端口号) Domain user name(管理员帐号) Domain password(管理员密码)Confirm password(确认密码)Create Repository Service点击会出现(图1-16)可以配置Minimum port no(最小端口号)及Maximum port no(最大端口号),配置完毕后点击开始进行域的创建。
ETL工具优缺点对比分析(kettle和Informatica)
ETL工具优缺点对比分析(kettle和Informatica)ETL工具优缺点对比分析--kettle和Informatica 目前业内比较主流的ETL工具有很多,本文主要对开源kettle和Informatica这两款工具,从各方面进行对比分析。
一、数据捕获能力1、如果要对数据库进行实时监控,kettle通常会采用CDC的方式,Informatica会采取PWX的方式。
优点:可以准确的识别变化数据,包括上游系统被删除的数据。
缺点:CDC和PWX都需要部署在核心数据库服务器,会对核心数据库造成一定压力。
2、如果不采用实时监控,采用其他方式抽取,(比如时间戳)。
优点:不需要在核心服务器部署,对核心服务器基本不会造成压力。
缺点:被删除的记录,以及手工修改但是没有修改时间戳的记录无法在下游数据库识别。
二、整体性能对比1、Informatica处理数据能力比kettle强。
2、Informatica属于收费软件,出现困难问题,可以找厂商解决。
3、kettle比较容易上手,Informatica需要充足的学习准备。
4、kettle部署相对简单。
三、数据处理能力ETL工具在处理数据的时候,要目标库日志空间,表空间足够。
日志需要定期清理,表空间自动扩展就好。
kettle:可以高效处理千万级别以下数据。
Informatica:可处理上亿量级的数据。
四、实时监控对核心数据库压力CDC:部署在核心数据库,读取核心数据库的归档日志,会在核心数据库生成实体表(每次数据变化,都会生成条记录,可以清理)。
PWX:部署在核心数据库,对核心压力较小,但是如果异常中断,重新启动的时候,会占用较大服务器资源。
Informatica_Powercenter安装与配置参考文档
—Informatica Powercenter安装、配置及简单使用文档文档控制变更记录3日期作者版本变更参考目录1概述 (1)1.1读者对象 (1)1.2参考文档 (1)2软件简介 (2)2.1概念 (2)2.2作用 (2)3安装准备 (4)3.1系统要求 (4)3.2数据库账户 (5)3.3注意事项 (5)4POWERCENTER安装 (6)4.1服务器端安装 (6)4.1.1运行安装向导 (6)4.1.2选择安装类型 (7)4.1.3选择License Key (8)4.1.4选择安装路径 (10)4.1.5设置https协议 (10)4.1.6域选择与配置 (13)4.1.7配置节点 (15)4.1.8选择System账户 (16)4.1.9安装成功 (16)4.2客户端安装 (18)4.2.1运行安装向导 (18)4.2.2选择安装类型 (19)4.2.3选择安装路径 (20)4.2.4安装成功 (22)4.3官方文档安装 .......................................................................................................... 错误!未定义书签。
4.3.1运行安装向导................................................................................................. 错误!未定义书签。
4.3.2选择安装路径................................................................................................. 错误!未定义书签。
4.3.3安装成功......................................................................................................... 错误!未定义书签。
Informatica安装及使用文档
Informatica安装及使⽤⽂档数据抽取⼯具Informatica介绍Informatica是综合分析系统中使⽤的数据抽取(ETL)⼯具,它是⽤于从⽣产库中提取数据到数据仓库中,再由具体的报表、统计、分析⼯具对数据仓库的内容进⾏分析,分析出⾃⼰所需要的数据。
ETL包括抽取、转换、装⼊和加载数据。
Informatica⽬前使⽤的版本是PWC_8.6_Window32。
Informatica安装环境1、服务器Informatica ServiceWindows XP内存-1G磁盘空间-40GRepository ServerWindows XP内存-1G磁盘空间-40G2、知识库所在数据库Database:Oracle磁盘空间-数据库1G3、数据库准备:3.1在要安装Informatica服务的主机上,要提供连接到关系型数据库的Native Driver3.2在将要建⽴知识库的Oracle数据库中,创建⼀个数据库⽤户ufgov1⽤来保存Informatica Repository。
分配Connect,Resource权限。
Informatica安装安装Informatica8.61、双击安装⽂件,点ok2、下⼀步3、选择第⼀个(如果是第⼀次安装),如果需要升级点击第⼆个选项4、选择许可⽂件(key与⽂档在⼀个压缩包中)5、以下默认下⼀步,然后选择安装⽬录6、配置服务器的端⼝号7、显⽰与确认安装信息8、安装9、创建Domain10、连接数据库(选择数据库类型——>数据库服务和⽤户名、密码(注意⽤户的权限,最好⽤system))11、测试连接数据库(要保证⽬标数据库服务于监听已经启动,⽬标数据库所在服务器防⽕墙已经允许数据库的访问端⼝【往往不成功的主要原因】)12、创建Domain和node13、配置Informatica的服务(也就是需要操作系统【⽤户】的允许)14、安装成功Informatica服务配置ETL⼯具Informatica将使⽤Oracle数据库存储数据抽取过程的资源库,数据库⽤户名为ufgov1.1.登录Informatica服务器端(保证Informatica Services 8.6.0这个服务已经启动)从安装⽬录下进⼊PowerCenter Adminstrator Console或者从浏览器中直接输⼊:http://[informatica 服务所在主机IP]:6001/adminconsole进⼊登录页⾯【⽤户名为安装时为Domain设置的⽤户名和密码[见⼀中第12步],默认的超级⽤户Administrator 密码:Administrator】2.第⼀次登录后的界⾯,直接点击Administration Console/doc/4e0c41f47c1cfad6195fa7e2.html rmatica服务器主界⾯(在安装时已经创建了Domain和Node)4.建⽴资料库(Respository)5.配置资料库【选择Node,数据库类型,字符编码,数据库连接串(数据库服务名),数据库⽤户名和密码】…/./注意数据库⽤户的权限最好⽤System6.创建Integration Service(注意Repsitory User Name是admin)7.服务器配置成功了Informatica客户端登录1.启动资料库客户端进⼊Informatica PowerCencer Repository Manager界⾯2.连接服务器(2.1、始化Domain——>2.2、连接资料库)2.1始化Domain添加Domain(Add a new domain)Gateway Host为安装Informatica服务器主机的IP Gateway Port为安装服务器是设置的端⼝号点击ok⾃动找到服务器端得资料库(ufogv_Rep_Service)点击Ok后在资料库的客户端就可以看到服务器端的资料库了。
informatica安装部署与还原
新建资料库
当资料库是 oracle 时,则新建 etl 使用的 oracle 表空间及用户 在 cmd 命令行中输入如下: Sqlplus / as sysdba (回车) create tablespace etl_space nologging datafile 'D:\program\oracle\product\10.2.0\oradata\orcl\ etl.dbf' size 100M autoextend on next 10M maxsize unlimited segment space management auto; create user etl identified by kingdee default tablespace etl_space grant connect,resource,dba to etl;
还原资源库
将 待 还 原 的 资 源 库 文 件 copy 到 informatica 服 务 端 安 装 目 录 的 informatica\server\infa_shared\Backup 下。 将操作模式改成 exclusive,因为 exclusive 是独占模式,操作服务器的时候就需要改成此模 式,如果不是操作服务器而是开发 etl 的话,则需要改成 normal 模式。
新建ห้องสมุดไป่ตู้户
create user etl identified by kingdee default tablespace etl_space; 回车
给用户授权
grant connect,resource,dba to etl; 回车
如果是直接放在 sqlplus 中执行,则不需要 Sqlpuls / as sysdba 回车,直接执行后面的语句 即可
informatica零基础教程
informatica零基础教程总结一、安装过程及其连接1、安装前准备*本机的服务实例为2、安装服务端*打开双击安装>下一步>修改安装地址>直到完成>将主页地址复制粘贴到浏览器地址栏中回车继续浏览此网页(不推荐)用户名()、密码()登陆*创建存储库服务器:域导航器右边操作创建存储库服务命名、许可证、节点都选择最下面的下一步数据库类型()、(用户名和密码:准备时新创建的用户名和密码)、数据库服务实例名()、代码页选3*已选定表名成功二、组件过程、、聚合和行级转换*源:源从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入;若有多个,也得导入)*目标表方法一(目标从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入)双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定*钮存***、过滤器(查找的员工)*源:源从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入)*目标表方法一(目标从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入)双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定方法二、直接在源中拖拽过来双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定目标生成执行语句连接目标表所属用户名、密码(、)生成并执*57、**源表,则不用再导入)*目标表方法一(目标从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入)双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定、方法二、直接在源中拖拽过来双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定*映射:映射创建命名()拖入源表点击聚合按钮双击表头端口选择(删除、添加)需要字段和是否输入、输出分组字段选择分组按钮确定点击存储过程按钮登陆存储过程所属用户连接选择存储过程确****源*列表中有表,则不用再导入)双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定、方法二、直接在源中拖拽过来双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定*目标生成执行语句连接目标表所属用户名、密码(、)生成并执行语句到中查看是否已创建表头*映射:映射创建命名()拖入源表点击排序按钮双击表头端口选择(删除、添加)需要字段和是否输入、输出(排序字段选择键选择升序降序)确定连接源表和排序器对应字段拖入目标表连接目标表和过滤器对应字段保存810*源*添加)需要字段和是否输入、输出确定*映射:映射创建命名()拖入源表点击路由器转换按钮双击表头分组添加分组按钮处修改条件(如)确定拖入目标表连接目标表和路由器器对应字段保存*任务:任务创建命名*工作流:工作流创建命名双击映射选择源数据库目标数据库加载项改为确定保存*启动:(工作流启动工作流)(右键单击任务启动任务)、增量抽取*源:源从数据库导入连接连接选择取数据的表确定(若源列表中有**(从目标表查询的字段对应字段保存*任务:任务创建命名*工作流:工作流创建命名双击映射选择源数据库目标数据库加载项改为确定保存*启动:(工作流启动工作流)(右键单击任务启动任务)。
ETL抽取工具Informatica介绍-1
PowerCenter内置的部分转换组件
• ������ Lookup:查找相关的值并且传送给其他的对象 • ������ Joiner:关联异构数据源 • ������ Stored Procedure:调用存储过程并且获取返回值 • ������ External Procedure: 从共享库中调用一个外部的用户定
• Workflow Monitor:监控Workflow和Session运行情况,生成日志 和报告
• Repository Manager:资料库管理,包括安全性管理等,元数据维护 和安全操作,如:元数据查找,用户、组、权限管理等。
• Repository Server Administrator Console:对知识库的操作,如: 知识库的创建、备份、恢复等。
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
2个Server
• Informatica Repository Server:资料库Server, 管理ETL过程中产生的元数据 用来管理所有对资料库中元数据的请求和操作。
• Informatica Server:实际的ETL引擎
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
Informatica公司其他产品
• PowerAnalyzer:BI前端工具,用于数据展现,内 置了170多种分析报表,用于元数据的浏览和分析
• PowerExchange:适用于连接主机数据,实时数据 和CDC数据处理
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
Informatic_安装手册
Informatica 安装手册版本:V1.0All rights reserved版权所有侵权必究文档修订记录目录1简介 (4)1.1编写目的 (4)1.2范围 (4)2运行环境 (4)2.1硬件平台 (4)2.2软件平台 (4)3使用者 (4)4BUILD版本须知 (6)5数据库搭建 (6)5.1创建数据库实例 (6)5.2创建数据库表空间、用户和角色 (6)5.2.1创建表空间 (6)5.2.2创建用户 (6)6INFORMATICA POWERCENTER8.5.1 安装 (9)6.1准备工作 (9)6.2开始安装 (10)6.2.1上传Informatica安装介质和license.key到服务器上 (10)6.2.2Informatica安装过程 (10)6.3环境变量配置 (16)6.4启停服务 (17)7INFORMATICA配置 (18)7.1.1登陆PowerCenter Administrator Console (18)7.1.2创建Repository Service (19)7.1.3创建Integration Service (20)7.1.4客户端连接配置 (22)7.1.5建立Folder (24)7.1.6创建连接串 (26)7.1.7导入ETL开发程序 (28)7.1.8Assign Integration Service (33)7.2修改I NFORMA TICA知识库配置文件 (34)1 简介1.1 编写目的本文档详细说明了Informatica的安装步骤。
通过该文档,Informatica的最终使用者将能够顺利的搭建Informatica的运行环境。
1.2 范围该文档适用环境的相关部署人员,文档使用者需要对UNIX、Linux、Aix、Weblogic和ORACLE比较熟悉,如有必要请参考相关文档。
2 运行环境2.1 硬件平台无。
2.2 软件平台服务器⏹IBM AIX,Linux,Windows,HP-UX。
INFA安装配置手册Linux
1ETL效劳器安装部署本项目ETL安装部署主若是安装部署Informatica ETL软件,下面以LINUX平台安装部署Informatica软件为例说明Informatica安装部署进程。
1.1安装效劳1.1.1安装Informatica前预备工作1.1.1.1安装程序包上传介质到infa用户下解压并安装。
1.1.1.2配置JDK,Oracle、Sybase客户端和ODBC环境变量,参考下面环境变量配置。
执行source .bash_profile使环境变量生效。
1.1.1.3上传安装介质和KEY文件FTP上传安装介质和KEY文件到infa用户下。
1.1.1.4创建解压目录和安装目录别离创建Informatica解压目录文件夹informatica961和安装目录文件夹Infa961:mkdir informatica961mkdir Infa961注:安装目录名Infa961必然要统一,下面的NFS文件共享系统需要配置那个途径以便于调试和爱惜。
1.1.1.5解压安装介质解压Informatica安装介质到Informatica961目录下:tar– /Informatica9611.1.2Informatica安装进入介质解压目录informatica961执行安装命令:./1.1.3选择安装选项见以下图,假设是效劳器上没有Informatica效劳那么选择1,其他选择2。
1.1.4运行系统检测工具见以下图,在安装之前运行系统检测工具以幸免安装进程中显现问题:选择11.1.5创建系统信息见以下图,以下内容需要输入安装途径(绝对途径):/app/infa,资料库用户名:infa_domain,密码:infa_domain,ip:10,,端口号:1521,sid:sgywgl1.1.6检查成功后推出并执行安装然后退出当前系统检查环境,下面会提示是不是继续安装Informatica效劳,选择y继续安装1.1.7不启用网络身份验证安装进程中Informatica效劳有网络身份验证功能,咱们选择不启用网络身份验证:1.1.8输入KEY文件见以下图,咱们需要提供激活Informatica效劳KEY文件,输入文件所在的绝对途径:/app/infa/Infa961/:1.1.9输入安装途径见以下图,输入Informatica效劳需要安装目录的绝对途径:/app/infa/Infa9611.1.10选择平安通信模式见以下图,选择1创建域,选择1不启用平安通信,选择2禁用HTTPS。
Informatica介绍
数据仓库
数据交换
数据监控
2
2005,神州数码(中国)有限公司.版权所有
五个应用范围
1、数据迁移
数据迁移(Data Migration)
• 系统升级 • 系统合并 • 遗留转换
3
2005,神州数码(中国)有限公司.版权所有
五个应用范围
2、数据同步
数据同步(Data Synchronization)
20
2005,神州数码(中国)有限公司.版权所有
PowerCenter五个主要特点
1、所见即所得
起点低:
• 完全图形化界面,采用拖拽方式,不用写代码
易编辑:
• 易于操作、阅读、维护 • 不同转换功能以不同的图标显示 • 以流程线表示转换步骤
好管理
• 管理客户端明确 • 引入倒出管理方便
21
10
2005,神州数码(中国)有限公司.版权所有
五个工具产品
2、PowerCerter
11
2005,神州数码(中国)有限公司.版权所有
五个工具产品
3、PowerExchange
12
2005,神州数码(中国)有限公司.版权所有
五个工具产品
4、PowerConnect
Applications & Platforms
SAP NetWeaver
IBM Lotus Notes
SAP BW Siebel
Hyperion Essbase SAS
PeopleSoft
Messaging
IBM MQ Series
Microsoft MSMQ
TIBCO
webMethods
ODBC
Standards LDAP
Informatica安装、平抽、增量抽取
一,Informatica安装的注意事项rmatica安装⑴首先在该服务器上需要安装Oracle 数据库及Oracle 客户端,针对Informatica PowerCenter 服务需要创建相关的表空间INFA,表空间的初始大小设定为16GB,建议分为4 个数据文件。
此外,需要创建以下用户:数据库用户infa :密码设定为infa,需要1GB 的表空间,该用户需具备create view 、connect 、resource 、unlimited tablespace 数据库权限,用于存放PowerCenter 域元数据。
数据库用户infarep:密码设定为infarep,需要10GB 的表空间,该用户需具备create view、connect、resource、unlimited tablespace 数据库权限,用于存放PowerCenter 资料库数据。
⑵接下来按照informatica安装文档进行安装即可。
2.安装及配置中遇到的问题及解决方案⑴出现错误代码为-1的问题,即在安装INFA的时候,PING不通,建议的解决方法是:可以在path中加上server的bin目录(默认为C:\Informatica\PowerCenter8.6.1\server\bin), 不需要重启,直接Retry即可。
如果还是ping不通,则确认服务项InformaticaServices8.6.1是否启动,如果没启动,则启动。
⑵出现错误代码为1的问题:是因为服务器端是64位,客户端是32位,如果先装的服务器端,后装的客户端就会覆盖服务器端,因此会出现问题,建议的解决方法是:先装客户端,再装服务器端。
二,利用Informatica平抽和增量抽取⒈平抽的实现:在PL/SQL中建立与源表结构相同的目标表,初始为一个空表:点击图标,选择Sources,选择Import from Database:输入用户名和密码——〉connect,选择源表ADMIN,单击OK:可以看到表ADMIN如下所示:点击,选择Targets,选择Import from Database,引入目标表:如下图所示输入用户名和密码,进行连接,选择目标表ADMIN_TARGET: 可以看到目标表的结构如下所示:点击,选择Mappings,选择Create:输入Mapping name:从左侧拖拽导入的源表和目标表,得到如下的Mapping:点击图标,在Mapping 窗口松开图标,如下图所示:在空白处单击鼠标右键,可以选择Autolink、Autolink by Name、Autolink by Position等选项连接到目标表:进行链接后如下图所示,然后保存:进入Informatica PowerCenter Workflow Manager,选择Create:输入名称:建立后如下所示:点击图标,选择Mappings:点击图标建立连接:连接建立后选择Connections,选择Relational:出现如下页面,选择Oracle:点击Edit,进行如下编辑:编辑完成后,保存,选中Session,点击右键,选择Start Task运行:在Informatica PowerCenter Workflow Monitor中可以查看运行的信息,如下图所示,表示抽取成功:⒉增量抽取:在Informatica PowerCenter Designer中操作:选择Mappings——>点击Parameters and Varibles:新建变量:Name:$$VDdate,Type等项的选择如下图所示,在Initial value中输入初始的值,点击OK。
Informatica PowerCenter交流(ETL)
治理风险 合规性
提高 合作伙伴 网络效率
提高业务 灵活性
业务与 运营智能
淘汰遗留系统
应用程序信息 生命周期管理
应用程序 整合
IT 方案
客户、 供应商、 产品中心
BPO SaaS
风险转移与 管制报告
B2B 集成
零延迟运营
IT 项目
数据仓库
数据迁移
数据库存档
数据整合
主数据管理
数据同步
复杂事件 处理
B2B 数据交换 超级消息收发
2
全球权威媒体报告中,排名第一
3
Informatica 数据治理蓝图
正确性
数据探勘&数据质量
IDQ
数据及身份搜索识别
IIR
主数据与客户数据管理
MDM
数据治理 平台
PWC
MM
数据整合
安全、优化与灾备
测试数据管理
ILM/TDM
活备份与系统优化
ILM/Data Archive
复杂事件处理
CEP
实时性
变化实时数据捕获
PWX
非结构及半结构化采集
B2B
微秒级信息数据集成
EAI
云计算数据集成
CLOUD
4
典型企业级数据集成架构
Application
SOA
Integration
eMail Office
ERP
CRM Supply Chain Composite Portal
MDM
Reporting Mining
BAM
Security
使命:让数据为企业的 创新提供强大动力服务
• 客户满意度:TNS 在2010 年度数据集成客户满意度调查中,Informatica 连续第 5 年获得最高
Informatica公司
Informatica目录Informatica公司介绍Informatica在全球Informatica在中国Informatica产品简介Informatica ETL工具介绍编辑本段Informatica公司介绍创立于1993 年,总部位于Redwood City, California of USA 的Informatica (Nasdaq:INFA )公司,作为电子商务分析型软件市场的领先者,一直致力于通过自身的产品和服务提升企业的竞争性优势。
其拳头产品Informatica Insight Network(Infrastructure and Analytics) 已被全球 1 ,800 多家企业用来集成、分析和个性化企业的关键商务信息,优化整个商务价值链的表现和响应速度。
拥有包括Citigroup(花旗集团), Deutsche Bank(德意志银行), AT&T(美国电信), British Telecom(英国电信), Motorola(摩托罗拉), Cisco(思科), HP(惠普), Boeing (波音), National Semiconductor(美国国家半导体), Timer Warner(时代华纳), News Group 在内的广泛的客户群。
Agent Logic 拥有商业和公共领域的客户,包括美国国家安全局。
在公共领域,Agent Logic 可以促进海域感知、地理空间跟踪以及战场命令和控制。
在商业领域,Agent Logic 能够通过符合相关差旅和开支政策的规则,帮助控制与公司信用卡计划有关的成本。
Agent Logic 将进一步加强Informatica 在公共领域的业务,特别是美国联邦政府。
编辑本段Informatica在全球Informatica,1993年创立于美国加利福尼亚州,并于1999年4月在纳斯达克上市。
作为全球领先的企业数据集成解决方案提供商,Informatica提供专业数据集成软件和服务,以解决系统间的数据碎片问题,从而帮助企业获得了数据的更大商业价值。
Informatica培训-产品架构及基础知识
PowerCenter 体系结构 - Rep Server
资料库存放管理信息, 资料库存放管理信息,如:usernames, passwords, permissions, and privileges。 。 客户端必须通过Rep Server 来访问知识库。 来访问知识库。 客户端必须通过 Rep Server 通过 通过Native Driver 来访问知识库。 来访问知识库。 客户端使用Tcp/IP 跟Rep Server 关联。 关联。 客户端使用
Integration Services
Relational/Flat Files
Repository Services
Node
Mainframe/ Midrange
I N T E G R A T I O N G R I D
Packaged Applications
I N T E G R A T I O N G R I D
2
异构网格环境
产品体系结构
的产品结构图, 版本, 注:此图是pc7的产品结构图,对于 此图是 的产品结构图 对于pc8版本,没有了 版本 没有了Rep server adminstrative Consle 客户端 Informatica Repository Server是pc8的Repository Services。 是 的 。 Informatica Server是pc8的Integration Service 是 的
Relational/Flat Files
Repository Database
Mainframe/ Midrange
Integration Services Repository Services
PowerCenter 8 企业网格选项