Informatica 参数的使用
Informatica_PowerCenter 参数和变量使用指南
Informatica PowerCenter 参数和变量使用指南中国区唯一总代理神州数码(中国)有限公司2014年目录第一章参数和变量 (3)1、概述 (3)2、参数与变量存在的三种形式 (4)2.1系统级变量 (4)2.2 Mapping级参数与变量 (4)2.3 参数文件级参数与变量 (10)第二章参数文件格式 (12)1、标题格式和适用范围 (12)2、参数和变量类型 (13)3、实例 (13)第三章参数文件使用要点 (15)1、创建准则和使用注意事项 (15)2、PMCMD中使用参数文件 (17)第四章应用案例介绍 (18)1、定义M APPING的变量。
(18)2、在E XPRESSION组件中引用变量 (19)3、定义W ORKFLOW变量 (19)4、在E VENT W AIT组件中引用变量 (20)5、在S ESSION中引用变量 (21)6、在C OMMAND组件中引用变量 (22)7、参数文件定义 (22)8、S ESSION参数文件引用设置 (23)9、W ORKFLOW参数文件引用设置 (24)10、W ORKFLOW流程图 (24)第一章参数和变量1、概述参数和变量可以定义在工作流、工作集或会话中。
您可以使用WordPad 或Notepad 等文本编辑器来创建参数文件。
您在参数文件中列出参数或变量及其值。
参数文件可以包含以下类型的参数和变量:◆Integration Service变量◆Integration Service process变量◆Workflow变量◆Worklet变量◆Session参数◆Mapping参数和变量当您在工作流、工作集或会话中使用参数或变量时,PowerCenter Server将检查参数文件以确定参数或变量的开始值。
您可以使用参数文件来初始化工作流变量、工作集变量、映射参数和映射变量。
如果您不定义这些参数和变量的开始值,PowerCenter Server将在其它位置检查参数或变量的开始值。
Informatica-时间增量抽取更新图文教程
Informatica 时间增量抽取更新图文教程一种是:按时间抽取一种是:对比更新抽取源表T_SOURCETABLE初始有两条测试数据目标表T_TARGETTABLE初始默认清空一、按时间戳抽取首先,我们根据CREATE_DT来进行数据的增量抽取,模拟场景为第一次抽取全部数据,第二次抽取第一次抽取之后新增的数据。
1、MAPPING图如下,主要使用了一个Expression组件:2、选择Mappings菜单的参数与变量选项设置变量v_pumpdt3、新建变量$$v_pumpdt,类型选择变量,数据类型选择 date/time,汇总方式选择MAX。
下面的初始值用于第一次全量更新,可以根据实际情况设置,我这设置成01/01/1970 00:00:01。
4、修改SQ组件的过滤方式:5、可以先用生成SQL按钮自动生成select语句,然后下面增加过滤条件:whereT_SOURCETABLE.CREATE_DT>=to_date('$$v_pumpdt','mm/dd/yyyyhh24:mi:ss')andT_SOURCETABLE.CREATE_DT<to_date('$$$SESSSTARTTIME','mm/dd/yyyyhh24:mi:ss')即只过滤出从变量v_pumpdt值到抽取任务执行时间值之间这段时间create的数据。
完成后可以用验证按钮验证语句的准确性。
这里要注意日期时间类型字段的数据格式,由于服务器设置不同可能格式不同,而如果你取到的数据值和你指定的格式不匹配,在后面执行抽取任务时会报错。
我这个测试环境的格式是'mm/dd/yyyy hh24:mi:ss'6、修改Expression组件,增加一个表达式,把$$v_pumpdt的默认值置为SESSSTARTTIME的值, 这样下次执行时, 则会从这个时间,即上次session 执行时间开始算起, 达到个增量的目的。
Informatica命令调用
Informatica提供command和java接口
可以通过来执行Command命令
1、直接在该控件中写PMCMD命令
例如:pmcmd startworkflow -sv repo_dss -d DOMAIN_test_dss -u Administrator -p Administrator -f DSS_DM -wait DM_SCD_ODS
命令解析如下: pmcmd startworkflow -sv 集成服务名称 -d 配置域名称 -u Administrator -p Administrator -f 文件夹名称 -wait 工作流名
称
2、将PMCMD命令写在批处理文件中,通过该控件调用批处理文件
例如:批处理文件放在D盘的根目录下,在控件中直接写d:\mpcmd.bat 如果需要获取返回结果和错误信息,需要修改命令为:
d:\mpcmd.bat 1>d:\result.log 2>d:\error.log
该命令运行完成后会在D盘的根目录生成result.log和error.log
3、将PMCMD命令写在批处理文件中,通过DOS命令调用
(1)切换到Informatica的bin文件夹下
(2)执行批处理文件,生成返回结果和错误信息的日志
4、直接在DOS下调用PMCMD命令
返回信息在后面都已经显示出来,如果希望这些信息记录在指定文件中,修改命令。
Informatica _组件使用介绍及优化
CURRVAL 是 NEXTVAL 加上“增量”值。当 NEXTVAL 端口已连接下游转换时,您通 常只需要连接 CURRVAL 端口。当行输入连接到 CURRVAL 端口的转换时, PowerCenterServer 会传递最后创建的 NEXTVAL 值加 1。
16
常用属性介绍: Start Value 属性:已生成序列的开始值。如果勾选“Cycle”,当序列达到结束值时循环 回此值。 Increment By 属性:增量值。默认值为 1。 End Value 属性:结束值。如果序列值达到此值,但未勾选“Cycle”, 则Session 将失 败。 Current Value 属性:序列的当前值。 Cycle 属性:是否循环。(勾选后会按顺序生成序列,重新执行序列不会重复,未勾选 时,重新执行序列会产生重复值) Number of Cached Values 属性:一次高速缓存的序列值数。当多个会话使用相同的可 再 用序列生成器时,使用此选项可以确保每个会话收到唯一的值。 Reset 属性:如果勾选,则每个Session 会初始当前值。
10
Union组件
11
作用: 合并多个数据源到一个结果集。与执行“UNION ALL”SQL 语句结果相似,联合转换不会 删除重复行。
使用规则:
可以创建多个输入组,但只能创建一个输出组。所有输入组和输出组均必须具有匹配的 端口。所有组中的精度、数据类型和标度必须相同。 联合转换不会删除重复行。要删除重复行,您必须添加另一个转换,例如Router 或 Filter转换。 不能使用以Union 组件作为上游的序列生成器或更新策略转换。 联合转换不会生成事务 。选项卡设置: “Groups”选项卡。您可以创建和删除输入组。在“Ports”选项卡上能显示创建了的组。
Informatica安装与使用基本过程介绍
Informatica安装与使用版本说明:数据库:Oracle 9i及其以上Informatica:PowerCenter 8.1.1数据库连接:PL/SQL Developer 7.0.2一Oracle和PL/SQL安装数据库安装本文采用Oracle 10G,具体安装过程略。
数据库连接工具安装本文采用PL/SQL Developer 7.0.2,具体安装过程略。
二Informatica安装与配置本文采用PowerCenter8.1.1版本,具体安装过程介绍如下。
严重注意:安装之前,请将系统时间改为2007年3月14日之后。
2.1.服务器端安装双击安装程序,打开安装界面。
加载License文件。
本文安装程序位置:D:\Workplatform Tools\PC811_Windows32_安装盘\License。
2.1.1.域的创建与配置选择“创建新域”,点击Next。
注意服务配置信息的填写,特别是数据库用户的创建,要事先以sys身份登录PL/SQL 进行创建。
服务配置信息配置完毕,出现如下界面证明测试通过,可以进行下一步。
2.1.2.知识库的创建与服务配置2.2.客户端安装安装结束。
2.3.创建目录(Folder)启动知识库管理工具,点击开始菜单—>Informatica PowerCenter 8.1.1—>Client—> PowerCenter Repository Manager连接知识库:三Informatica使用3.1.在Designer中连接知识库,打开Folder需要连接已经创建好的知识库,方法如下:知识库连接后,需要打开在Repository Manager 创建的Folder:Folder 打开后,就可以进行实际的设计工作了。
3.2.引入数据源结构数据源可以是RDBMS、Flat file、Cobol file、XML file、ERP(SAP)等等,但对于RDBMS、Excel 等数据源需要定义ODBC,通过ODBC 连接。
原创Informatica使用说明(图解)
Informatica使用说明(图解)唾沫星冲锋枪 2013-4-22目录前言 (3)第一篇环境搭建 (3)服务器 (3)准备 (3)安装 (3)配置 (17)客户端 (23)准备 (23)安装 (24)介绍 (28)第二篇开发应用 (28)Repository Manager (28)环境介绍 (28)配置目录 (31)Designer (33)环境介绍 (33)配数据源 (34)引入数据源 (36)引入数据目标表 (38)制作Mapping (40)WorkFlow Manager (43)制作session (43)配置服务器数据源 (44)配置session源 (46)配置session目标 (47)制作workflow (48)执行workflow (50)WorkFlow Monitor (50)第三篇监控维护 (51)基本信息查看 (51)运行时间查看 (51)Session日志查看 (52)Workflow日志查看 (52)结束语 (53)前言个人从事ETL方面工作多年,各种工具都有一定了解,POWERCENTER是较为优秀的产品之一。
POWERCENTER是C/S模式,客户端开发服务器运行,本文主要介绍POWERCENTER 基本使用部分,详细的各个组件使用可以查阅相关帮助文档。
第一篇环境搭建服务器准备因为INFORMATICA把配置信息和开发的ETL过程信息都保存在资料库里,所以要预先准备一个数据库资料库。
本文采用oracle做资料库,名称INFO用户INFO密码INFO,配置好数据库的监听。
安装找到软件SERVER目录下的install.bat运行。
POWERCENTER的授权文件是按数据库接口出售的,支持数据库越多价格越高。
这里请注意配置,之前准备好的数据库资料库。
安装完成后可以查看一下服务项里面是否正常。
安装补丁。
因机器不同选择相应的补丁版本,如64位server系统需要补丁。
Informatica 参数的使用
1、定义参数文件Mapping Parameters(参数) 和 Variables(变量)的使用如果你在一个mapping中多次用到同一个值,又或者mapping中要用到一个在session运行才能决定的值,这时候可以使用mapping parameters或variable。
Mapping参数变量的命名方式:$$NAME存放参数变量的.txt文件的格式:[folder_name.session_name]parameter_name=valuevariable_name=valuemapplet_name.parameter_name=value[folder_name.session2_name]parameter_name=valuevariable_name=valuemapplet_name.variable_name=value[folder2_name.session_name]parameter_name=valuevariable_name=valuemapplet_name.parameter_name=value例如:[Common_Dimension.s_M_Inventory]$$BeginDate=2007-07-01$$EndDate=2007-07-31$$IsCurrentDay=0$DBConnection_Source=EM$DBConnection_Target=DC$PMSessionLogDir=C:\para2、添加参数或变量的方法是:选择Mappings-Parameters and Variables,在窗口新增变量或者参数,并对它的数据类型,数据大小,初始值进行设置。
添加的参数和变量在本mapping 的transformation的表达式中就可以使用了。
这些参数和变量的值还可以设置在.txt文件中,建session或者batch的时候把这个文件的路径设置在Parameter输入框中就行了。
Informatica邮件功能配置(MAPI)
Informatica E-mail config instruction(MAPI) Informatica邮件发送功能配置(MAPI)说明书(以测试环境为例)Configuring MAPI on Windows1.先安装Microsoft Outlook (如果之前安装了,就不用在安装)2.配置邮箱服务,单击控制面板中的查看x86控制面板图标3.双击邮件图标4.点击上步操作出现后窗口的显示配置文件图标5.点击添加按钮6.在配置名称栏中填写合适的名称7.输入名称后点击确定8.上步确定后会出现邮件账户向导,选择exchange服务器选项,点击下一步9.选择手动配置服务器,点击下一步10.选择Microsoft Exchange 点击下一步11.出现下面的提示框12.填写exchange服务器名称和用户名,用户名就是发送邮件的邮箱名,点击下一步邮件服务器地址接收邮件的邮箱地址13.点击完成如果操作系统是64位,那么需要进行14-19步骤,32位不需要14.打开informatica的控制台15.点击是(Y)16.输入informatica的用户名和密码登陆17.点击左侧test_int(Integration Service)18.点击右侧最下方有Custom Properties的edit按钮19.点击add 添加以下属性值点击OKSMTPFromAddress XXX@SMTPServerAddress XXX_SMTPPortNumber 25至此邮箱服务器配置完成下面步骤是如何在informatica中使用发送邮件功能20.打开informatica的workflow Manager21.右击我们要使用的Repository 点击出现的connect22.输入用户名与密码登陆23.右击我们指定的文件夹,点击Open24.在工具栏中点击Tasks然后点击Create25.选择Email,然后输入需要的名称点击Create26.双击上步骤中生成的email_test27.点击Properties,会有Email user name,Emil Subject,Email TestEmail user name 是您需要发送的邮件地址,多个地址中间用分号(;)隔开Emil Subject 是您发送的邮件中的主题Email Test 是您发送的邮件中的内容28.在邮件内容窗口中可以输入我们需要的文本内容,但是左边的Variables暂时不可用(下面步骤中有讲到如何使用)29.选择一个可以使用的session,双击这个session,然后点击Components,窗口中有On Success E-Mail(意思是session如果成功则发邮件),然后选择type为Reusable,On Failure E-Mail(session如果失败则发邮件) 同上30.点击右侧小箭头的按钮31.会出现Email的列表,因为我们只做了一个,所以只显示一个,选择需要的Email Browser, 点击OK (可以点击Override按钮进行重写此邮件的配置,重写功能我们在下面一步中进行讲解)32.点击右击笔形按钮33.选择Properties,然后点击右侧的箭头按钮34.可以在Text的窗口中重新编辑邮件内容,可以选择左侧Variable框中的函数,也可以手工输入代表左侧函数的编码,如%w意思是此session所在的workflow的名称%a 可以发送本服务器中指定目录的附件例%a<G:\blat276\test.xlsx> 则发送G:\blat276目录下的test.xlsx文件作为附件%g 意思是把本session的日志文件作为附件发送%s 意思是本session的名称…设置完毕后点击OK至此session中的设置已经全部完成,后面步骤会有运行示例35.在一个可用的workflow中右击窗口,点击start workflow,运行workflow36.W orkflow运行完成后,查看您所要发送的邮箱,会发现邮件已经到达,附件,日志等等设置的内容也测试成功。
informatica 服务配置
Informatica 服务配置一.作为客户端来操作Informatica 只是作为客户端连接远程方式工作时,无需进行相关配置,直接使用相关参数即可.但一定要保证掌握以下信息才能访问相关的repository此五项目必须与服务器的一样(与配置ORACLE客户端差不多,只是不能像ORACLE 那个可以对服务器进行别名配置)二.作为服务器来操作。
需要配置server和repository server1 配置repository server 知识库Informatica PowerCenter →informatica powerCenter--RepServer→Informatica Repository server setupConfigure repository server 较简单,只需要输入密码即可以。
(见图P_A11) 此密码会在连接知识库服务器时用到2启动repository server 知识库3创建知识库Informatica PowerCenter →informatica powerCenter--Client→Repository Server Administration console3.1创建知识库服务器点击New Server Registration 后出现下面界面Host name :输入主机的名字或IP3.2创建知识库Step 1 连接知识库服务器见图注意:此处的密码要与“配置知识库”的密码一致(图P_A11) 输入密码,点击OK进入下一界面Step 2 创建知识库---general页见图输入知识库的名字Step3 创建知识库---Database Connection页Databasetype : 选择数据厂商Codepage:不用理它Connectstring: 数据库连接串Dbuser: 数据库用户Dbpassword:数据库密码注意项:connectstring 根据选择的数据库厂商不同,字符串的格式也是不同的. Oracle:tns的名字SQLServer:hostserver@dbnameStep4 创建知识库---Licenses页将三种KEY (product key;option key;connective key)分别都UPDATE IJIF-NTMA-OCOX-QKQK-QBAYCLBW-KTAE-BHQH-PDXR-QBVJZQKZ-CFAY-JYZB-IIRR-NZYA如果发现已经过期(expiry) 可以调整本地日期来解决!4配置workflow manager4.1.打开workflowmanagerInformatica PowerCenter →informatica powerCenter--Client→Workflowmanager4.2.连接知识库输入password:Administrator(系统默认)可以在server config 中更改此处密码其它选项必须与知识库中的配置一致。
Informatica_功能特性介绍
Informatica主要功能特性介绍1.Pre-Session和Post-Session调用数据库SQL以及存储过程。
2.列/行转换:一行记录转换为多条记录,使用Normalizer组件(见:Normalizer)。
3.行/列转换+条件汇总功能:多条记录合并为一条记录,使用Aggregator组件(结合其条件汇总功能) (见:ReversibleNormalizer)。
关于条件汇总的两种写法,注意它们的不同,如下:1) sum(iif(COMMITMONTH=$$v_yearmonth,PREMIUM,0))2) sum(PREMIUM, COMMITMONTH=$$v_yearmonth)4.增量汇总:将上次汇总的结果保存在Informatica系统目录下,以后对于增量的数据再做汇总的结果跟上次汇总的结果合并,大大提高汇总效率。
要结合Aggregator组件和Session的增量汇总属性(见:IncrementalAggregation)。
最新汇总数据的集合文件,会在Informatica Server的Cache子目录下生成,文件名如:PMAGG493_4.idx,PMAGG493_4.dat。
5.Mapping的参数(Parameter)和变量(Variable):参数和变量的值可以在参数文件中指定;变量的值可以在Session运行结束后动态更改(用法举例:动态生成抽取源表的Where语句,来实现对增量数据的抽取(见:ParameterAndVariable)。
可以使用的Variable函数:SetCountVariable SetMaxVariable SetMinVariable SetVariable。
参数文件的格式举例:[tdbu.s_m_ParameterAndVariable]$$PID=12$$VID=8$InputFile1=sales.txt$DBConnection_target=sales$PMSessionLogFile=D:/session logs/firstrun.txt6.读文件列表(FileList):针对多个结构相同,但是文件名不同的文件数据源,采用该方式可以大大提高ETL设计的灵活性,减少不必要的重复性操作。
Informatica 10.1 引用数据指南说明书
Informatica®10.1引用数据指南Informatica 引用数据指南10.12016年6 月© 版权所有 Informatica LLC 2013, 2018本软件和文档包含 Informatica LLC 的专有信息,基于一份包含使用及披露限制的许可协议而提供,并受版权法保护。
禁止对本软件进行反向工程处理。
未事先征得 Informatica LLC 同意,不得以任何形式、通过任何手段(电子、影印、录制或其他手段)复制或传送本文档的任何部分。
本软件受美国和/或国际专利以及其他正在申请的专利的保护。
美国政府使用、复制或披露本软件受适用的软件许可协议中规定的限制以及适用的 DFARS 227.7202-1(a) 和 227.7702-3(a) (1995)、DFARS 252.227-7013(C)(1)(ii) (OCT 1988)、FAR 12.212(a) (1995)、FAR 52.227-19 或 FAR 52.227-14 (AL T III) 中的限制之制约。
本产品或文档中的信息如有更改,恕不另行通知。
如发现本产品或文档中有什么问题,请以书面形式向我们报告。
Informatica、Informatica Platform、Informatica Data Services、PowerCenter、PowerCenterRT、PowerCenter Connect、PowerCenter Data Analyzer、PowerExchange、PowerMart、Metadata Manager、Informatica Data Quality、Informatica Data Explorer、Informatica B2B Data Transformation、Informatica B2B Data Exchange Informatica On Demand、Informatica Identity Resolution、Informatica Application Information Lifecycle Management、Informatica Complex Event Processing、Ultra Messaging、Informatica Master Data Management 和 Live Data Map 是 Informatica LLC 在美国和全球其他辖区的商标或注册商标。
informatica基本使用方法
informatica基本使用方法1. INFORMATICA CLIENT的使用1.1 Repository Manager 的使用1.1.1 创建Repository。
前提:a. 在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库(例:jzjxdev)b. 要在你要连接的数据库中新建一个用户(例:name: ETL password:ETL)现在你可以创建一个Repository了。
选择Repository –Create Repository,输入Repository Name(例:JZJX),Database Username(例:etl),Database Password(例:etl),ODBC Data Source(例:jzjxdev),Native Connect String(数据库所在ip例:141.20.52.108)1.1.2 添加Repository。
通过这一步你可以添加别人已经建好的Repository。
选择Repository – Add Repository,输入Repository Name(例:JZJX),Username(例:etl),点击ok就可以看到名为JZJX的Repository在左边的浏览器中,但是此时还看不到它的内容,要看到它的内容或者对它进行操作必须先连接它。
1.1.3 添加Folder选择Folder – Create,输入文件夹名称即可。
1.2 Designer 的使用首先连接Repository,可以看到该Repository在Repository Manager中创建的文件夹。
1.2.1 SourcesSources文件夹下的表是抽取的来源表。
导入方法:选择T ools菜单下的Source Analyzer,然后选择Sources菜单下的Import from database,连接想要连接的数据库,连接上后选择你要抽取的表点击ok你所选择的表就会出现在Sources文件夹下。
Informatica组件应用详解
Informatica组件介绍一、update的功能Update 主要是与lookup相组合的搭档。
根据lookup来与源表数据相对比,来跟新数据数据抽取。
它起到一个插入和拒绝的作用。
1.Powercenter的更新策略包括两个方面:A.在Mapping中:用Update Strategy Transformation标识行为Insert,Update,Delete或者Reject;B.在Session中:配置Treat source row as 属性(Insert,Update,Delete或者Data driven),配置Target的属性(Insert,Update [as Update](只是更新) | [as Insert](把更新视为新增) | [else Insert](先更新,更新不到则新增) ,Delete,Truncate target table option);2.在Update Strategy Expression中可以输入常量(DD_INSERT, DD_UPDATE,DD_DELETE, DD_REJECT)或者数字值(0,1,2,3),其它数字值被解析为0,可以用IIF或者DECODE函数构建逻辑表达式来区别每一行的更新策略;3.Forward Rejected Rows:勾选时被Rejected的行会存入对应Target配置的Reject文件中去,不选时,可能会写入Session Log中去,根椐当前Transformation的Tracing Level的属性来决定;如果在会话属性中配置了出错行日志属性,则不会生成Reject文件;二、Expression 的功能表达式编辑器可以使用不同的颜色来标记表达式的语法,以便很好的阅读。
如果你有最新的Rich Edit,riched20.dll,安装到了系统,表达式显示表达式函数为兰色,注释式灰色,引用的字符串式绿色。
informatica调存储过程
informatica调用存储过程1、建立源:
2、此处选择文件类型:文件名字为: log
3、源属性中必须建立一个列作为输出:
4、设计mapping
如果存储过程中需要传入参数,可以使用表达式组件:
表达式组件必须有一个输入列,此列可以不用输出,想加入的变量可以不用输入,直接在表达式计算器中输入所需要的值即可,此处可以用informatica系统自带的函数:
5、在组件栏选择调用存储过程组件:
6、点击设计工作区,会弹出跟选择目标表一样的窗口,但此处显示的是目标数据库中的存储过程和函数:
7、选择相应的存储过程,存储过程组件会显示在工作区,并且需要输入和输出的参数都会自动添加在此组件上:注意此方法调用的存储过程必须有返回值,目的是为了使流能够继续流下去。
可以在存储过程中加入:
returning integer;
…
Return 1;
此处还需要注意的是:存储过程中一定要写Commit; 语句,否则数据库可能不提交!
8、可以找一个用过的临时表当做目标,目标如果也用文件可能会报错,整个流设计如下:
9、设置session中源的属性:注意必须在此路径下建此文件,此例文件名为log ,路径为/home/infa/informatica/server/SrcFiles/
10、测试通过:。
Informatica命令调用
Informatica提供command和java接口
可以通过来执行Command命令
1、直接在该控件中写PMCMD命令
例如:pmcmd startworkflow -sv repo_dss -d DOMAIN_test_dss -u Administrator -p Administrator -f DSS_DM -wait DM_SCD_ODS
命令解析如下: pmcmd startworkflow -sv 集成服务名称 -d 配置域名称 -u Administrator -p Administrator -f 文件夹名称 -wait 工作流名
称
2、将PMCMD命令写在批处理文件中,通过该控件调用批处理文件
例如:批处理文件放在D盘的根目录下,在控件中直接写d:\mpcmd.bat 如果需要获取返回结果和错误信息,需要修改命令为:
d:\mpcmd.bat 1>d:\result.log 2>d:\error.log
该命令运行完成后会在D盘的根目录生成result.log和error.log
3、将PMCMD命令写在批处理文件中,通过DOS命令调用
(1)切换到Informatica的bin文件夹下
(2)执行批处理文件,生成返回结果和错误信息的日志
4、直接在DOS下调用PMCMD命令
返回信息在后面都已经显示出来,如果希望这些信息记录在指定文件中,修改命令。
Infomatica配置手册
Infomatica配置手册1. 配置域选择“存储库”-> “配置域”,点击“新增域”,填写相关信息,如图:网关主机‘p520-23’,在host中配置Informatica服务器的地址。
此处配置为:192.168.1.23 p520-23。
选择本案例用的RS_JSEPC库,点击确定后会在主界面出现。
双击RS_JSEPC,输入用户名,密码。
2. Informatica PowerCenter Designer配置2.1 源表的导入首先需要选择开发此场景的文件夹,然后右击打开。
点击图标进入源设计界面。
选择“源”->“从数据库导入”。
然后配置数据库信息,如图:然后输入用户名密码,进入选择需要做为源的表,点击确定,如图:2.2 目标表的导入点击图标,切换到目标设计页面,然后点击”目标”->”从数据库导入”。
配置数据库信息同源配置。
2.3 映射的配置点击图标,切换到映射的设计界面。
在工具栏中选择“映射“->”创建”,给映射按规范的格式命名。
如图:然后把源,目标都拖放到此映射设计界面中,并对源表字段和目标字段做Mapping。
3. Informatica ProCenter Workflow Manager配置3.1新建工作流首先需要选择开发此场景的文件夹,然后打开。
选择“工作流“->”向导”,第一步:输入工作流的名称。
下一步:选择Designer中相关的映射。
如图:下一步:计划工作流,设置工作流的触发时间。
例如:此处设置的是从现在起每15分钟运行一次。
点击完成。
如图:3.2 设计工作流3.2.1编辑任务按顺序编辑任务,双击打开,选择“映射”。
点击“源”,如图:然后配置源的数据库连接,点击。
选择源相对性的数据库连接名,此处JSEPC_D_ECCED为BI组服务器配置的SAP ECC连接的名称。
如需要配置新的连接需要新建一个连接。
此处服务器上面配置数据库连接信息需要提供给BI组。
informaticapowercenter快速上手,入门指导
informaticapowercenter快速上手,入门指导Informatica 快速上手安装以及服务端配置那部分就不写了,直接从客户端使用开始。
本人使用的是informatica 8.6,xp系统,oracle 11g数据库首先打开PowerCenter Repository Manager然后点击菜单栏中的第一项:Repository选择Configure Domains 弹出窗口点击红圈的按钮,添加新的domains,弹出小窗按照服务端设定的内容填写,然后点击OK会出现你刚刚新添加的domains,然后右边选择你需要的资料库,勾上。
回到主界面左边的Repository Navigator里面已经有资料库了,双击你需要的那个数据库,出现弹窗这里填入你服务端里面设置的用户名密码,一般有默认的Administrator,密码也是Administrator,且权限最高,其他用户需要他赋予权限才能使用powercenter内容,所以这里直接使用Administrator用户,点击connect登录。
登陆后,进入资料库资料库里面是按文件夹存储的点击菜单栏中的Folder——create,来创建新的文件夹,跳出弹窗把Name改一下,这里是做入门上手练习,所以取名Practise然后点击确定,这时,资料库中会多出Practise文件夹,我们选中,然后点击工具栏中的D图标,进入PowerCenter Designer因为选中了Practise,所以进入PowerCenter Designer之后,会直接打开此文件夹,然后就能进行入门练习了。
但之前我们还有一步要做,就是导入表。
导入练习所需要的表,sql脚本在客户端bin文件夹内smpl_db2.sqlsmpl_inf.sqlsmpl_ms.sqlsmpl_ora.sqlsmpl_syb.sqlsmpl_tera.sql以oracle为例,执行脚本smpl_ora.sql,但是因为脚本使用的是us时间制,所以先改变数据库会话的时间格式:alter session set nls_language=American;alter session set nls_date_format = 'DD-MON-YYYY';然后执行脚本,如果有什么限制的,请赋给用户dba权限之后,再执行脚本,之后就能开始练习了。
Informatica完全快速学习手册.
1Informatica概述 (3)2安装Informatica8.6.1 (3)2.1服务端安装 (3)2.2客户端安装 (7)3配置管理服务器 (9)3.1创建知识库和集成服务 (9)3.2客户端到集成服务端的连接 (12)4PowerCenter Designer学习 (13)4.1概念和基本定义 (13)4.2Mapping设计和组件的使用 (15)4.2.1实例一:聚合抽取 (15)4.2.2实例二:取TOP前三条记录 (16)4.2.3实例三:抽取XML源 (19)4.3WorkFlow的设计和使用 (20)4.3.1创建Session (20)4.3.2设计WorkFlow (22)4.4Repository Manager (23)1 Informatica概述Informatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。
Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点,并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理,提供元数据管理解决方案,帮助企业集成、优化、审核信息资产以提高运营效率,增加客户收益,取得竞争优势。
详见文档:2 安装Informatica8.6.1这里以Informatica8.6.1为例:2.1 服务端安装找到安装目录pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下点击安装选择安装语言,这里以中文版为例点击下一步,并选择安装PowerCenter8.6.1必须选择事先准备好的安装密匙选择安装路径HTTPS配置,配置管理控制台与配置管理器的安全通信(如果没有使用该端口就采用默认)配置好Informatica域并进行下一步,取掉为特定用户启动Informatica Services,点击完成安装2.2 客户端安装选择安装设置安装路径安装完成后可以看到包含的所有工具3 配置管理服务器3.1 创建知识库和集成服务接下来我们主要是配置知识库管理服务器,PowerCenter数据整合引擎是基于元数据驱动的,提供了基于元数据驱动的元数据知识库(Repository),知识库是PowerCenter的核心。
Informatica完全快速学习手册要点
Informatica完全快速学习手册要点Informatica是业界著名的数据集成工具,用于企业数据的整合和转换。
它能够抽取、转换和加载不同的数据源,并将其转化为目标数据格式的工具。
在企业信息化的时代,一个优秀的数据集成工具显得尤为重要。
本手册将介绍Informatica的学习要点,为初学者提供指导和支持。
模块介绍Informatica是包含多个模块的数据整合软件,下面将逐一介绍它们的作用。
PowerCenterPowerCenter是 Informatica平台中最重要的模块,具有抽取、转换和加载数据的能力。
它支持多种数据源类型,并可进行高效的数据加工处理。
在数据仓库、数据整合、数据转换和处理等方面的应用非常广泛。
PowerExchangePowerExchange是Informatica平台所提供的高性能数据集成工具,它能够将非结构化数据、主机数据等转换成PowerCenter所需要的结构化数据,以便产生更好的分析数据。
Metadata ManagerMetadata Manager模块允许Informatica的应用程序自动化地收集和存储关于企业中各种数据源,映射关系和操作规则等数据的元数据信息,以支持综合数据管理。
Business GlossaryBusiness Glossary 模块是一个数据字典,旨在帮助用户进行数据分类,有效管理数据,并促进不同部门间的信息共享。
这个工具也有利于标准化数据定义和术语。
Data QualityData Quality模块是一个全面的、可扩展的数据质量管理工具,支持数据清洗,规则制定等功能。
通过该工具,我们可以提高数据质量管理的能力。
Test Data ManagementTest Data Management主要用于生成测试数据,它允许测试人员利用特定的数据源类型来绕过一个或多个测试平台上的限制。
此外,该模块还可以帮助测试人员更好地模拟实际环境下的数据。
Informatica调优(高级)
接下来的这些条目是INFOR MATICA 的高级调优建议。
请极其谨慎地处理,每次试用一条建议。
在没有试着使用初级和中级建议来提高INFORMATICA 的性能以前,不要尝试使用如下的高级建议。
这些建议的实施可能需要系统管理员(SA)、数据库管理员(DBA)以及网络管理员之类的专家级人物的配合才可以,所以要细心。
高级调优最重要的方面就是能够精确的查明瓶颈是什么,并且有能力定位这些瓶颈是如何引起的。
根据常理,这些高级建议放在最后,并且是在系统级上的建议。
还有其他的适用于数据仓库调优的高级建议,可以依据你的软硬件资源存在的问题去寻找相应的帮助。
1、将MAPPING 分解。
保留一个数据目标。
如果必要每个数据目标保留一个数据源。
为什么要这么做呢?在一个MAPPING 中减少数据目标的个数会大幅度的提高运行的速度。
基本的情况是这样的:每个MAPPING/TARGET 对应一个SESSION。
每个SESSION 都会建立它自己的数据库连接。
因为对每个目标表建立一个单独的数据库连接,数据库管理器(DBMS)能将插入、更新和删除等操作需求并行地处理。
在一个SESSION 中进行一个特定目的的操作也是很有帮助的(例如不在把以数据驱动地操作和直接插入操作混合地插入到同一个数据目标中)。
如果实际情况运行,每个SESSION 可以被放置到标记为“CONCURRENT”的BATCH(译者注:旧版本的术语)中。
如果能够这样做,MAPPING和SESSION 的并行执行的情况就很显而易见了。
关于并行处理的研究一再地表明:与直接将原本的操作单元简单地顺序执行相比,同一时刻开始的并行执行有时只需花费一半的时间。
当一个MAPPING 中包含多个数据目标时,就会使得每个数据库连接去处理多个不同地数据库操作语句,有时会影响这个数据目标的性能,有时又是那个。
请想一下,在这情况下,INFORMATICA (包括其他的任何工具)都很难进行BULK(并行)操作,即使在SESSION中已经设定了BULK 属性。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1、定义参数文件
Mapping Parameters(参数) 和 Variables(变量)的使用如果你在一个mapping中多次用到同一个值,又或者mapping中要用到一个在session运行才能决定的值,这时候可以使用mapping parameters或variable。
Mapping参数变量的命名方式:$$NAME
存放参数变量的.txt文件的格式:
[folder_name.session_name]
parameter_name=value
variable_name=value
mapplet_name.parameter_name=value
[folder_name.session2_name]
parameter_name=value
variable_name=value
mapplet_name.variable_name=value
[folder2_name.session_name]
parameter_name=value
variable_name=value
mapplet_name.parameter_name=value
例如:
[Common_Dimension.s_M_Inventory]
$$BeginDate=2007-07-01
$$EndDate=2007-07-31
$$IsCurrentDay=0
$DBConnection_Source=EM
$DBConnection_Target=DC
$PMSessionLogDir=C:\para
2、添加参数或变量的方法是:选择Mappings-Parameters and Variables,在窗口新增变量或者参数,并对它的数据类型,数据大小,初始值进行设置。
添加的参数和变量在本mapping 的transformation的表达式中就可以使用了。
这些参数和变量的值还可以设置在.txt文件中,建session或者batch的时候把这个文件的路径设置在Parameter输入框中就行了。
如图:
图1
图2
3、具体的参数使用:
SELECT COMPANY_CODE, TRADEMARK_CODE, DAY_DATE, INVENTORY_NUM_Z,INVENTORY_NUM_T, INVENTORY_AMOUNT
FROM EM.V_F_INVENTORY_DAY WHERE DAY_DATE ='2007-07-04' AND 1 = $$IsCurrentDay UNION ALL
SELECT COMPANY_CODE, TRADEMARK_CODE, DAY_DATE, INVENTORY_NUM_Z,INVENTORY_NUM_T, INVENTORY_AMOUNT
FROM EM.V_F_INVENTORY_DAY WHERE DAY_DATE BETWEEN '$$BeginDate' AND '$$EndDate' AND 0 = $$IsCurrentDay
图3
DELETE FROM F_DAY_IN WHERE (DAY_DATE = CURRENT DATE AND 1 = $$IsCurrentDay) OR (DAY_DATE BETWEEN '$$BeginDate' AND '$$EndDate' AND 0 = $$IsCurrentDay)
4、Session 的配置
图5
图6
图7
通过上面的配置我们可以看到以后我们对ETL开发过程中用到的一些参数,象目标数据库的连接,源数据库的连接,表的OWNER NAME等都可以配置在一个文件里面,这样规范了我们的开发过程,方便我们以后的调整和维护。
另外上面的例子在mapping “M_Inventory”与WorkFlow “WF_M_Inventory”。