Informatica快速入门

合集下载

Informatica安装与使用基本过程介绍

Informatica安装与使用基本过程介绍

Informatica安装与使用版本说明:数据库:Oracle 9i及其以上Informatica:PowerCenter 8.1.1数据库连接:PL/SQL Developer 7.0.2一Oracle和PL/SQL安装数据库安装本文采用Oracle 10G,具体安装过程略。

数据库连接工具安装本文采用PL/SQL Developer 7.0.2,具体安装过程略。

二Informatica安装与配置本文采用PowerCenter8.1.1版本,具体安装过程介绍如下。

严重注意:安装之前,请将系统时间改为2007年3月14日之后。

2.1.服务器端安装双击安装程序,打开安装界面。

加载License文件。

本文安装程序位置:D:\Workplatform Tools\PC811_Windows32_安装盘\License。

2.1.1.域的创建与配置选择“创建新域”,点击Next。

注意服务配置信息的填写,特别是数据库用户的创建,要事先以sys身份登录PL/SQL 进行创建。

服务配置信息配置完毕,出现如下界面证明测试通过,可以进行下一步。

2.1.2.知识库的创建与服务配置2.2.客户端安装安装结束。

2.3.创建目录(Folder)启动知识库管理工具,点击开始菜单—>Informatica PowerCenter 8.1.1—>Client—> PowerCenter Repository Manager连接知识库:三Informatica使用3.1.在Designer中连接知识库,打开Folder需要连接已经创建好的知识库,方法如下:知识库连接后,需要打开在Repository Manager 创建的Folder:Folder 打开后,就可以进行实际的设计工作了。

3.2.引入数据源结构数据源可以是RDBMS、Flat file、Cobol file、XML file、ERP(SAP)等等,但对于RDBMS、Excel 等数据源需要定义ODBC,通过ODBC 连接。

原创Informatica使用说明(图解)

原创Informatica使用说明(图解)

Informatica使用说明(图解)唾沫星冲锋枪 2013-4-22目录前言 (3)第一篇环境搭建 (3)服务器 (3)准备 (3)安装 (3)配置 (17)客户端 (23)准备 (23)安装 (24)介绍 (28)第二篇开发应用 (28)Repository Manager (28)环境介绍 (28)配置目录 (31)Designer (33)环境介绍 (33)配数据源 (34)引入数据源 (36)引入数据目标表 (38)制作Mapping (40)WorkFlow Manager (43)制作session (43)配置服务器数据源 (44)配置session源 (46)配置session目标 (47)制作workflow (48)执行workflow (50)WorkFlow Monitor (50)第三篇监控维护 (51)基本信息查看 (51)运行时间查看 (51)Session日志查看 (52)Workflow日志查看 (52)结束语 (53)前言个人从事ETL方面工作多年,各种工具都有一定了解,POWERCENTER是较为优秀的产品之一。

POWERCENTER是C/S模式,客户端开发服务器运行,本文主要介绍POWERCENTER 基本使用部分,详细的各个组件使用可以查阅相关帮助文档。

第一篇环境搭建服务器准备因为INFORMATICA把配置信息和开发的ETL过程信息都保存在资料库里,所以要预先准备一个数据库资料库。

本文采用oracle做资料库,名称INFO用户INFO密码INFO,配置好数据库的监听。

安装找到软件SERVER目录下的install.bat运行。

POWERCENTER的授权文件是按数据库接口出售的,支持数据库越多价格越高。

这里请注意配置,之前准备好的数据库资料库。

安装完成后可以查看一下服务项里面是否正常。

安装补丁。

因机器不同选择相应的补丁版本,如64位server系统需要补丁。

informatica 学习安装及配置

informatica 学习安装及配置

Informatica 9安装手册项目号xxxx文档编号xxxx版本号 1.0保密级别一般内部公开秘密机密修订记录日期作者版本修订原因主要修订内容目录一、文档说明 (4)二、安装前系统环境准备 (4)1.确认系统需求 (4)2.检查Informatica环境变量 (5)3.确定端口 (5)4.创建Informatica用户 (5)三、安装介质准备 (6)四、安装Informatica 服务端 (6)1.创建informatica安装用户并设置安装目录 (6)2.表空间及数据库用户准备 (6)3.准备安装介质 (7)4.运行install.sh,开始安装 (7)5.选择图形化方式进行全新安装 (8)6.选择安装类型 (8)7.系统环境检查 (9)8.指定license,设定安装目录 (9)9.安装概要 (10)10.安装过程 (10)11.创建Domain并启用HTTPS安全管理 (11)12.设置配置Domain的数据库连接信息 (11)13.配置Domain和Node信息 (12)14.安装结束 (12)五、安装informaitca客户端 (13)六、安装之后的设置 (18)1.配置环境变量 (18)2.安装/配置数据库客户端 (19)七、Informatica服务端创建服务 (20)八、验证安装结果 (22)一、文档说明二、安装前系统环境准备1.确认系统需求Domain和应用服务的系统需求可以在同一机器配置Informatica Domain和一个node,所有application服务运行在同一node。

如果创建包括多个node的domain,可以将application服务运行不同的node上。

Informatica node支持以下Unix或Linux安装平台:✓Sun Solaris✓HP-UX✓IBM AIX✓Red Hat Linux✓SUSE Linux下表中列出了Informatica Domain包括不同node配置的最小系统需求:安装组件处理器需求内存需求磁盘需求4 CPU 8GB 20GB Domain with all Data Quality,Data Services andPowerCenter services running on one node2 CPU 4GB 4GB Domain with all PowerCenter services running onone node1CPU 2GB 3GB Domain with all PownerCenter services running onone node except Metadata Manager Service andReporting Service2CPU 2GB 3GB Metadata Manager Service running on a separatenodeReporting Sevice running on a separate node 1CPU 512MB 3GB Orchestration Server running on a separate node 1CPU 512MB 3GB安装过程中临时磁盘空间需求在安装过程中会产生大量的临时文件,确保有足够的可用临时空间。

Informatica邮件功能配置(MAPI)

Informatica邮件功能配置(MAPI)

Informatica E-mail config instruction(MAPI) Informatica邮件发送功能配置(MAPI)说明书(以测试环境为例)Configuring MAPI on Windows1.先安装Microsoft Outlook (如果之前安装了,就不用在安装)2.配置邮箱服务,单击控制面板中的查看x86控制面板图标3.双击邮件图标4.点击上步操作出现后窗口的显示配置文件图标5.点击添加按钮6.在配置名称栏中填写合适的名称7.输入名称后点击确定8.上步确定后会出现邮件账户向导,选择exchange服务器选项,点击下一步9.选择手动配置服务器,点击下一步10.选择Microsoft Exchange 点击下一步11.出现下面的提示框12.填写exchange服务器名称和用户名,用户名就是发送邮件的邮箱名,点击下一步邮件服务器地址接收邮件的邮箱地址13.点击完成如果操作系统是64位,那么需要进行14-19步骤,32位不需要14.打开informatica的控制台15.点击是(Y)16.输入informatica的用户名和密码登陆17.点击左侧test_int(Integration Service)18.点击右侧最下方有Custom Properties的edit按钮19.点击add 添加以下属性值点击OKSMTPFromAddress XXX@SMTPServerAddress XXX_SMTPPortNumber 25至此邮箱服务器配置完成下面步骤是如何在informatica中使用发送邮件功能20.打开informatica的workflow Manager21.右击我们要使用的Repository 点击出现的connect22.输入用户名与密码登陆23.右击我们指定的文件夹,点击Open24.在工具栏中点击Tasks然后点击Create25.选择Email,然后输入需要的名称点击Create26.双击上步骤中生成的email_test27.点击Properties,会有Email user name,Emil Subject,Email TestEmail user name 是您需要发送的邮件地址,多个地址中间用分号(;)隔开Emil Subject 是您发送的邮件中的主题Email Test 是您发送的邮件中的内容28.在邮件内容窗口中可以输入我们需要的文本内容,但是左边的Variables暂时不可用(下面步骤中有讲到如何使用)29.选择一个可以使用的session,双击这个session,然后点击Components,窗口中有On Success E-Mail(意思是session如果成功则发邮件),然后选择type为Reusable,On Failure E-Mail(session如果失败则发邮件) 同上30.点击右侧小箭头的按钮31.会出现Email的列表,因为我们只做了一个,所以只显示一个,选择需要的Email Browser, 点击OK (可以点击Override按钮进行重写此邮件的配置,重写功能我们在下面一步中进行讲解)32.点击右击笔形按钮33.选择Properties,然后点击右侧的箭头按钮34.可以在Text的窗口中重新编辑邮件内容,可以选择左侧Variable框中的函数,也可以手工输入代表左侧函数的编码,如%w意思是此session所在的workflow的名称%a 可以发送本服务器中指定目录的附件例%a<G:\blat276\test.xlsx> 则发送G:\blat276目录下的test.xlsx文件作为附件%g 意思是把本session的日志文件作为附件发送%s 意思是本session的名称…设置完毕后点击OK至此session中的设置已经全部完成,后面步骤会有运行示例35.在一个可用的workflow中右击窗口,点击start workflow,运行workflow36.W orkflow运行完成后,查看您所要发送的邮箱,会发现邮件已经到达,附件,日志等等设置的内容也测试成功。

informatica零基础教程

informatica零基础教程

informatica零基础教程总结一、安装过程及其连接1、安装前准备*本机的服务实例为2、安装服务端*打开双击安装>下一步>修改安装地址>直到完成>将主页地址复制粘贴到浏览器地址栏中回车继续浏览此网页(不推荐)用户名()、密码()登陆*创建存储库服务器:域导航器右边操作创建存储库服务命名、许可证、节点都选择最下面的下一步数据库类型()、(用户名和密码:准备时新创建的用户名和密码)、数据库服务实例名()、代码页选3*已选定表名成功二、组件过程、、聚合和行级转换*源:源从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入;若有多个,也得导入)*目标表方法一(目标从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入)双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定*钮存***、过滤器(查找的员工)*源:源从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入)*目标表方法一(目标从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入)双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定方法二、直接在源中拖拽过来双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定目标生成执行语句连接目标表所属用户名、密码(、)生成并执*57、**源表,则不用再导入)*目标表方法一(目标从数据库导入连接连接选择取数据的表确定(若源列表中有表,则不用再导入)双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定、方法二、直接在源中拖拽过来双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定*映射:映射创建命名()拖入源表点击聚合按钮双击表头端口选择(删除、添加)需要字段和是否输入、输出分组字段选择分组按钮确定点击存储过程按钮登陆存储过程所属用户连接选择存储过程确****源*列表中有表,则不用再导入)双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定、方法二、直接在源中拖拽过来双击表头重命名端口选择(删除、添加)需要字段和是否输入、输出确定*目标生成执行语句连接目标表所属用户名、密码(、)生成并执行语句到中查看是否已创建表头*映射:映射创建命名()拖入源表点击排序按钮双击表头端口选择(删除、添加)需要字段和是否输入、输出(排序字段选择键选择升序降序)确定连接源表和排序器对应字段拖入目标表连接目标表和过滤器对应字段保存810*源*添加)需要字段和是否输入、输出确定*映射:映射创建命名()拖入源表点击路由器转换按钮双击表头分组添加分组按钮处修改条件(如)确定拖入目标表连接目标表和路由器器对应字段保存*任务:任务创建命名*工作流:工作流创建命名双击映射选择源数据库目标数据库加载项改为确定保存*启动:(工作流启动工作流)(右键单击任务启动任务)、增量抽取*源:源从数据库导入连接连接选择取数据的表确定(若源列表中有**(从目标表查询的字段对应字段保存*任务:任务创建命名*工作流:工作流创建命名双击映射选择源数据库目标数据库加载项改为确定保存*启动:(工作流启动工作流)(右键单击任务启动任务)。

Informatica 学习

Informatica 学习

1. Informatica client PC 工具介绍2. Informatica 工作流整理流程:创建mapping →创建workflow →运行 具体流程:创建数据源 创建数据目标 创建mapping 创建session创建workflow3. 数据源结构PowerCenter Designer Workflow ManagerSource Analyzer: 设定当前的工作区为Source Analyzer在 Source Analyzer 中引入和创建源表结构,如:平面文件, XML, COBOL, Application 以及关系型数据源。

TargetDesigner: 设定当前的工作区为Warehuse Designer使用Target Designer 定义目标结构,如:关系型表, 平面文件, XML 文件等。

可以从关系型数据库、平面文件中引入结构,或者手工创建。

Transformation Developer: 设定当前的工作区为Transformation Developer使用Transformation Developer 来创建可复用的组件Mapplet Designer: 设定当前的工作区为Mapplet Designer使用Mapplet Designer 来创建mapplet,Mapplet就是一系列可包含源结构以及转换组件的可复用逻辑。

Mapping Designer: 设定当前的工作区为Mapping Designer使用Mapping Designer 来创建mapping,mapping 就是一系列包括源、目标以及转换组件的逻辑组合,在这里面实现了数据转换的规则。

引入数据源结构有两种方法:引入1、点击 Source Analyzer,引入已经存在的数据源表结构。

数据源可以是 RDBMS、Flat file、Cobol file、XML file、ERP(SAP 等)等对于 RDBMS、Excel 等数据源需要定义ODBC,通过ODBC 连接Owner name is the schema name (database name).按照图中标注操作,数据源结构就显示在 Source Analyzer 工作区2、手工创建表结构在 Source Analyzer 状态下,从菜单Sources->Create,弹出下面的界面:在上面的界面中选择Database type,输入Table name,然后点击Create->Done,这样就创建了一个空的结构。

informatica介绍

informatica介绍

学习Informatica使用流程2012-10-24 11:18 351人阅读评论(1) 收藏举报由于新换了一个工作,目前本人是做BI(商务智能)的。

可以说又是一次新的人生道路的选择,希望一切都好啊。

正因为这是我新认识的一门知识,所以目前本人在各种摸索呢,以下是我个人学习的一个小积累(有些具体细节是动态多变的,我这边就没讲,这个的自己要用的话实践中去学习吧)。

目前我学习使用的ETL工具是informatica(据说这款软件一年要好几十万呢,真贵),也是我们工作要使用的。

下面介绍:rmatica Powercenter Designer1. 首先点击标注1的按钮,然后点击标注2处,新建一个sources,接下来进入下面这个界面然后connect数据库,选择要用的table 结果产生在划红线部分2.1. 首先点击标注1的按钮,然后点击标注2处,新建一个Targets,接下来进入下面这个界面然后connect数据库,选择要用的table(注意这个表为目标表,数据库中必须真实存在该表)最后显示结果划红线部分3.其中1部分为数据源表,来自于左边sources,2部分为目标表,来自左边的Targets,(其实以上我们做的操作就是创建这些表)还有关于3部分,它们是informatica组件,来自上面,提供的操作包括我们写sql的一些组成部分(表关联,分组,函数…),完成这些以后保持即可2. rmatica Powercenter Workflow点击1部分,然后点击2部分,创建一个Tasks然后得出上面结果,在红线部分创建一个task名字,然后点击create然后再划红线部分选择自己需要的目标表,点击ok接下来再点击1部分,和2部分,创建一个workflow的启动项结果显示上图,再红线部分输入启动项名字,确定结果显示一个绿色的start启动项,其中一部分是从左边sessions中来过来的(上面我们创建过),然后保存最后,按照上图启动task3. rmatica Powercenter Workflow Monitor上图,试运行task,跟踪显示,划红线部分显示为成功以上为Informatica PowerCenter的全部使用流程,希望能给我想学习BI的朋友一些帮助。

Informatica简单使用

Informatica简单使用

Informatica简单使⽤1. Informatica简介① Repository manager 主要⽤来维护资料库的⽬录,对象,建完对象可以创建demo的folder。

② Administration Console是完全基于web的,管理所有的节点,服务,在⾥⾯包括资料库的⼀些⽤户,权限等信息。

③ Designer主要⽤来设计mapping。

Mapping是informatica的⼀个映射,也就是说是ETL的⼀个规范,包括对源,⽬标,过程的设计。

④ workflow主要⽤于将mapping实例化,也就是设计⼀个session,如果session很多的话需要将它们设计成⼀个串⾏或者并⾏的过程,它们组成的session就叫做workflow,即⼯作流。

⑤ workflow monitor⽤来监控、执⾏workflow。

⑥控件:Source Qualified Transformation:ETL经常会⽤到的组件,对数据源,包括⽂件,也包括数据表进⾏抽取。

⽆论数据源是表还是平⾯⽂件源,都会⽤到该组件。

2. 新建带过滤条件的workflowD:①选在source,import source ,odbc data source中选择oracle的odbc设置,如果没有,要在管理⼯具中⾃⾏设置,具体如图。

②同理,在target中设置⽬标数据表的连接,然后设置mapping,设置成功之后,转⼊w中设置⼯作流,W:①在edit task->mapping中,source和target分别要设置源和⽬标的连接驱动。

②在edit task->properties->parameter filename⾥⾯写⼊参数所在⽂件夹的地址(该参数在服务器的⽬录下,是事先设定好的⽂件)。

③在左项⽬条件source 中,edit task->mapping->source filter⾥⾯写⼊过滤的参数条件。

informatica开发知识学习

informatica开发知识学习

控件名称Repository Manager 资料库Designer 设计器Workflow Manager 物理设计Workflow Monitor 监控Repository Manager--资料库:informatica的知识存储。

Designer 设计器:设计开发环境,定义源及目标数据结构;设计转换规则,生成ETL映射。

Workflow Manager--物理设计:合理地实现复杂的ETL工作流,基于时间、事件的作业调度。

Workflow Monitor--监控:监控Workflow和Session运行情况,生成日志和报告。

注:查看帮助Fn+F1Repository Manager添加文件夹在Repository Manager 文件夹选项添加新建完成一个文件夹,在Designer中相应的文件夹会有业务组件、源、目标、多维数据集、维度、转换、Mapplet、映射、用户自定义的函数几个内容。

导入对象在Repository Manager 中导入XML对象选择存储库—导入对象如下:选择导入的XML文件选择导入对象。

选择导入目标文件夹。

如有冲突,会提示解决。

开始导入。

导入完成。

Designer添加源在PowerCenter Designer添加源选择要添加的文件夹点击,这个为源设计的一个控件。

菜单栏将如下:再选择源,然后可以选择导入源,或者创建源。

创建源在菜单的源,选择创建。

输入源的名称和数据库类型创建,生产如下:双击刚刚生产的控件,进入编辑表:表为表级信息编辑,列可以添加列信息。

导入数据库源在菜单的源,选择从数据库导入。

输入用户名和密码,连接完成好选择所需要的表。

也可以根据需要搜索所需要的表。

导入源和创建源的比较,导入源表结构都已经生成完成,不需要一个一个字段再输入那么麻烦。

当导入一张已存在的表,如果表存在字段变更,有提示是否替换,重命名等。

比较:可以查看表发生了哪些变更。

添加目标在PowerCenter Designer添加目标目标控件,选择目标控件后,菜单栏如下:选择菜单列的目标可以创建目标或者导入目标,创建目标目标 创建输入目标名并选择数据库类型创建。

Informatica用户权限管理操作说明

Informatica用户权限管理操作说明

Informatica新增用户及权限管理操作说明rmatica新增用户及用户角色权限配置:(1)打开“开始”菜单—Informatica PowerCenter 8.6.1—Services—PowerCenter Administration Console,登录Informatica控制台;(2)点击Configure Security按钮新增用户并配置权限;(3)点击Create User新建用户szgd,并设置密码;(4)打开左侧Users对话框中的Native目录栏,选择szgd用户点击Edit按钮进行授权;(5)为用户szgd进行角色配置,角色选择:PowerCenter DeveloperPowerCenter OperatorPowerCenter Repository Folder Administrator,点击OK保存用户权限配置。

展开标签Privileges可看到该用户拥有的权限;2.文件目录的权限管理:(1)用Administrator用户登录PowerCenter Repository Manager,选中需授权文件夹;(2)打开菜单:Folder—Create,新建文件夹SZGD为例,进行授权;(3)展开Permissions选项卡,显示具有文件夹使用权限的用户列表,点击Add添加szgd 用户,即开通szgd用户访问SZGD文件夹的访问权限。

3.数据库连接配置的权限管理:(1)用Administrator用户登录PowerCenter Workflow Manager,打开菜单:Connections_—Relational,进行数据连接配置的授权;(2)选中szgd用户需要编辑的Connection点击Permissions按钮;(3)点击Add添加szgd用户,并选中Permissions栏中的Write, Execute,点击OK保存。

Informatica快速入门

Informatica快速入门

1Informatica概述 (3)2安装Informatica8.6.1 (3)2.1服务端安装 (3)2.2客户端安装 (7)3配置管理服务器 (9)3.1创建知识库和集成服务 (9)3.2客户端到集成服务端的连接 (11)4PowerCenter Designer学习 (13)4.1概念和基本定义 (13)4.2Mapping设计和组件的使用 (15)4.2.1实例一:聚合抽取 (15)4.2.2实例二:取TOP前三条记录 (16)4.2.3实例三:抽取XML源 (19)4.3WorkFlow的设计和使用 (20)4.3.1创建Session (20)4.3.2设计WorkFlow (22)4.4Repository Manager (23)1 Informatica概述Informatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。

Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点,并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理,提供元数据管理解决方案,帮助企业集成、优化、审核信息资产以提高运营效率,增加客户收益,取得竞争优势。

详见文档:2 安装Informatica8.6.1这里以Informatica8.6.1为例:2.1 服务端安装找到安装目录pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下点击安装选择安装语言,这里以中文版为例点击下一步,并选择安装PowerCenter8.6.1必须选择事先准备好的安装密匙选择安装路径HTTPS配置,配置管理控制台与配置管理器的安全通信(如果没有使用该端口就采用默认)配置好Informatica域并进行下一步,取掉为特定用户启动Informatica Services,点击完成安装2.2 客户端安装选择安装设置安装路径安装完成后可以看到包含的所有工具3 配置管理服务器3.1 创建知识库和集成服务接下来我们主要是配置知识库管理服务器,PowerCenter数据整合引擎是基于元数据驱动的,提供了基于元数据驱动的元数据知识库(Repository),知识库是PowerCenter 的核心。

Informatica 10.4.0 剖析入门指南说明书

Informatica 10.4.0 剖析入门指南说明书

Informatica®10.4.0剖析入门指南Informatica 剖析入门指南10.4.02019年12 月© 版权所有 Informatica LLC 2010, 2020本软件和文档仅根据包含使用与披露限制的单独许可协议提供。

未事先征得 Informatica LLC 同意,不得以任何形式、通过任何手段(电子、影印、录制或其他手段)复制或传播本文档的任何部分。

Informatica 和 Informatica 标志是 Informatica LLC 在美国和世界其他许多司法管辖区的商标或注册商标。

欲获得 Informatica 商标的最新列表,请访问 https:// /trademarks.html。

其他公司和产品名称可能是其各自所有者的商业名称或商标。

美国政府权利交付给美国政府客户的程序、软件、数据库及相关文档和技术数据是指适用的联邦采购条例和政府机构特定补充条例中定义的"商业计算机软件"或"商业技术数据"。

因此,使用、复制、披露、修改和改编应遵循适用的政府合同中规定的限制和许可条款、政府合同条款的适用范围以及 FAR 52.227-19 商用计算机软件许可中规定的额外权利。

本软件和/或文档中的若干部分受第三方版权约束。

所需的第三方声明随产品一起提供。

本文档中的信息如有更改,恕不另行通知。

如发现本文档中有什么问题,请通过以下电子邮件地址向我们报告:**********************************。

Informatica 产品根据对应协议的条款和条件进行担保。

INFORMATICA 按"原样"提供本文档中的信息,无任何明示或暗示的担保,包括但不限于任何适销性和特定用途适用性担保,也没有任何非侵权担保或条件。

发布日期: 2020-02-04目录前言 (6)Informatica 资源 (6)Informatica Network (6)Informatica 知识库 (6)Informatica 文档 (6)Informatica 产品可用性矩阵 (7)Informatica Velocity (7)Informatica Marketplace (7)Informatica 全球客户支持部门 (7)第 1章: 入门概览 (8)剖析概览 (8)介绍 Informatica Analyst (9)Informatica Analyst 用户界面 (9)Informatica Developer 用户界面 (11)Informatica Developer 欢迎页 (12)备忘单 (12)Informatica Developer 任务 (13)教程讲解 (13)教程结构 (13)教程先决条件 (14)Informatica Analyst 教程 (14)Informatica Developer 教程 (15)第 I部分: Informatica Analyst 入门 (16)第 2章: 课程 1。

Informatica-增量抽取图文教程

Informatica-增量抽取图文教程

Informatica 增量抽取图文教程源表T_SOURCETABLE初始有两条测试数据目标表T_TARGETTABLE初始默认清空一、按时间戳抽取首先,我们根据CREATE_DT来进行数据的增量抽取,模拟场景为第一次抽取全部数据,第二次抽取第一次抽取之后新增的数据。

1、MAPPING图如下,主要使用了一个Expression组件:2、选择Mappings菜单的参数与变量选项设置变量v_pumpdt3、新建变量$$v_pumpdt,类型选择变量,数据类型选择date/time,汇总方式选择MAX。

下面的初始值用于第一次全量更新,可以根据实际情况设置,我这设置成01/01/1970 00:00:01。

4、修改SQ组件的过滤方式:5、可以先用生成SQL按钮自动生成select语句,然后下面增加过滤条件:whereT_SOURCETABLE.CREATE_DT>=to_date('$$v_pumpdt','mm/dd/yyyy hh24:mi:ss')andT_SOURCETABLE.CREATE_DT<to_date('$$$SESSSTARTTIME','mm/dd/yyyy hh24:mi:ss') 即只过滤出从变量v_pumpdt值到抽取任务执行时间值之间这段时间create的数据。

完成后可以用验证按钮验证语句的准确性。

这里要注意日期时间类型字段的数据格式,由于服务器设置不同可能格式不同,而如果你取到的数据值和你指定的格式不匹配,在后面执行抽取任务时会报错。

我这个测试环境的格式是'mm/dd/yyyy hh24:mi:ss'6、修改Expression组件,增加一个表达式,把$$v_pumpdt的默认值置为SESSSTARTTIME的值, 这样下次执行时, 则会从这个时间,即上次session执行时间开始算起, 达到个增量的目的。

informaticapowercenter快速上手,入门指导

informaticapowercenter快速上手,入门指导

informaticapowercenter快速上手,入门指导Informatica 快速上手安装以及服务端配置那部分就不写了,直接从客户端使用开始。

本人使用的是informatica 8.6,xp系统,oracle 11g数据库首先打开PowerCenter Repository Manager然后点击菜单栏中的第一项:Repository选择Configure Domains 弹出窗口点击红圈的按钮,添加新的domains,弹出小窗按照服务端设定的内容填写,然后点击OK会出现你刚刚新添加的domains,然后右边选择你需要的资料库,勾上。

回到主界面左边的Repository Navigator里面已经有资料库了,双击你需要的那个数据库,出现弹窗这里填入你服务端里面设置的用户名密码,一般有默认的Administrator,密码也是Administrator,且权限最高,其他用户需要他赋予权限才能使用powercenter内容,所以这里直接使用Administrator用户,点击connect登录。

登陆后,进入资料库资料库里面是按文件夹存储的点击菜单栏中的Folder——create,来创建新的文件夹,跳出弹窗把Name改一下,这里是做入门上手练习,所以取名Practise然后点击确定,这时,资料库中会多出Practise文件夹,我们选中,然后点击工具栏中的D图标,进入PowerCenter Designer因为选中了Practise,所以进入PowerCenter Designer之后,会直接打开此文件夹,然后就能进行入门练习了。

但之前我们还有一步要做,就是导入表。

导入练习所需要的表,sql脚本在客户端bin文件夹内smpl_db2.sqlsmpl_inf.sqlsmpl_ms.sqlsmpl_ora.sqlsmpl_syb.sqlsmpl_tera.sql以oracle为例,执行脚本smpl_ora.sql,但是因为脚本使用的是us时间制,所以先改变数据库会话的时间格式:alter session set nls_language=American;alter session set nls_date_format = 'DD-MON-YYYY';然后执行脚本,如果有什么限制的,请赋给用户dba权限之后,再执行脚本,之后就能开始练习了。

Informatica 基础培训

Informatica 基础培训

23
表达式转换
基于行级的数据项赋值、修改、计算
端口 • 混合 • 允许使用变量 创建表达式输出、变量端口 用法 • 数据类型转换 • 数据项计算 • 新增变量
点击这里完成表达式编辑
24
编辑表达式
表达式公式是在特定端口执行的计算或声明的转换条件
基于端口、函数、变量、运算符、常量执行计算并将结果传递给其他转换
25
函数列表
26
本地变量
简化复杂表达式 暂时存储数据 在“聚合”、“表达式”和“等级”转换中使用本地变量
27
变量端口
可以使用变量来存储先前行的数据 本地变量可以跨行存储值 比较值 变量初始化
28
使用端口的默认值
对输入或输入输出端口, 默认值会替换掉null值 对输出端口,默认值会替换输出端口中出现的转换错误。
Repository
Not Shown: Client ODBC Connections for Source and Target metadata 5
PowerCenter 8 架构
Sources
Standards, Messaging, Web Services
Client Tools Designer Rep. Manager WF Manager Monitor
源分析器 ODBC 关系数据库
• Table • View • Synonym
DEF
资料库服务
TCP/IP
Repository Agent
Native
DEF
10
Repository
导入平面文件类型源
源分析器
• Mapped Drive • NFS Mount • Local Directory

Informatica完全快速学习手册要点

Informatica完全快速学习手册要点

Informatica完全快速学习手册要点Informatica是业界著名的数据集成工具,用于企业数据的整合和转换。

它能够抽取、转换和加载不同的数据源,并将其转化为目标数据格式的工具。

在企业信息化的时代,一个优秀的数据集成工具显得尤为重要。

本手册将介绍Informatica的学习要点,为初学者提供指导和支持。

模块介绍Informatica是包含多个模块的数据整合软件,下面将逐一介绍它们的作用。

PowerCenterPowerCenter是 Informatica平台中最重要的模块,具有抽取、转换和加载数据的能力。

它支持多种数据源类型,并可进行高效的数据加工处理。

在数据仓库、数据整合、数据转换和处理等方面的应用非常广泛。

PowerExchangePowerExchange是Informatica平台所提供的高性能数据集成工具,它能够将非结构化数据、主机数据等转换成PowerCenter所需要的结构化数据,以便产生更好的分析数据。

Metadata ManagerMetadata Manager模块允许Informatica的应用程序自动化地收集和存储关于企业中各种数据源,映射关系和操作规则等数据的元数据信息,以支持综合数据管理。

Business GlossaryBusiness Glossary 模块是一个数据字典,旨在帮助用户进行数据分类,有效管理数据,并促进不同部门间的信息共享。

这个工具也有利于标准化数据定义和术语。

Data QualityData Quality模块是一个全面的、可扩展的数据质量管理工具,支持数据清洗,规则制定等功能。

通过该工具,我们可以提高数据质量管理的能力。

Test Data ManagementTest Data Management主要用于生成测试数据,它允许测试人员利用特定的数据源类型来绕过一个或多个测试平台上的限制。

此外,该模块还可以帮助测试人员更好地模拟实际环境下的数据。

Informatica培训-产品架构及基础知识

Informatica培训-产品架构及基础知识

PowerCenter 体系结构 - Rep Server
资料库存放管理信息, 资料库存放管理信息,如:usernames, passwords, permissions, and privileges。 。 客户端必须通过Rep Server 来访问知识库。 来访问知识库。 客户端必须通过 Rep Server 通过 通过Native Driver 来访问知识库。 来访问知识库。 客户端使用Tcp/IP 跟Rep Server 关联。 关联。 客户端使用
Integration Services
Relational/Flat Files
Repository Services
Node
Mainframe/ Midrange
I N T E G R A T I O N G R I D
Packaged Applications
I N T E G R A T I O N G R I D
2
异构网格环境
产品体系结构
的产品结构图, 版本, 注:此图是pc7的产品结构图,对于 此图是 的产品结构图 对于pc8版本,没有了 版本 没有了Rep server adminstrative Consle 客户端 Informatica Repository Server是pc8的Repository Services。 是 的 。 Informatica Server是pc8的Integration Service 是 的
Relational/Flat Files
Repository Database
Mainframe/ Midrange
Integration Services Repository Services
PowerCenter 8 企业网格选项

用户自定义函数informatica

用户自定义函数informatica

用户自定义函数informatica2.1用户自定义函数介绍1)用户自定义函数可以在Designer中定义,在Expression中使用。

2)可以使用任何有效的函数(除了Aggregation函数),也可以使用在同一个文件夹里的其它UDFs。

3)用户自定义函数UDFs是文件夹级别的对象。

4)在FCS中UDFs不支持快捷键,也就是说它们只能在自己被创建的文件夹中被访问。

2.2创建一个简单的UDFs1)打开PowerCenter Designer Client,在左侧窗口中选中“User-Defined Functions”。

2)然后在菜单栏选择Tools->User-Defined Functions->New。

3)此时弹出“Edit user-defined Functions”窗口。

UDFs示例:Name:Concat_Strings(用户自定义的该函数主要用于字符串的连接)Type:Public(UDFs有两种类型:Public类型的UDFs在Expression Editor 中可以看到;Private类型的UDFs在Expression Editor中不可见)Description:UDFs的描述信息此处,定义Concat_Strings函数的两个参数String1和String2,表达式为:string1||’’||string2。

4)点击“OK”之后,可以在PowerCenter Designer左侧的窗口中看到新创建的UDFs concat_strings。

5)接下来再定义一个用于格式化电话号码的UDFs (Format_Phone_Number)。

Function Name:Format_Phone_NumberFunction Type:PublicDescription:Accepts10Digitals and format them as(999)999-9999 Argument Name:phone_noArgument Type:decimalArgument Precision:10Argument Scale:0Expression:’(’||SUBSTR(TO_CHAR(phone_no),1,3)||’)’||SUBSTR(TO_ CHAR(phone_no), 4,3)||’-’||SUBSTR(TO_CHAR(phone_no),7,4)此时我们已经创建好两个UDFs用户自定义函数:Concat_strings用于字符串的连接Format_Phone_Number用于格式化电话号码为特定的格式6)下面演示一下如何在Expression Editor中调用创建好的UDFs。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

1Informatica概述 (3)
2安装Informatica8.6.1 (3)
2.1服务端安装 (3)
2.2客户端安装 (7)
3配置管理服务器 (9)
3.1创建知识库和集成服务 (9)
3.2客户端到集成服务端的连接 (12)
4PowerCenter Designer学习 (13)
4.1概念和基本定义 (13)
4.2Mapping设计和组件的使用 (15)
4.2.1实例一:聚合抽取 (15)
4.2.2实例二:取TOP前三条记录 (16)
4.2.3实例三:抽取XML源 (19)
4.3WorkFlow的设计和使用 (20)
4.3.1创建Session (20)
4.3.2设计WorkFlow (22)
4.4Repository Manager (23)
1 Informatica概述
Informatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。

Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点,并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理,提供元数据管理解决方案,帮助企业集成、优化、审核信息资产以提高运营效率,增加客户收益,取得竞争优势。

详见文档:
2 安装Informatica8.6.1
这里以Informatica8.6.1为例:
2.1 服务端安装
找到安装目录pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下
点击安装
选择安装语言,这里以中文版为例
点击下一步,并选择安装PowerCenter8.6.1 必须选择事先准备好的安装密匙
选择安装路径
HTTPS配置,配置管理控制台与配置管理器的安全通信(如果没有使用该端口就采用默认)
配置好Informatica域并进行下一步,取掉为特定用户启动Informatica Services,点击完成安装
2.2 客户端安装选择安装
设置安装路径
安装完成后可以看到包含的所有工具
3 配置管理服务器
3.1 创建知识库和集成服务
接下来我们主要是配置知识库管理服务器,PowerCenter数据整合引擎是基于元数据驱动的,提供了基于元数据驱动的元数据知识库(Repository),知识库是PowerCenter
的核心。

在Informatica Services启动的的情况下,我们可以通过管理控制台来操作。

从控制台里我们可以看到很多选项,我们主要是创建存储库服务(Repository)和集成服务,存储库服务(Repository)存储所有的ETL元数据,包括:源、目标表的物理和逻辑元数据,ETL转换规则,知识库用户权限,ETL任务运行历史信息等元数据。

首先我们创建一个用于测试学习的存储服务器,事先在Oracle中建好要用到的数据库
此处如果无法创建成功有以下可能:
1. 需要设置环境变量,将
C:\Informatica\PowerCenter8.6.1\Server\bin;C:\Informatica\PowerCenter8.6.1\Reposi toryServer\bin;移到Path最前边
2. 代码页一定要如下选择
3. 设置知库链接用的数据库用户要有DBA角色权限连接字符串设置为当前的Oracle服务名
接下来创建集成服务,因为集成服务是依赖于知识库的,注意关联的存储库服务选择刚建好的学习测试存储库,存储库默认要设置用户名和密码为:Administrator
至次我们完成了服务端的基本配置,服务端可以对知识库备份和恢复等很多功能,也可以建立其相应的服务,这里不再多述!
3.2 客户端到集成服务端的连接
我们开发ETL要使用到PowerCenter Designer工具,详细的介绍在概述中有,接下我们配置好Designer与集成服务的连接:
从客户端工具中打开PowerCenter Repository Manager
从菜单上选择存储库>配置域如下:
这样就连接上集成测试用例库,选择学习测试用例库,从文件夹选项目创建文件夹,相当于在集成库下的一层子目录
至此,打开PowerCenter Designer就可开发使用了
4 PowerCenter Designer学习
4.1 概念和基本定义
最基本的ETL包括源的定义,目标定义,和映射,另外我们还可以创建可以重用的Mapplet。

使用到的工具如下
源分析器:
目标设计器:
映射设计:
传输件设计:
Mapplet组件设计:
源分析器是用来定义源的结构,这里的源虽然是从某个数据库导出进来的表结构也可以是某个XSD定义的XML结构等等,但是仅仅绑定了数据库类型,并不是指定了链接要从那个数据库里抽取数据。

这里我们从菜单可以导入表结构,Informatica 提供了ODBC的方式链接多种数据源
我们以一个DW事实表为例:
同样我们可以定义目标结构,常规也是导入表结构,我们也可以在Mapping设计中自动创建目标表结构,源定义和目标定义中,我们可以对导进来的表名以及表的结构进行修改以满
足我们的设计需求,但是我们在WorkFlow中实现数据抽取中对应的源和目标要和此结构相同,如果要满足变化的源和目标,可以通过Visio设计来转换为Mapping来实现。

4.2 Mapping设计和组件的使用
PowerCenter Designer通过Mapping来完成从源到目标的转换,Mapping设计器中包含了大量的转换组件
关于组件详尽的说明,可以打开文档具体学习:
转换组件一般包含,转换、端口、属性、以及元数据扩展
转换:可以对该转换更改名称和附加具体说明。

端口:转换组件大都包含转换输入端口和输出端口以及特定的操作或表达式。

属性:该转换组件的特定设置
元数据扩展:
下边以两个实例来讲解组件的使用
4.2.1 实例一:聚合抽取
从源到目标,我们中间用聚合组件,对OWE_CHARGE进行SUM并按几个维组来聚合,如下图:
从下图我们可以看到该组件端口中字段属包含:I、O、V、表达式、GroupBy等属性,对于OWE_CHARGE字段我们仅设置输入,创建自定义属性端口SUM_OWE_CHARGE,其表达式为SUM(OWE_CHARGE),对于维度键勾选GroupBy,这样实现了细粒度到粗粒度的聚合
每种组件都有自己特定的属性和特定的端口属性,我们通过属性设置或表达式来实现组件的特性,不同组件的搭配来完成整个Mapping的设计
4.2.2 实例二:取TOP前三条记录
源表数据
目标:取Score1 TOP前3条记录、和Score2 TOP前3条记录
实现:
对源表分别用两个Rank组件,Rank组件有分组排序取前N或后N条记录的功能,如下图端口属性如下:RankIndex 为自动产生的Rownum,score1后的R表示以此排序
组件属性设置如下:
top/bottom:取前或后Number Of Ranks:取多少位
抽取结果:
4.2.3 实例三:抽取XML源
雇员DTD定义:
设计如下:
导入XML源结构为源,通过SQ分别将雇员信息分解为雇员表,雇员电话,雇员邮件,雇员薪水,具体设计如下图:
4.3 WorkFlow的设计和使用
4.3.1 创建Session
在做完Mapping设计之后,我们要抽取数据,接下来的任务就是WorkFlow的设计,在WorkFlow设计器中,数据抽取的基本组件是Session,Session是映射的一个具体实例,在创建一个Session时必须指定一个映射,并由这个Session决定了数据抽取的默认源和目标。

我们打开WorkFlow设计工具,从工具上选择,这样我们就可以创建Session,
从库中选择已经设计好的Mapping,确定
双击已经创建好的Session,设置默认的映射,源,以及目标实例,例如在设计源的时候,我们的源是Oracle表结构,在这里相应的设置数据库连接即可,如果源是文件,则要指定路径和文件名,我们将源的Tracing Level设置为Normal,Tracing Level为数据抽取监控日志的级别
4.3.2 设计WorkFlow
在完成Session创建后,点击设计工作流,工作流是对Session在抽取流程上的定制,通过事件、变量、定时器、判断等一系列组件来实现。

如下图,我们创建一个工作流,其中由启动连接到实例一中映射所实例的Session,这样就实现了工作流
接下来我们启动该WorkFlow
从WorkFlow Monitor上可以看到动行状况并查看日志,
至此,我们完成典型WorkFlow的开发,在WorkFlow中,对于可重用的部分,我们可以在中定义,关于更多的WorkFlow组件使用这里就不在细述。

4.4 Repository Manager
Repository Manager工具可以方便我们对知识库的导入和平台转移,例如我们从Windows 平台可以导知识库轻松转移到Linux平台,同时Repository Manager可以对库进行历史版本的控制。

从下图首先可以连接知识库,然后我们可以对映射和工作流等导入和导出,以XML中间结构转储
如果我们在安装Informatica时,选择了启用历史版本功能,则可以像下图,设置知识库的版本
总而言之,Repository为我们协作开发和统一管理提供了有效的手段。

继续加载整理。

相关文档
最新文档