Informatica PowerCenter平台ETL开发规范
ETL抽取工具Informatica介绍-1
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
Informatica主要特点
• 1) 图形化设计，无需编码，快速开发和部署。 PowerCenter提供了一个可视化的、拥有丰富转换库的设计 工具，这个转换库使数据转换变成一个简单的“拖拽”过程 。使用PowerCenter，转换组件能够被合并到mapping对象中 ，独立于他们的数据源和目标，有近20种数据转换组件和近 百个函数可以调用，同时可以调用外部的过程和程序，实现 复杂的转化逻辑。 Informatica PowerCenter是完全图形化的开发，不需要有 语言基础也可上手，内部完全是图形化设置，不需在组件是 编写脚本语言。可通过简单的操作，完成此需求：
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
5个Client 个
• • • • • PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计 转换规则，生成ETL映射 Workflow Manager：合理地实现复杂的ETL工作流，基于时间、事件的 作业调度 Workflow Monitor：监控Workflow和Session运行情况，生成日志和报 告 Repository Manager：资料库管理，包括安全性管理等，元数据维护和 安全操作，如：元数据查找，用户、组、权限管理等。 Repository Server Administrator Console：对知识库的操作，如： 知识库的创建、备份、恢复等。
ETL抽取工具Informatica介绍 ETL抽取工具Informatica介绍 抽取工具Informatica
VANDA CHINA VAS
INFORMATIC 开发规范
Informatica项目开发规划冷鹏2006年9月1.引言以前看到过whyu小记写过Informatica的一个开发规范，觉得不错，也碰到外面一些项目组在参考他写的规范，非常好！我也碰到很多公司的项目组有非常不错的DW项目规范文档，只是很少有拿出来给大家参考共享的，觉得非常的遗憾！反观自己当时做JA V A、C、Web时，项目标准和规范都是成套的有下载。
所以在这里我呼吁大家可以将项目里敏感的内容去掉，将文档的骨头拿出来，让大家做项目吸取更多的经验，少走弯路，走更正规的路，毕竟大家都在这个圈子里混，都是做技术的，这个圈子如果长久都停留在这个水平，自己也不会走出圈子里这个水平。
我扒拉的这篇规范也算不上是什么规范，结合了whyu小记、Informatica里的一些内容希望在这里给大家抛砖引玉。
希望大家总结出DW项目的更多管理规范、更多产品的开发方法以提高你我。
2.命名约定在进行Informatica开发规划时，对引用PowerCenter内的组件、变量、参数等最好参考一个统一的命名规则，官方的样例也有一些命名规划，我认为可以分个级别如Mapping、Session、Task这样的分为一个级别，统一以1个小写字母加下划线为规范，转换组件可以也可以为分为一个级别，以3个小写字母加下划线为规范。
如果不用命名规范也没多大关系，因为这些内容各自都有对应的Folder进行管理，比较好辨认。
2.1.组件命名2.2.其它命名3.主题说明往往在一个数据仓库项目内ETL都占了很大的开发量，在一个ETL过程中会涉及到多个操作步骤，如从不同数据源中提取出到本地，通过网络发送数据到目标域，装入Staging Area，再转换到ODS Area，进入数据仓库，通过层层汇总，再刷进Cube，因此在ETL开发时分主题就有很多方法，可以按ETL操作步骤来分为Source→Staging Area→ODS→DW→View DM→OLAP SERVER，也可以按照各数据源中数据类型，也可从目标事实表出发以完成一个目标主题为主，或者多种方法综合使用来进行ETL主题划分。
Informatica 产品 PowerCenter介绍
集成技术
Data Integration Platform
实现方法
Integration Competency Center (ICC)
企业数据类型
Applications Databases Messages Flat files XML
Unstructured Data Mainframe
15
Informatica主要特点4 高开发效率
Provide UI information in template XML file
Template XML
Step 3
DI Developer
Meaningful use case specific wizard
Visio Mapping Template
Slowly Changing Dimension Wizard
Integrate Customer Analytics Data
Consolidate Customer Systems
Upgrade Sales Comp Systems
Integrate with Hewitt
数据获取形式
Enterprise Data Integration
体系架构
Service Oriented Architecture (SOA)
Server 2 Nodห้องสมุดไป่ตู้ 2
HA File System Shared Directory
Domain
Gateway
B
Log
B
HA Database
Integration P Repository B
? DB and shared directory are highly available
informatica开发基本过程ETL
1、打开informatica设计器2、点击映射，——>再点击“创建”，即可创建新映射输入映射名称，再确定，完成创建3、由于一个完整的映射应该包含源表、转换、目标表，所以我先确定源表，导入到工具里面。
方法如下：点击放大镜图标再点击工具栏上的源（没有点击上面的放大镜图标就无法找到“源”）在“源”下拉列表点击“从数据库到入”,出现以下界面（图上有操作方法）导入目标表，先点击三角形图标，如下图再点击“目标”，在“目标”下拉列表点击“从数据库到入”,出现以下界面（操作方法同导入源表）4、点击下面红色框内的小图标，加入映射编辑对话拖入源表和目标表拖入表入下，（其中源表表结构不可编辑，转换组件可从工具栏中拖入）5、双击上述源表取数组建加入SQL语句，双击后，点击属性找到“SQL Query”行如下加入SQL语句注意：如的sql语句字段的顺序一点要与组件数据流入的的字段顺序一直，字段名也要一致编辑目标表的，方法：双击目标表，点击属性，就行编辑，如下6、保存，完成映射编辑7、点击，“W”图标，打开工作流编辑器8、找到上述映射所在的文件夹，右击——>打开（或双击）9新建会话，点击下列红框内的图标再点击“任务”在任务下拉框中，选择“创建”，出现以下对话框，输入任务名称，再点击创建选择映射最后点击完成10、编辑会话双击进入会话编辑界面，在点击“映射”编辑完成后，保存即完成编辑。
11、创建工作流，点击下列红框内图标，点击，“工作流”，再选择“工作流”下拉列表中的“创建”出现下列对话框，就行编辑或配置相关属性点击确定，有选择会话，拖入到编辑框中，如下示，拖入后如下，完成连接保存，即完成整个工作流12，运行右击编辑界面，或选择工作流右击，点击“启动工作流”。
etl开发流程和规范 (3)
etl开发流程和规范ETL（Extract, Transform, Load）是一种常见的数据处理方式，用于将数据从原始数据源提取、转换和加载到目标数据仓库或目标系统中。
下面是一般的ETL开发流程和规范：1. 需求分析阶段：- 确定数据源：确定原始数据的来源和格式，包括数据库、文件、API等。
- 确定需求：明确提取、转换和加载的具体需求，包括数据清洗、数据转换和数据加载的步骤。
2. 数据提取阶段：- 选择合适的提取工具：例如使用SQL语句、使用ETL工具（如Informatica、SSIS等）或使用编程语言（如Python、Java等）来提取数据。
- 提取数据：根据需求从数据源中提取数据，并进行必要的数据过滤和排序。
3. 数据转换阶段：- 数据清洗和预处理：清洗和处理数据中的异常值、缺失值、重复值等。
- 数据转换：将数据进行必要的转换和映射，包括数据类型转换、数据格式转换和数据字段补充等。
- 属性计算和聚合：根据需求进行属性计算和数据聚合，生成目标数据。
4. 数据加载阶段：- 目标表设计和创建：根据需求设计目标表结构，并在数据库中创建目标表。
- 数据加载：将转换后的数据加载到目标表中，可以使用插入语句、更新语句或者使用ETL工具来加载数据。
5. 数据验证和测试阶段：- 运行数据验证脚本：编写数据验证脚本，检查目标表中的数据是否符合预期。
- 进行测试：对ETL流程进行测试，包括单元测试、集成测试和性能测试等。
6. 调度和监控阶段：- 调度ETL作业：使用调度工具（如Control-M、rflow 等）配置ETL作业的调度时间和频率。
- 监控ETL作业：监控ETL作业的运行情况，包括运行状态、运行时间和错误日志等。
7. 文档和维护阶段：- 编写文档：记录ETL开发的流程、规范和配置信息，并编写相关的用户手册。
- 维护ETL作业：定期检查和维护ETL作业，包括数据字典的更新、作业调度的调整和性能的优化等。
InformaticaPowercenter基础开发实例
Infa开发实例1实例：客户维表抽取（dim_customer）1.1数据库配置信息1.1.1数据源1.1.2目标库1.2详细设计1.2.1基础信息1.2.2口径说明1.3抽取步骤1.3.1定义源1.打开Designer，选择“源->从数据库导入”，导入源表结构2.选择“源->从数据库导入”后出现如下提示框，若未配置源数据库的odbc，则需要先配置，可点击如下图的“…”进行配置3.在弹出的ODBC中，选择系统DSN，添加按钮，选择想为其安装数据源的驱动程序4.这里我们选择oracle in oraclient10g_home1，弹出如下框，进行配置，tns service name为本机配置的tns连接，这里不再详述5.配置完我们可以点击测试，看是否能连通数据库6.配置完odbc，我们选择相应的odbc连接，输入用户名密码连接erp数据库，也可以在搜索栏填入指定的表，然后选择导入7.用同样的方式，我们将Hz_Parties表导入designer1.3.2定义目标1.导入目标表的方式与导入源的方式基本一致，首先选择“目标->从数据库导入”2.选择我们配置好的odbc，输入目标库的用户名，密码1.3.3创建映射1.选择“映射->创建”，输入映射的名称，映射命名建议以“M_目标表名_Inc”方式来创建2.创建完映射，将刚才导入的两张源表拖入映射工作区中3.将我们需要的字段拖入join组件中，并join组件设置两张表的关联条件4.双击source qualifier组件，在“属性”的sql query中点击“生成sql”，这样在任务抽取的时候，直接根据sql获取源表相应字段的数据，而不是将整张表的所有字段全部加载的informatica中4.生成的sql或者开发人员修改了sql后，可以点击“验证”，看sql的语法是否正确5.将序列号组件和目标表拖入到工作区中，并将我们通过join组件关联后需要的字段与目标表关联，序列号组件中的序列也与目标表中的rowid字段关联，与目标表关联后，整个映射工作也就完成了1.3.4定义任务1.打开workflow工具，选择“工作流->创建”，输入工作流名称,工作流命名建议以“WF_目标表名_Inc”的方式2.点击确定后，工作流创建成功，如下图所示1.3.5创建会话任务1.点击工具栏上的“session”组件按钮进行创建会话任务2.弹出如下选框，选择我们刚刚做好的映射，点击确定3.点击工具栏的“链接”组件，将“启动”与会话任务进行连接4.点击“连接->关系”进行数据库连接的配置5.点击“新建”，选择oracle然后选择确定6.在弹出的如下框中进行配置，连接字符串中的oracle_crp为服务器上对应的tns连接串7.双击会话任务，在映射选项中进行数据源和目标的配置8.在连接类型中选择我们配置好的数据源，源和目标的数据源都要一一配置，如下图9.目标表配置中，target load type属性中我们一般选择normal选项，bulk有时候会报错，对于维表的抽取，我们一般采用全量的方式抽取，所以勾选truncate target table属性1.3.6监控工作流1.工作流及会话任务创建完成后，在工作流空白工作区右键->启动工作流2.启动workflow monitor，可以监控工作流的执行情况2实例：收入分析事实表抽取（ft_income_structure）2.1数据库配置信息2.1.1数据源2.1.2目标库2.2详细设计2.2.1基础信息2.2.2口径说明HZ_CUST_ACCOUNTS RAC,gl_code_combinations gcc,FND_FLEX_VALUE_SETS FFS,FND_FLEX_VALUES_VL FFV,mtl_system_items_b msiwhere ct.customer_trx_id = ctl.customer_trx_idand gd.customer_trx_id = ct.customer_trx_idand gd.customer_trx_line_id = ctl.customer_trx_line_idand hp.party_id = rac.party_idand ct.bill_to_customer_id = rac.cust_account_idand gd.account_class = 'REV'and gd.amount isnotnulland gd.amount <>0and gcc.code_combination_id = gd.code_combination_idAND gcc.chart_of_accounts_id = 50368and FFS.FLEX_VALUE_SET_ID = 1014869and FFV.FLEX_VALUE_SET_ID = FFS.FLEX_VALUE_SET_ID and FFV.Flex_Value = gcc.segment3and substr(ffv.FLEX_VALUE, 1, 1) = '6'and anization_id = 81and msi.inventory_item_id = ctl.inventory_item_idgroupby rac.account_number,2.3抽取步骤2.3.1定义源1.由于抽取任务涉及源表过多，关联关系复杂，并且已经写出数据的sql口径，我们直接获取sql语句生成的数据即可，点击“源->创建”，输入创建表的名称2.双击我们创建出来的表，添加表字段2.3.2定义目标参照1.3.2，导入后如图所示2.3.3创建映射1.参照1.3.3的方式创建映射2.在source qualifier中的写入我们写好的sql口径2.3.4定义任务参照1.3.42.3.5创建会话任务参照1.3.52.3.6监控工作流参照1.3.6。
Informatica+PowerCenter开发配置手册
Informatica PowerCenter Developer Platform开发配置手册编写: 冷鹏版本: 1.1状态:初稿日期:2008年5月29日该文档是基于Informatica PowerCenter Developer Platform SP3 for Win32的环境写的，主要介绍开发平台的安装配置步骤，针对开发调试中出现的错误信息提出解决办法。
版权信息：© Copyright DigitalChina 2008.本文档未经许可，任何单位及个人不得传播、涉露本文档信息，违者必究编写历史目录1介绍 (4)1.1背景 (4)2开发平台安装 (5)2.1安装准备 (5)2.2安装步骤 (5)2.3配置说明 (7)2.3.1 环境变量 (7)2.3.2 相关文件拷贝 (8)2.3.3 端口号配置 (8)2.3.4 样本脚本修改 (9)3样例介绍 (10)3.1JAVA应用程序样例 (11)3.2Web JSP应用样例 (14)4参考 (19)4.1示例参考 (19)4.2示例参考 (19)1 介绍1.1 背景由于有越来越多的神州数码用户需要将Informatica开发的应用部署到企业系统中，如将Informatica Client中的ETL任务调度、监控功能嵌入到企业系统应用平台中。
而目前向Informatica Service发送任务请求的途径有3种方式，一种是常用的Informatica Client方式，如PowerCenter Workflow Manager执行任务调度；一种是命令行方式，如通过PMCMD方式执行StartWorkflow；还有一种就是通过Developer Platform API接口方式来执行任务调用，可开发Java或C/C++接口内嵌到应用程序或Web平台上进行使用，这样可将ETL功能与企业原应用系统整合起来。
因此该文档是基于第3种方式，力求给这些用户在安装配置InformaticaPowerCenter Developer Platform时一些帮助，文档是基于Informatica PowerCenter DeveloperPlatform SP3 for Win32的环境写的，主要介绍开发平台的安装配置步骤、Load Manager Java API样例介绍，针对开发调试中出现的错误信息提出析疑。
informatica+powercenter8.6简易使用手册
informatica powercenter8.6 简易使用手册（Windows）2009年9月27日目录第1章简介 (3)1.1概念 (3)1.2作用 (3)第2章安装配置 (5)2.1下载 (5)2.2服务器安装 (6)2.3客户端安装 (17)2.4服务器配置 (22)2.5客户端介绍 (27)第1章简介1.1 概念Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。
Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从而帮助企业做出快速、正确的决策。
此产品为满足企业级要求而设计，可以提供企业部门的数据和电子商务数据源之间的集成，如XML，网站日志，关系型数据，主机和遗留系统等数据源。
此平台性能可以满足企业分析最严格的要求。
Informatica PowerCenter 是建立可伸缩和可扩展的Informatica数据集成平台的核心和基础。
与Informatica PowerConnect产品一起使用，Informatica PowerCenter 可以提供对广泛的应用和数据源的支持，包括对ERP系统的支持（Oracle, PeopleSoft, SAP），对CRM系统的支持（Siebel），对电子商务数据的支持（XML, MQ Series），遗留系统，及主机数据。
Informatica PowerCenter 是最突出的分析性数据集成平台。
Informatica PowerCenter 是一个可以使大的企业或组织能够按其复杂的业务信息需求，读取、转换、集成遗留系统、关系型ERP，CRM，消息信息和电子商务数据的数据集成平台。
1.2 作用数据整合引擎Informatica PowerCenter拥有一个功能强大的数据整合引擎，所有的数据抽取转换、整合、装载的功能都是在内存中执行的，不需要开发者手工编写这些过程的代码。
ETL技术规范(通用)
ETL技术规范第1章.ETL设计规范ETL设计规范主要应用于ETL编码的前期工作。
由于ETL全过程是面向数据的，主要工作为数据的抽取（Extract）、转换（Transform）、装载（Loading），正确界定所涉及到的数据范围和应当应用的转换逻辑对于后续的编码工作非常重要，这些数据关系的确定，我们称之为Mapping（数据映射）。
正确定义数据映射关系是ETL成功实施的前提，一个完善的Mapping应该包含以下几个部分：1.1源数据集属性此部分应该详细描述数据源的相关属性，包括：实体名称——含数据来源名称（DSN）、所有者等信息；字段名称——英文名称；字段简述——中文名称，如为参数信息应该有相关取值解释，如性别字段（1：男；2：女；0：不详）类型——字段类型，含长度和精度信息；非空属性——字段是否可以为空；1.2目标数据集属性此部分应该详细描述目标数据集的相关属性，包括：实体名称——含数据来源名称（DSN）、所有者等信息；字段名称——英文名称，建议根据字段含义来命名，而不是简单用拼音来定义字段（此部分由负责设计数据集的人员控制）；字段简述——中文名称，对于保留字段应该给出默认值；类型——字段类型，含长度和精度信息；非空属性——字段是否可以为空；1.3E TL规则主要描述ETL各个环节的转换规则，包括：数据源过滤规则——描述从源数据集获取数据过程中过滤掉记录的规则；关联规则——当源数据集为多个时，描述相互之间的关联关系；列转换规则——描述源数据集到目标数据集的字段间的转换规则；此规则非常重要，要清晰描述字段间的逻辑关系，包括业务逻辑；目标数据集更新规则——描述目标数据集的更新策略，包括更新机制和更新频度，如“每日全量更新”、“每周增量更新”等；ETL作业列表——由于ETL所开发的作业之间包含一定的业务逻辑和编码逻辑，所以调度过程中应遵循一定的逻辑顺序，此部分主要用来明确调度的顺序，包括：作业名称——实现Mapping的作业名称，包括该作业功能描述；调度顺序——用序号或者是流程图模式描述作业的调度顺序，需要综合考虑业务逻辑、编码逻辑以及系统资源等多方面情况，在保证业务逻辑和编码逻辑的基础上，通过控制调度，最大限度地合理利用系统资源；参数列表——列举每个作业中所使用的参数，不同作业中的相同参数最好使用相同的名称，便于调度时进行控制。
InformaticaPowercenter使用手册_V1.0
InformaticaPowercenter使⽤⼿册_V1.0—Informatica Powercenter使⽤⼿册⽂档作者：BI项⽬组创建⽇期：2010-01-24更新⽇期：2010-01-24控制编码：当前版本： 1.0⽂档控制变更记录2审核分发未决与已结问题未决问题已结问题⽬录1概述 (7)1.1项⽬范围 (7)1.2读者对象 (7)1.3参考⽂档 (7)2软件简介 (8)2.1概念 (8)2.2作⽤ (8)3⼯具设置 (9)3.1R EPOSITORY M ANAGER (9) 3.1.1登陆Repository Manager (10) 3.1.2修改密码 (10)3.1.3添加外部⼯具 (10)3.2D ESIGNER (11)3.2.1登陆Desiger (12)3.2.2修改密码 (12)3.2.3添加外部⼯具 (12)3.2.4设置样式 (12)3.2.5其他选项 (14)3.3W ORKFLOW M ANAGER (14) 3.3.1登陆WorkFlow Manager (14) 3.3.2添加外部⼯具 (14)3.3.3设置样式 (15)3.3.4其他选项 (15)3.4W ORKFLOW M ONITOR (15) 3.4.1登陆WorkFlow Monitor (15) 4ETL开发 (17)4.1创建资料库 (17)4.2配置ODBC数据源 (18)4.3导⼊数据源表 (22)4.4导⼊⽬标源表 (26)4.6创建W ORK F LOW (31)4.7运⾏W ORKFLOW (34)4.8监视查看运⾏ (34)5转换组件 (36)5.1概览 (36)5.2S OURCE Q UALIFIER (38)5.3U PDATE S TRATEGY (39)5.4E XPRESSION (40)5.5L OOKUP (40)5.6A GGREGATOR (41)5.7F ILTER (42)5.8J OINER (42)5.9N ORMALIZER (43)5.10R OUTER (44)5.11S EQUENCE (44)5.12S ORTER (45)5.13U NION (45)5.14R ANK (46)5.15P ROCEDURE (46)5.16T RANSACTION C ONTROL (46)5.17SQL (48)5.18XML (49)5.19J AVA (56)5.20C USTOMER T RANSFORMATION (57)6特定实例 (60)6.1维度表 (60)6.1.1导⼊数据源和⽬标源 (60)6.1.2创建mapping (60)6.1.3创建WorkFlow (66)6.1.4运⾏WorkFLow (69)6.2事实表 (70)8附件 (75)1 概述本⽂档可作系统管理员安装PowerCenter时参考指南，安装⼈员最好具备⼀定操作系统、关系数据库、数据库引擎相关知识。
informatica PowerCenter 开发规范
informatica PowerCenter 开发规范一、资料库管理在资料库的管理过程中，由于各种原因，需要重起资料库服务时，需要通知各位相关人员并在重起时同时重起Informatica服务。
Folder的建立，由管理员根据业务需求建立，并对其进行授权。
建立与用户同名文件夹，并设置该文件夹的Owner为该用户，且设置其它用户及组只有读权限。
二、设计规范1、Source导入关系数据库：采用ODBC方式读入元数据，且元数据放置位置与ODBC命名有关，本地ODBC命名需与服务器相同。
对于各用户，ODBC命名采用：用户名_SOURCE（例：MM_SOURCE）。
ODBC须采用与服务器相同的版本。
Oracle客户端也须与服务器采用相同版本。
文本文件：采用Flat文件导入方式，Flat文件的规范为，第一行为各字段名，第二行开始为数据，各数据间的分隔符为TAB键。
一个通常的做法为，在Excel表格中填入所有数据，直接拷贝至文本中，此时分隔符自动为TAB键。
文本文件的服务器位置，在服务器上分别建立各模块文件夹，各文本文件按模块放置于相应的文件夹内。
文本文件命名为目标表名。
2、arget导入Target导入存在同样的三种方式：关系数据库、文本文件、XML文件。
Target的元数据管理与Source方式有所不同，其统一放置于Targets下，与本地ODBC命名无关，需要导入的目标表名唯一。
3、Mapping建立1、Normal Create 方式命名为：m_表名（例：m_MM_PLAN）2、Slowly Changing Dimensions方式缓慢变化维方式是的数据加载模式，可以实现表的全历史纪录记录及源表的数据变化后的主键更新方式。
开发中由于实际表需求与数据加载的对接，需要在各种转换后加一个表达式模块（EXP_TARGET），其字段内容同Target表，在缓慢变化维前加一个表达式模块(EXP_SOURCE)，其字段内容也同Target表，这两个表达式作为最终的业务需求转换与数据加载的接口。
Informatica开发规范1.0
Informatica开发描述
2.
本文档用于定义数据仓库中Informatica应用开发过程所作的规范要求。它详细阐述了开发人员所涉及的Informatica任务与管理，包括物理部署、资料库管理、开发过程、流程设计、性能优化等。数据仓库开发人员在开发过程中需要按照这些要求来规范自己的开发操作，加速技术实施，实现多个项目开发人员之间协同合作，保证开发出高质量的开发成果。
Repository Manager
主要用于进行一个Repository库的管理，当用户使用Client工具登录一个Repository服务器之后，进行文件夹权限的创建，用户权限、密码的管理等。
Designer
主要是进行数据抽取的转换工具的设计，主要是mapping的设计、设计源数据库的结构，目标数据库的结构，然后设计把源数据导入到目标数据库中，所需要进行的转换操作（Transformation）。
通过客户端Repository Server Administration Console创建资料库，整个资源库的维护操作，如资源库的创建，备份，恢复，升级等。
注意事项：
在资料库的管理过程中，由于各种原因，需要重起资料库服务时，需要通知各位相关人员并在重起时同时重起Informatica服务。
启动某一Reposotory时，确保它所连接的数据库服务也是启动状态。
Informatica开发规范
版本：1.0
日期：2011年10月25日
单位：康时信息系统有限公司
1.
文档控制
本文件的目的仅为提供信息，并不构成任何合同或具法律约束力的文件的基础。康时公司发布的这份文件并不保证内含信息是否正确或者是否将保持正确，也不保证使用其中的信息将确保对相关服务或设备的操作正确无误。文件内容如有改动，恕不另行通知。
Informatica开发规范
神州数码（中国）有限公司Informatica项目开发规划冷鹏2006年9月1.引言以前看到过whyu小记写过Informatica的一个开发规范，觉得不错，也碰到外面一些项目组在参考他写的规范，非常好！我也碰到很多公司的项目组有非常不错的DW项目规范文档，只是很少有拿出来给大家参考共享的，觉得非常的遗憾！反观自己当时做JA V A、C、Web时，项目标准和规范都是成套的有下载。
所以在这里我呼吁大家可以将项目里敏感的内容去掉，将文档的骨头拿出来，让大家做项目吸取更多的经验，少走弯路，走更正规的路，毕竟大家都在这个圈子里混，都是做技术的，这个圈子如果长久都停留在这个水平，自己也不会走出圈子里这个水平。
我扒拉的这篇规范也算不上是什么规范，结合了whyu小记、Informatica里的一些内容希望在这里给大家抛砖引玉。
希望大家总结出DW项目的更多管理规范、更多产品的开发方法以提高你我。
2.命名约定在进行Informatica开发规划时，对引用PowerCenter内的组件、变量、参数等最好参考一个统一的命名规则，官方的样例也有一些命名规划，我认为可以分个级别如Mapping、Session、Task这样的分为一个级别，统一以1个小写字母加下划线为规范，转换组件可以也可以为分为一个级别，以3个小写字母加下划线为规范。
如果不用命名规范也没多大关系，因为这些内容各自都有对应的Folder进行管理，比较好辨认。
2.1.组件命名2.2.其它命名3.主题说明往往在一个数据仓库项目内ETL都占了很大的开发量，在一个ETL过程中会涉及到多个操作步骤，如从不同数据源中提取出到本地，通过网络发送数据到目标域，装入Staging Area，再转换到ODS Area，进入数据仓库，通过层层汇总，再刷进Cube，因此在ETL开发时分主题就有很多方法，可以按ETL操作步骤来分为Source→Staging Area→ODS→DW→View DM→OLAP SERVER，也可以按照各数据源中数据类型，也可从目标事实表出发以完成一个目标主题为主，或者多种方法综合使用来进行ETL主题划分。
INFORMATICA开发规范
INFORMATICA开发规范⽬录Informatica开发规范 (1)⽬录 (2)1 编写⽬的 (4)2 ETL研发责任⼈界定 (4)3 ETL 研发数据库操作约束条件 (4)4 定义 (4)5 范围 (5)6 系统通⽤属性 (6)7 命名规则 (6)7.1 通⽤规则 (6)7.2 Connection 数据源连接 (6)7.2.1 Connection 数据连接命名 (6)7.2.2 数据库类型对应缩写 (6)7.2.3 ⽣产数据库的SID.. 77.3 组件命名 (7)7.4 Folder/mapplet/Mapping/Session/Workflow/Schedule命名 (9)8 创建Connection连接 (9)9 创建⽂件夹 (10)9.1 创建⽂件夹 (10)9.2 复制共享对象 (11)10 Mapping设计 (13)10.1 导⼊源和⽬标的表结构 (14)10.2 Mapping设计 (16)10.3 常⽤组件设计说明 (17)11 Workflow设计 (19)11.1 创建Workflow.. 2011.2 Workflow属性设置 (20)11.3 添加可复⽤Session “pre_sql”、“post_sql”. 2211.4 编辑Assignment. 2312 Session设计 (23)12.1 创建Session.. 2412.2 必要Session属性设置 (24)12.2.1 General属性 (24)12.2.2 Property属性 (24)12.2.3 Config Object属性 (25)12.2.4 Mapping属性 (26)12.2.4.1 Source 属性 (26)12.2.4.2 Target属性 (27)13 从中间库取数据 (28)13.1 复制共享对象 (28)参考复制共享对象创建‘M_GetParam_Mid’的快捷⽅式，复制’ pre_S_MID’、’post_S_MID’ 2813.2 Workflow设计 (28)14 开发建议 (30)15 备份及恢复 (30)15.1 备份 (30)15.2 恢复 (31)16 参考⽂档 (31)17 常见问题解决 (31)1 编写⽬的本⽂档旨在本次项⽬中实施,Informatica⼯具所涉及到的数据连接,命名规范和⼯作开发规范⽅⾯的规定和指引,统⼀开发习惯,以便在开发过程中能起到事半功倍的效果。
ETL技术设计规范方案
ETL技术设计规范方案ETL（Extract, Transform, Load）技术是一种用于将数据从源系统中提取、转换和加载到目标系统中的技术。
它在数据仓库和商业智能领域中起着至关重要的作用。
设计规范方案可以确保ETL过程的高质量和稳定性。
下面是一个关于ETL技术设计规范方案的示例，供参考。
一、概述二、需求分析在设计ETL技术规范方案之前，需要对当前系统的需求进行详细的分析。
主要包括以下方面的需求：1.数据提取要求：确定数据提取的周期、频率和方式，包括增量提取和全量提取。
2.数据转换要求：确定数据转换的规则和处理逻辑，包括数据清洗、数据修复、数据合并等。
3.数据加载要求：确定数据加载的目标系统和方式，包括批量加载和实时加载。
4.数据质量要求：确定数据质量的标准和监控方法，包括数据完整性、准确性和一致性的要求。
5.性能要求：确定ETL过程的性能指标，包括数据处理的速度、吞吐量和响应时间等。
三、技术选型在设计ETL技术规范方案之前，需要根据需求进行合适的技术选型。
主要包括以下方面的技术选型：1.数据提取技术：选择适合的数据提取工具或技术，例如OLAP、ETL 工具、API等。
2.数据转换技术：选择适合的数据转换工具或技术，例如ETL工具、脚本语言、数据集成平台等。
3.数据加载技术：选择适合的数据加载工具或技术，例如数据库、数据集成平台、消息队列等。
4.数据质量技术：选择适合的数据质量工具或技术，例如数据校验规则、数据清洗规则、数据验证工具等。
5.性能优化技术：选择适合的性能优化工具或技术，例如数据分区、索引优化、并行计算等。
四、架构设计在设计ETL技术规范方案之前，需要进行系统架构的设计。
主要包括以下方面的架构设计：1.数据流设计：定义数据的流向和处理逻辑，包括数据提取、数据转换和数据加载的流程。
2.并行处理设计：设计并行处理的机制，以提高ETL过程的效率和性能。
3.错误处理设计：设计错误处理的机制，包括错误日志记录、错误报警和错误重新处理等。
Informatica PowerCenter交流(ETL)
治理风险 合规性
提高 合作伙伴 网络效率
提高业务 灵活性
业务与 运营智能
淘汰遗留系统
应用程序信息 生命周期管理
应用程序 整合
IT 方案
客户、 供应商、 产品中心
BPO SaaS
风险转移与 管制报告
B2B 集成
零延迟运营
IT 项目
数据仓库
数据迁移
数据库存档
数据整合
主数据管理
数据同步
复杂事件 处理
B2B 数据交换 超级消息收发
2
全球权威媒体报告中，排名第一
3
Informatica 数据治理蓝图
正确性
数据探勘&数据质量
IDQ
数据及身份搜索识别
IIR
主数据与客户数据管理
MDM
数据治理 平台
PWC
MM
数据整合
安全、优化与灾备
测试数据管理
ILM/TDM
活备份与系统优化
ILM/Data Archive
复杂事件处理
CEP
实时性
变化实时数据捕获
PWX
非结构及半结构化采集
B2B
微秒级信息数据集成
EAI
云计算数据集成
CLOUD
4
典型企业级数据集成架构
Application
SOA
Integration
eMail Office
ERP
CRM Supply Chain Composite Portal
MDM
Reporting Mining
BAM
Security
使命：让数据为企业的 创新提供强大动力服务
• 客户满意度：TNS 在2010 年度数据集成客户满意度调查中，Informatica 连续第 5 年获得最高
Informatica培训-产品架构及基础知识
PowerCenter 体系结构 - Rep Server
资料库存放管理信息， 资料库存放管理信息，如：usernames, passwords, permissions, and privileges。 。 客户端必须通过Rep Server 来访问知识库。 来访问知识库。 客户端必须通过 Rep Server 通过 通过Native Driver 来访问知识库。 来访问知识库。 客户端使用Tcp/IP 跟Rep Server 关联。 关联。 客户端使用
Integration Services
Relational/Flat Files
Repository Services
Node
Mainframe/ Midrange
I N T E G R A T I O N G R I D
Packaged Applications
I N T E G R A T I O N G R I D
2
异构网格环境
产品体系结构
的产品结构图， 版本， 注：此图是pc7的产品结构图，对于 此图是 的产品结构图 对于pc8版本，没有了 版本 没有了Rep server adminstrative Consle 客户端 Informatica Repository Server是pc8的Repository Services。 是 的 。 Informatica Server是pc8的Integration Service 是 的
Relational/Flat Files
Repository Database
Mainframe/ Midrange
Integration Services Repository Services
PowerCenter 8 企业网格选项
InformaticETL开发步骤
InformaticETL开发步骤⼀、 Designer1.创建sources（源和⽬标库操作⼀样）在Source Analyzer视图下 ==> 菜单栏sources ==> import from database 创建odbc data source创建新数据源这⾥没有对应数据库类型的ODBC则需要从⽹上下载安装，mysql odbc创建见附录填好username/ owner name/password选择需要拉取和推送的表2. 创建mapping打开⽂件夹===> 选择mapping designer视图===> 菜单栏mappings选择create3. 创建映射关系选择source analyzer视图===>菜单栏sources选择import from database选择target designer视图===>菜单栏targets选择import from database（不要把之前的target删掉了）选择mapping designer视图===>从左边树形菜单下拖对应的source和target到这个视图下===>然后连线创建字段映射关系菜单栏mappings选择parameters and variable 添加增量参数Name Type Datatype Prec Scale Aggregation IsExprVar$$INCR_START_DT Variable string200Max FALSE$$INCR_END_DT Variable string200Max FALSE$$INCR_START_ID Variable decimal220Max FALSE$$INCR_END_ID Variable decimal220Max FALSE点击w图标进⼊workflow⼯具⼆、 Workflow1. 创建流程菜单栏 ==> workflows ==> create(按标准命名)拖⼀个start assignment，复制其他ETL项⽬的pre post 修改pre数据连接的配置，拖⼀个session选中Design中创建的mapping，按标准命名，然后⽤连接线连起来参数配置菜单栏 ==> workflows ==> edit ==> variable2. 参数配置Name Datatype Persistent$$SOURCE_OWNER nstring$$SOURCE_TABLE nstring$$WORK_DATE nstring$$TARGET_OWNER nstring$$TARGET_TABLE nstring$$SESSION_NAME nstring$$PARAM_FILE nstring$$REJECT_FILE nstring以及其他⾃定义参数nstringassignment参数值配置 assignment ==> 右键edit ==> expressionsUser DefinedVariables OperatorExpression(与初始化表中的值对应，⼤⼩写也要相同)$$TARGET_OWNER-'VMAP'$$TARGET_TABLE-'TM VMAP CONTRACT SYN TMP'$$SOURCE_OWNER-'SRM'$$SOURCE_TABLE-'CONTRACT VM01VM02_VIEW'$$SESSION_NAME-'S'||SUBSTR($PMWorkflowName,3,LENGTH($PMWorkflowName)-2)2)$$PARAM_FILE-$PMFolderName||''||$$SESSION NAME'.PARAM'$$REJECT_FILE-$PMFolderName''||$$TARGET TABLE||'.bad'其他⾃定义参数-值3. session配置properties配置Attribute value$PMRootDir/BWParam/$$PARAM_FILEParameterFilename(这个需要配置，否则数据库增量设置的值不会复制到增量变量上)Enable high precision勾上mapping配置sources| -- connections 选择对应的源数据库连接| -- properties| -- source filter 增量条件 modify_time >= str_to_date('$$INCR_START_DT','%Y-%m-%d %H:%i:%s') and modify_time < str_to_date('$$INCR_END_DT','%Y-%m-%d %H:%i:%s')| -- owner name 数据库owner| -- source table name 源表的表名 $$SOURCE_TABLEtargets| -- connections 选择对应的⽬标数据库连接| -- properties| -- Truncate target table option 如果同步前需要清空所有数据，可以勾选| -- reject file directory $PMBadFileDir\| -- reject filename| -- post SQL 存储过程 call $$TARGET_OWNER.SYN_REPAIR_CONTRACT_FROM_SRM($$REMAIN_DAYS);| -- target table name $$TARGET_OWNER.$$TARGET_TABLE点击M图标进⼊monitor⼯具4.额外⼯作源库对源etl账号授查询权，⽬标库表对⽬标etl账号查询插⼊更新授权⽤⽬标库etl账号登录数据库，在etlmgr库（可能看不到，实际上有权限）中增加workflow的初始化数据insert into etlmgr.etl_incr_param(FOLDER,WORKFLOW,SESSION_NAME,TARGET_OWNER,TARGET_TABLE,INCR_TYPE,INCR_COLUMN,LAST_RUN_STATE,INCR_START_VALUE,INCR_END_VALUE,LAST_START_TIME,LAST_END_TIME,TIME_MODE,TIME_RANGE,TIME_BEFORE_NOW)values('VMS_VMS','WF_M_TA_OUT_ROLE','S_M_TA_OUT_ROLE','VMS','TM_UUPM_ROLE','TIME','CREATE_TM','INIT','2015-08-01 00:00:00','','','','YYYY-MM-DD HH24:MI:SS',0,0);commit;三、 Monitor在workflow⼯具上，右键Start Workflow, monitor选中对应的⽂件夹即可看到运⾏状态和session⽇志。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Informatica PowerCenter平台ETL开发规范January 12, 2010广州安正软件科技有限公司BusinessMatrix Information System Corporation.文档历史记录变更历史审阅分发文档目录1.文档介绍 (5)1.1文档目的 (5)1.2适用范围 (5)1.3文档读者 (5)1.4参考文献 (5)1.5术语与缩写解释 (5)2.POWERCENTER平台介绍 (6)3.环境介绍 (7)3.1概述 (7)3.2开发环境 (7)3.3测试环境 (7)3.4生产环境 (7)3.5数据库账号 (7)3.6数据连接 (8)3.7参数文件 (8)4.通用规范 (14)4.1I NFORMATICA文件夹配置 (14)4.2操作系统文件夹配置 (14)4.3S ESSION配置项 (15)4.4I NFORMATICA用户配置 (15)4.5ETL转换规则说明 (15)4.6从平面文件导入数据 (15)4.7从数据库导入数据 (16)4.8从数据库导入数据结构 (16)4.9注释 (16)4.10日志文件 (16)4.11出错处理与通知 (17)5.命名规范 (18)5.1概述 (18)5.2F OLDER (18)5.3M APPING (18)5.4S ESSION (19)5.5W ORKFLOW (19)5.6S OURCE D EFINITION (19)5.7T ARGET D EFINITION (20)5.8A GGREGATOR (20)5.9E XPRESSION (21)5.10F ILTER (21)5.11J OINER (21)5.12L OOKUP (21)5.13N ORMALIZER (22)5.14R ANK (22)5.15R OUTER (22)5.16S EQUENCE G ENERATOR (22)5.17S ORTER (23)5.18S OURCE Q UALIFIER (23)5.19S TORED P ROCEDURE (23)5.20U PDATE S TRATEGY (23)5.21M APPLET (24)5.22I NPUT T RANFORMATION (M APPLET O NLY) (24)5.23O UTPUT T RANFORMATION (M APPLET O NLY) (25)5.24D ATABASE C ONNECTIONS (25)5.25FTP C ONNECTIONS (25)6.常用SQL知识介绍 (25)6.1NOT IN与MINUS (25)6.2多表连接中的条件限制（WHERE AND ON） (25)6.3游标尽量少使用 (27)6.4异常捕捉 (27)7.SQL编写规范 (27)7.1原则定义 (27)7.2大小写规则 (28)7.3缩进与换行 (28)7.4别名 (29)7.5运算符前后间隔要求 (29)7.6变量引用 (30)7.7注释 (30)7.8其它 (31)8.脚本编写规范 (31)8.1U LTRA E DIT (31)8.2SHELL (32)9.ETL开发流程 (32)9.1ETL开发流程 (32)9.2文档编写要求 (32)10.版本控制 (33)11.ETL程序迁移 (34)12.环境准备过程 (34)12.1创建用户 (34)12.2开发环境准备 (34)12.3测试环境准备 (35)12.4生产环境资准备 (35)13.性能调优 (35)13.1I NFORMATICA性能调优步骤 (35)13.2聚合 (35)13.3其他 (36)1. 文档介绍1.1 文档目的本文档主要描述了ETL开发人员在Informatica PowerCenter平台开发Mapping、Session和Workflow需要遵循的统一标准，使得不同项目不同开发人员在Informatica PowerCenter平台交付的ETL程序符合同一标准。
1.2 适用范围本规范适用于所有使用Informatica PowerCenter工具开发的项目。
1.3 文档读者本规范面向ETL设计人员、ETL开发人员。
1.4 参考文献1. 《Informatica PowerCenter官方命名规范》2. 《Informatica_Standards.doc》1.5 术语与缩写解释无。
2. PowerCenter平台介绍Informatica PowerCenter产品是Informatica公司推出的ETL开发工具，主要包括服务器端和客户端两部分组件：●服务器端✧Informatica Service：PowerCenter服务引擎，是PowerCenter的核心服务，其他服务依赖于此服务。
✧Integration Service：数据抽取、转换、加载服务，是PowerCenter ETL程序运行必不可少的服务。
✧Repository Service：元数据资料库服务，提供对PowerCenter所有元数据的存取管理支持。
●客户端✧PowerCenter Designer：Mapping设计开发环境，定义源及目标数据结构，设计转换规则，生成ETL映射✧Workflow Manager：实现ETL工作流（包括Session、Task、Worklet、Workflow的开发），基于时间与事件的作业调度✧Workflow Monitor：监控Workflow和Session运行情况，生成日志和报告✧Repository Manager：资料库管理，包括文件夹创建与删除、Mapping等ETL程序的导入和导出、用户安全性管理等✧Repository Server Administrator Console：资料库的建立与维护，提供B/S访问方式说明：在实际项目中，仅使用Workflow Manager实现简单工作流的开发，而把Workflow之间的调度管理依靠iMatrix调度平台实现。
BusinessMatrix Information System Corporation 2006 April 27, 20223. 环境介绍3.1 概述Informatica PowerCenter在项目中按用途划分，可以包括开发、测试、生产三套环境，每套环境都是按Client/Server方式部署的。
在每套环境都有独立的Informatica Service、Integration Service、Repository Service服务，并且资料库也分别部署，并且三套环境之间的网络是隔离的，互相不能访问。
说明：如非项目特别要求，需要遵循上述约定。
3.2 开发环境Informatica PowerCenter开发环境主要用于ETL开发人员在项目开发阶段实现Mapping、Session、Workflow的开发、单元测试和联调测试。
对于开发环境的所有开发成果要求每天工作结束后对资料库所有文件夹做一次全备份。
3.3 测试环境Informatica PowerCenter测试环境主要用于项目用户测试用途，其中的所有ETL程序均都需要从开发环境导入。
此环境的ETL程序变更是受控的，不允许ETL开发人员在此环境直接修改ETL程序，特殊情况下可以在此环境调试程序，但也是严格受控的。
3.4 生产环境Informatica PowerCenter生产环境主要用于支持投产系统的ETL运行，其中所有的ETL程序均需要从开发环境导入。
此环境的ETL程序是不允许ETL开发人员直接修改的，必须由管理员和操作员导入。
3.5 数据库账号数据库账号在Informatica环境中有两个地方会用到，一是在PowerCenter Designer开发mapping 时需要连接到数据库读取源和目标表的结构定义，二是Workflow Manager中测试时需要定义数据连接，这写数据连接必须由管理员添加和修改。
3.6 数据连接在Workflow Manager要运行Workflow，必须为session指定其引用到的源和目标对应的数据库连接，而这些数据库连接需要预先由管理员在Workflow Manager中添加。
对于Session引用的源与目标库数据连接，严禁直接写数据连接名称，必须采用连接变量的方式，连接变量在参数文件中定义，连接变量的命名必须符合“$DBConnection_xxx”格式（其中xxx为要连接到的系统简称）。
3.7 参数文件在PowerCenter Mapping、Task、Workflow通过参数变量的支持可以实现动态参数值的注入，但这些参数变量的取值必须在参数文件中定义，运行时Informatica会从指定的参数文件读取参数变量的值。
严格禁止在设计阶段为参数变量设置默认值，参数变量的取值需要从参数文件获得，参数文件禁止将参数值指定到session级别(首次存量的参数文件不限制)，如果同一workflow的两个session的参数需要使用不同的参数值，应该使用不同的参数名。
参数文件包括一个初始参数文件、多个首次全量加载参数文件、多个增量加载动态参数文件三种：✧初始参数文件用于定义全局参数，需在上线前确定，其命名为“param_init.cfg”✧全量加载参数文件主要用于首次全量加载，需在上线前手工编制，按“param_xxx_batch_a.cfg”命名（xxx为数据处理批次简称，例如：subta表示分TA批量处理批次）✧动态参数文件包括在增量加载程序运行阶段可能会改变的变量定义，在增量加载过程ETL程序会自动更新文件数据，按“param_xxx_batch.cfg”（xxx为数据处理批次简称，例如：subta表示分TA批量处理批次）命名。
附：1. param_init.cfg文件的示例：[Global]$$schema_downfile=ods_down3$$schema_ods=ods_ods3$$schema_dw=ods_dw3$$schema_crm=htfcrm$$schema_ec=ec$$schema_hec=hec$$schema_subta=subta$$schema_selfta=selfta$$schema_yssfa=yssfa$$schema_yssfa_ods=yssfa_ods$$schema_ysszhfa_ods=ysszhfa25_ods$$schema_ysszhfa=ysszhfa25$$schema_oa=ecology$$schema_ips=ods_ips$$schema_fa=yssfa_ods$$schema_yssfa=yssfa$$schema_ysszhfa=ysszhfa25$DBConnection_crm=htfcrm_htfcrm_ods_172_16_4_142 $DBConnection_ods=ods2_ods_ods3_172_16_3_190 $DBConnection_dw=ods2_ods_dw3_172_16_3_190 $DBConnection_downfile=ods2_ods_down3_172_16_3_190 $DBConnection_subta=htfcrm_hsta_ods_172_16_4_142 $DBConnection_selfta=htfcrm_selfta_ods_172_16_4_142 $DBConnection_ec=htfcrm_ec_ods_172_16_4_142 $DBConnection_hec=htfcrm_hec_ods_172_16_4_142 $DBConnection_heccdc=htfcrm_hec_cdc_172_16_4_142 $DBConnection_yssfa=htfcrm_yssfa_ods_172_16_4_142 $DBConnection_ysszhfa=htfcrm_ysszhfa25_ods_172_16_4_142 $DBConnection_oa=htfcrm_ecology_ods_172_16_4_142 $DBConnection_fa=htfcrm_yssfa_ods_172_16_4_142 $DBconnection_ips=htfips_ods_ips_172_16_4_143$ParameterFilePath=d:\etlhome\parameter $$ParameterFilePath=d:\etlhome\parameter $ParameterSqlPath=d:\etlhome\sqlfile$$ParameterSqlPath=d:\etlhome\sqlfilemplt_getnextsk.$$schema_dw=ods_dw3mplt_getlastwkdate.$$schema_ods=ods_ods3mplt_getnextwkdate.$$schema_ods=ods_ods3mplt_getnextid.$$schema_ods=ods_ods3mplt_transform_tradetype_selfta.$$schema_ods=ods_ods3mplt_transform_tradetype_subta.$$schema_ods=ods_ods3mplt_change_tradeacco.$$schema_ods=ods_ods3mplt_split_agency.$$schema_ods=ods_ods3mplt_split_agency_ds.$$schema_ods=ods_ods3mplt_src2odsdict.$$schema_ods=ods_ods3mplt_ods2srcdict.$$schema_ods=ods_ods3mplt_get_skregion.$$schema_dw=ods_dw3mplt_tailfee.$$schema_dw=ods_dw3mplt_managerfee.$$schema_dw=ods_dw3mplt_agencyfare.$$schema_dw=ods_dw3mplt_smaflag.$$schema_ods=ods_ods3mplt_split_agency.$$dsagencyno=247$$dsagencyno=247[ods.WF:wf_precond_crm_call]$$srcsys=CC$$dwnframe=3$$condtype=CALL2. 全量加载参数文件示例：[Global]$$schema_downfile=ods_down3$$schema_ods=ods_ods3$$schema_dw=ods_dw3$$schema_crm=htfcrm$$schema_ec=ec$$schema_hec=hec$$schema_subta=subta$$schema_selfta=selfta$$schema_yssfa=yssfa$$schema_yssfa_ods=yssfa_ods$$schema_ysszhfa_ods=ysszhfa25_ods$$schema_ysszhfa=ysszhfa25$$schema_oa=ecology$$schema_ips=ods_ips$$schema_fa=yssfa_ods$$schema_yssfa=yssfa$$schema_ysszhfa=ysszhfa25$DBConnection_crm=htfcrm_htfcrm_ods_172_16_4_142$DBConnection_ods=ods2_ods_ods3_172_16_3_190$DBConnection_dw=ods2_ods_dw3_172_16_3_190$DBConnection_downfile=ods2_ods_down3_172_16_3_190 $DBConnection_subta=htfcrm_hsta_ods_172_16_4_142$DBConnection_selfta=htfcrm_selfta_ods_172_16_4_142$DBConnection_ec=htfcrm_ec_ods_172_16_4_142 $DBConnection_hec=htfcrm_hec_ods_172_16_4_142 $DBConnection_heccdc=htfcrm_hec_cdc_172_16_4_142 $DBConnection_yssfa=htfcrm_yssfa_ods_172_16_4_142 $DBConnection_ysszhfa=htfcrm_ysszhfa25_ods_172_16_4_142 $DBConnection_oa=htfcrm_ecology_ods_172_16_4_142 $DBConnection_fa=htfcrm_yssfa_ods_172_16_4_142 $DBconnection_ips=htfips_ods_ips_172_16_4_143$ParameterFilePath=d:\etlhome\parameter $$ParameterFilePath=d:\etlhome\parameter $ParameterSqlPath=d:\etlhome\sqlfile$$ParameterSqlPath=d:\etlhome\sqlfilemplt_getnextsk.$$schema_dw=ods_dw3mplt_getlastwkdate.$$schema_ods=ods_ods3mplt_getnextwkdate.$$schema_ods=ods_ods3mplt_getnextid.$$schema_ods=ods_ods3mplt_transform_tradetype_selfta.$$schema_ods=ods_ods3mplt_transform_tradetype_subta.$$schema_ods=ods_ods3mplt_change_tradeacco.$$schema_ods=ods_ods3mplt_split_agency.$$schema_ods=ods_ods3mplt_split_agency_ds.$$schema_ods=ods_ods3mplt_src2odsdict.$$schema_ods=ods_ods3mplt_ods2srcdict.$$schema_ods=ods_ods3mplt_get_skregion.$$schema_dw=ods_dw3mplt_tailfee.$$schema_dw=ods_dw3mplt_managerfee.$$schema_dw=ods_dw3mplt_agencyfare.$$schema_dw=ods_dw3mplt_smaflag.$$schema_ods=ods_ods3mplt_split_agency.$$dsagencyno=247$$dsagencyno=247$$batchno=10$$startdate=20090101$$enddate=20100820$$pubtheme=DC[crmdwn.WF:wf_dwn_crm_tcustomerinfochange]$$srcsys=CC$$dwnframe=4$$preserialno=03. 增量加载动态参数文件示例：[Global]$$schema_downfile=ods_down3$$schema_ods=ods_ods3$$schema_dw=ods_dw3$$schema_crm=htfcrm$$schema_ec=ec$$schema_hec=hec$$schema_subta=subta$$schema_selfta=selfta$$schema_yssfa=yssfa$$schema_yssfa_ods=yssfa_ods$$schema_ysszhfa_ods=ysszhfa25_ods$$schema_ysszhfa=ysszhfa25$$schema_oa=ecology$$schema_ips=ods_ips$$schema_fa=yssfa_ods$$schema_yssfa=yssfa$$schema_ysszhfa=ysszhfa25$DBConnection_crm=htfcrm_htfcrm_ods_172_16_4_142$DBConnection_ods=ods2_ods_ods3_172_16_3_190$DBConnection_dw=ods2_ods_dw3_172_16_3_190$DBConnection_downfile=ods2_ods_down3_172_16_3_190$DBConnection_subta=htfcrm_hsta_ods_172_16_4_142$DBConnection_selfta=htfcrm_selfta_ods_172_16_4_142$DBConnection_ec=htfcrm_ec_ods_172_16_4_142$DBConnection_hec=htfcrm_hec_ods_172_16_4_142$DBConnection_heccdc=htfcrm_hec_cdc_172_16_4_142$DBConnection_yssfa=htfcrm_yssfa_ods_172_16_4_142$DBConnection_ysszhfa=htfcrm_ysszhfa25_ods_172_16_4_142 $DBConnection_oa=htfcrm_ecology_ods_172_16_4_142$DBConnection_fa=htfcrm_yssfa_ods_172_16_4_142$DBconnection_ips=htfips_ods_ips_172_16_4_143$ParameterFilePath=d:\etlhome\parameter $$ParameterFilePath=d:\etlhome\parameter $ParameterSqlPath=d:\etlhome\sqlfile $$ParameterSqlPath=d:\etlhome\sqlfilemplt_getnextsk.$$schema_dw=ods_dw3mplt_getlastwkdate.$$schema_ods=ods_ods3mplt_getnextwkdate.$$schema_ods=ods_ods3mplt_getnextid.$$schema_ods=ods_ods3mplt_transform_tradetype_selfta.$$schema_ods=ods_ods3 mplt_transform_tradetype_subta.$$schema_ods=ods_ods3 mplt_change_tradeacco.$$schema_ods=ods_ods3mplt_split_agency.$$schema_ods=ods_ods3mplt_split_agency_ds.$$schema_ods=ods_ods3mplt_src2odsdict.$$schema_ods=ods_ods3mplt_ods2srcdict.$$schema_ods=ods_ods3mplt_get_skregion.$$schema_dw=ods_dw3mplt_tailfee.$$schema_dw=ods_dw3mplt_managerfee.$$schema_dw=ods_dw3mplt_agencyfare.$$schema_dw=ods_dw3mplt_smaflag.$$schema_ods=ods_ods3mplt_split_agency.$$dsagencyno=247$$dsagencyno=247$$batchno=100$$startdate=20100821$$enddate=20100823$$tano=47$$pubtheme=SELFTA[dw.WF:wf_dim_ration_sa_selfta]$$tablename=DIM_RATION_SA[dw.WF:wf_fact_ration_agrmntcount_m_selfta] $$startdate=201006$$enddate=2010084. 通用规范4.1 Informatica文件夹配置登录Informatica Administration Console主页面，在Integration Service服务节点下的“Processes”页配置Informatica文件夹：$PMRootDir: G:\Informatica\PowerCenter8.6.1\server\infa_shared$PMSessionLogDir: $PMRootDir/SessLogs$PMBadFileDir: $PMRootDir/BadFiles$PMCacheDir: $PMRootDir/Cache$PMTargetFileDir: $PMRootDir/TgFiles$PMSourceFileDir: $PMRootDir/SrcFiles$PMExtProcDir: ./ExtProc$PMTempDir: $PMRootDir/Temp$PMWorkflowLogDir: $PMRootDir/WorkflowLogs$PMLookupFileDir: $PMRootDir/LkpFiles$PMStorageDir: $PMRootDir/Storage上述变量中：✧$PMRootDir：Informatica工作文件的根目录，建议将此目录调整到用户自定义目录下✧$PMSessionLogDir：Informatica Session运行日志存储目录✧$PMBadFileDir：Informatica Session运行被拒绝错误数据存储目录✧$PMCacheDir：Informatica缓存文件目录✧$PMTargetFileDir：Informatica 目标文件存储目录✧$PMSourceFileDir：Informatica源文件存储目录✧$PMTempDir：Informatica临时文件存储目录✧$PMWorkflowLogDir：Informatica workflow运行日志文件存储目录✧$PMLookupFileDir：Informatica Lookup生成文件存储目录4.2 操作系统文件夹配置对于用到的Unix/Windows文件夹（备份文件夹、源文本下载文件夹、数据库数据文件存储文件夹等），需要向管理员申请开立。