Informatica主数据管理解决方案_CA
Informatica元数据管理..
7
CWM元模型的包结构
管理
仓库过程
分析
仓库操作 数据 挖掘
转换
资源
OLAP 分析
信息可视化
业务术语
对象 (UML) 关系型资源
数据 类型
记录型
键 索引
多维
XML
基础
业务信息
表达式
类型映射
软件发布
对象模型
UML 1.3 (基础,行为元素,模型管理)
8
元数据基础知识
MM软件架构
MM软件特点 元数据应用案例
ETL
BI
CASE
ERP
XML
Flat Files
?
DBMS EAI MS Office
Others
20
可扩展的Web-Based体系结构--灵活的开发和部署
• • •
百分之百基于Web J2EE兼容平台 内嵌的私有化设置 对象和功能层次的许可 可扩展性 任何信息, 任何关联, 任何元数据模型 (基于OMG MOF协议) 友好的入口 Web服务, 完全SDK 没有隐藏的议程 开放的关系型数据库, 操作系统, 服务器支持
9
Informatica Metadata Manager 体系结构
Data Modeling
Metadata
Custom Metadata Metadata
Business Intelligence
Metadata Manager
Sources
Metadata Metadata
Targets
Metadata
ETL BI
- PowerCenter 6.x, 7.x*
- PowerMart 6.x, 7.x*
informatica中常用各组件的功能
目录未找到目录项。
Informatica 数据整合分为三类数据集成,即下游集成、中游集成和上游集成下游集成:指数据仓库,显著特点是,从数据流的角度看,数据仓库的主体功能是所有应用系统的下游,所有数据都会流向数据仓库中游集成:指数据交换平台,特点是,任何平台和它的关系都是对等的,它是这个数据枢纽hub的中心点,用来支持所有系统之间数据的数据交换,用于解决数据集成毛团问题。
上游集成:指主数据平台,而且是交易型主数据平台。
用于管理企业核心数据的黄金记录,作为企业核心记录的黄金数据的标准平台。
Informatica 的四个客户端及作用:1,Repository Manager:用于管理Repository本身,如创建文件夹,导入/导出Mapping、Worlkfolw,版本管理,部署,Repository的清除。
2,Designer:用于导入ETL元数据,开发ETL程序。
在Power Center中ETL程序被叫做Mapping,即源到目标的映射。
3,Workflow Manager:用于对Mapping的进行数据源、数据目标、使用的字符集、调优及参数配置等,使Mapping能够运行。
此外,还提供了基本的调度和排程的能力。
4,Workflow Monitor:用于监控运行时的Workflow和session,监控ETL运行是否正常、执行效率及异常时的错误信息。
Power Center的开发过程:0,使用PowerCenter客户端连接域(Domian)和数据库服务器Repository Service;建立一个文件夹(Folder),用于开发学习;1,在客户端PowerCenter Designer中导入源表和目标表的结构定义;注:在Power Center Designer中导入的仅仅是表结构,与执行过程的表名无强相关2,在Designer中,创建Mapping(ETL流程)3,在Designer中,拖动源和目标,以及相应组件进入Mapping4,在Designer中,建立源和目标,以及相应组件之间的映射5,在Workflow Manager中提供相应的配置信息及参数6,通过Workflow Monitor客户端进行监控7,预览执行结果重要概念:Mapping:是一个程序,但它不直接可以执行Session:是一个Mapping的实例,指定相关的配置信息后,可以执行;Workflow:可以执行一个或者多个Session,对Session或者其他Task组件进行排程基础组件:1,Source:源文件数据源可以是数据库表,文本文件,XML文件,SAP等,应用系统、Hadoop,MQ等源文件常用方法:手工创建,通过数据库、文本文件、样例文件导入注意:理论上,源表结构定义继承了数据库中表的定义,但是实践中有可能导入后的数据类型发生变化,如表中varchar2,而导入后变为nvarchar2,从而引起Session执行异常。
Informatica Multidomain MDM 10.3 安装指南(针对微软SQL服务器与O
Informatica® Multidomain MDM10.3Installation Guide for Microsoft SQL Server withOracle WebLogicInformatica Multidomain MDM Installation Guide for Microsoft SQL Server with Oracle WebLogic10.32018年9 月© 版权所有 Informatica LLC 2001, 2020本软件和文档仅根据包含使用与披露限制的单独许可协议提供。
未事先征得 Informatica LLC 同意,不得以任何形式、通过任何手段(电子、影印、录制或其他手段)复制或传播本文档的任何部分。
美国政府权利交付给美国政府客户的程序、软件、数据库及相关文档和技术数据是指适用的联邦采购条例和政府机构特定补充条例中定义的"商业计算机软件"或"商业技术数据"。
因此,使用、复制、披露、修改和改编应遵循适用的政府合同中规定的限制和许可条款、政府合同条款的适用范围以及 FAR 52.227-19 商用计算机软件许可中规定的额外权利。
Informatica、Informatica 标志和 ActiveVOS 是 Informatica LLC 在美国和世界其他许多司法管辖区的商标或注册商标。
欲获得 Informatica 商标的最新列表,请访问 https:///trademarks.html。
其他公司和产品名称可能是其各自所有者的商业名称或商标。
本软件和/或文档中的若干部分受第三方所拥有的版权约束。
所需的第三方声明随产品一起提供。
本文档中的信息如有更改,恕不另行通知。
如发现本文档中有什么问题,请通过以下电子邮件地址向我们报告:**********************************。
Informatica 产品根据对应协议的条款和条件进行担保。
凭借9.5版本,Informatica成为数据集成一站式服务提供商
凭借 9.5 版本,Informatica 成为数据集成一站式服务提供商发行日期:2012 年 05 月 15 日1998-2012 Info-Tech 研究团队简介“最大化大数据的投资回报”是Informatica 2012 年全球用户会议的主题—此主题听似营销噱头,但并不是 Informatica 为 Informatica 公司为展开市场活动而提出的。
事实上,“大数据”强调的是 Informatica 新发行的Informatica 9.5 add 版本。
凭借 HParser 的发行及其在Hadoop 中从非结构化到关系数据的转换功能,Informatica 一直处于大数据的潮流浪尖。
全新 Informatica 9.5 继续展现了 Informatica 公司对 Hadoop 的承诺,但成为一站式数据集成服务提供商才是他们更大的战略目标。
新版的Informatica 中具备各种淋漓尽致的数据集成功能,其中一如既往地不乏突破自我的强大功能。
此外,对产品子组件的支持性以及子组件间的集成也得到改善,并且其核心平台自带更多的高级功能。
数据发现、清洗以及归档一般情况下,交易数据越大,储存残片也就越多,从而大大增加了数据剖析的难度。
Informatica 9.5 的数据发现功能不但可同时自动发现数据和元数据结构,还能在大量数据源内一次性明确显示出结构化和非结构化信息中的异常。
这使得 9.5 用户更加轻松,尤其是对于那些集成数据规模大而又没有此类功能的公司而言,之前他们不得不进行人工的、劳动密集型的数据发现和分析,有了 Informatica 9.5,此类公司的数据集成将倍显容易。
发现数据后,即需进行数据清洗。
Informatica 9.5 配备工作流和数据管理仪表盘,可简化支持数据质量和数据治理的工作流程。
此外,解决方案中内置有工作流结构,立即可用。
对于尚未实施数据管理工作流程的公司来说,这是一项极为有用的功能。
Informatica_PowerCenter交流(ETL)
等待时间缩短 75%,产量提高 5 倍,同时硬件 成本降低 50%。
8
Informatica为企业传递信息价值
提升监控 流动人口和 突发事件的能力
加速业务流程 提高决策分析
数据集中共享 与清算
数据集成 提升宏观经济 分析能力,辅助 国家监管及决策
数据大集中 加速业务流程 提高服务能力 及风险监管
BPM/Workflow (human interaction)
Orchestration (process integration)
Business Services
Events
Identity & Access Management
EJB
SOAP
HTTP
JMS
~ Real-time ~
Authentication
Bulk & Message Processing
Data Access
R/W
DB Transaction
Capture
Data Quality Certification
Data Transformation
Format Conversion
Data Traceability
Data Encryption & Masking
使命:让数据为企业的 创新提供强大动力服务
• 客户满意度:TNS 在2010 年度数据集成客户满意度调查中,Informatica 连续第 5 年获得最高
评价;Gartner 2011年报告调查中,Informatica分别在客户支持和技术支持的总体质量方面得到 了迄今为止的最高分。此外,在接受调查的 Informatica 客户中,84% 认可 Informatica 是技术领 导者,超过 90% 的客户指出 Informatica 的技术方向与他们的长期 IT 战略一致
Informatica_功能特性介绍
Informatica主要功能特性介绍1.Pre-Session和Post-Session调用数据库SQL以及存储过程。
2.列/行转换:一行记录转换为多条记录,使用Normalizer组件(见:Normalizer)。
3.行/列转换+条件汇总功能:多条记录合并为一条记录,使用Aggregator组件(结合其条件汇总功能) (见:ReversibleNormalizer)。
关于条件汇总的两种写法,注意它们的不同,如下:1) sum(iif(COMMITMONTH=$$v_yearmonth,PREMIUM,0))2) sum(PREMIUM, COMMITMONTH=$$v_yearmonth)4.增量汇总:将上次汇总的结果保存在Informatica系统目录下,以后对于增量的数据再做汇总的结果跟上次汇总的结果合并,大大提高汇总效率。
要结合Aggregator组件和Session的增量汇总属性(见:IncrementalAggregation)。
最新汇总数据的集合文件,会在Informatica Server的Cache子目录下生成,文件名如:PMAGG493_4.idx,PMAGG493_4.dat。
5.Mapping的参数(Parameter)和变量(Variable):参数和变量的值可以在参数文件中指定;变量的值可以在Session运行结束后动态更改(用法举例:动态生成抽取源表的Where语句,来实现对增量数据的抽取(见:ParameterAndVariable)。
可以使用的Variable函数:SetCountVariable SetMaxVariable SetMinVariable SetVariable。
参数文件的格式举例:[tdbu.s_m_ParameterAndVariable]$$PID=12$$VID=8$InputFile1=sales.txt$DBConnection_target=sales$PMSessionLogFile=D:/session logs/firstrun.txt6.读文件列表(FileList):针对多个结构相同,但是文件名不同的文件数据源,采用该方式可以大大提高ETL设计的灵活性,减少不必要的重复性操作。
Informatica 10.1 引用数据指南说明书
Informatica®10.1引用数据指南Informatica 引用数据指南10.12016年6 月© 版权所有 Informatica LLC 2013, 2018本软件和文档包含 Informatica LLC 的专有信息,基于一份包含使用及披露限制的许可协议而提供,并受版权法保护。
禁止对本软件进行反向工程处理。
未事先征得 Informatica LLC 同意,不得以任何形式、通过任何手段(电子、影印、录制或其他手段)复制或传送本文档的任何部分。
本软件受美国和/或国际专利以及其他正在申请的专利的保护。
美国政府使用、复制或披露本软件受适用的软件许可协议中规定的限制以及适用的 DFARS 227.7202-1(a) 和 227.7702-3(a) (1995)、DFARS 252.227-7013(C)(1)(ii) (OCT 1988)、FAR 12.212(a) (1995)、FAR 52.227-19 或 FAR 52.227-14 (AL T III) 中的限制之制约。
本产品或文档中的信息如有更改,恕不另行通知。
如发现本产品或文档中有什么问题,请以书面形式向我们报告。
Informatica、Informatica Platform、Informatica Data Services、PowerCenter、PowerCenterRT、PowerCenter Connect、PowerCenter Data Analyzer、PowerExchange、PowerMart、Metadata Manager、Informatica Data Quality、Informatica Data Explorer、Informatica B2B Data Transformation、Informatica B2B Data Exchange Informatica On Demand、Informatica Identity Resolution、Informatica Application Information Lifecycle Management、Informatica Complex Event Processing、Ultra Messaging、Informatica Master Data Management 和 Live Data Map 是 Informatica LLC 在美国和全球其他辖区的商标或注册商标。
六步法:Informatica数据质量控制方法
六步法:Informatica数据质量控制方法第一篇:六步法:Informatica 数据质量控制方法Informatica 数据质量控制方法一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目,业务部门与IT 部门的相关人员将各自具有明确角色和责任,配备正确的技术和工具,以应对数据质量控制的挑战。
Informatica 的六步法为帮助指导数据质量控制而设计,从初始的数据探查到持续监测以及持续进行的数据优化。
业务部门与IT 部门的数据使用者—业务分析师、数据管理员、IT 开发人员和管理员,能够在六个步骤的每一步中协同使用Informatica 数据质量解决方案;并在整个扩展型企业的所有数据领域和应用程序中嵌入数据质量控制。
步骤一:探查数据内容、结构和异常第一步是探查数据以发现和评估数据的内容、结构和异常。
通过探查,可以识别数据的优势和弱势,帮助企业确定项目计划。
一个关键目标就是明确指出数据错误和问题,例如将会给业务流程带来威胁的不一致和冗余。
步骤二:建立数据质量度量并明确目标Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准,用户可以在数据质量记分卡中跟踪度量标准的达标情况,并通过电子邮件发送URL来与相关人员随时进行共享。
步骤三:设计和实施数据质量业务规则明确企业的数据质量规则,即,可重复使用的业务逻辑,管理如何清洗数据和解析用于支持目标应用字段和数据。
业务部门和IT部门通过使用基于角色的功能,一同设计、测试、完善和实施数据质量业务规则,以达成最好的结果。
步骤四:将数据质量规则构建到数据集成过程中Informatica Data Quality支持普遍深入的数据质量控制,使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。
数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成,可用来执行探查、清洗、标准化、名称与地址匹配以及监测。
Informatica数据集成产品介绍
– 业界领先的企业级数据集成平台
• PowerMart
– 部门级数据集市和分析型应用平台(通过数据集成中心(DIH)扩展)
• PowerConnect
– 用来抽取ERP,CRM,遗产系统,EAI,主机/AS400数据源和元数据
• PowerChannel
– 提供在分布式环境下的数据采集功能,支持广域网环境
E
A
B
H
S
M
P
S
R
Y
G
S
N
C
I
S
N
T
Y
L
O
L
T
R
-3%
-6%
-23%
-23%
-26%
-27%
各地区客户
日本: 超过30家客户 包括 Mitsubishi, NTT, NHK…
澳大利亚/新西兰: 超过20家客户 新加坡: 16家客户
包括 SingTel, GE, Motorola, HP 韩国: 4家客户,包括 Sumsung
大中国地区的客户
台湾: 3家客户,包括 TSMC,与NCR的紧密关系 中国大陆: ~6家客户
包括中国电信,中国联通,Motorola 香港: ~6家客户 包括 HK Exchange
Informatica 产品基本结构
Informatica数据集成产品
• PowerCenterRT
– 在Power Center基础上加入实时特性的数据集成平台
2000
2001
Informatica的客户状况
• 100强的60%是Informatica的客户 • 道琼斯工业平均指数的63% • 世界500强
Informatica主数据管理建设方案
Informatica主数据管理建设方案一、引言主数据管理(MDM)是一种重要的信息管理方法,旨在通过集中管理和维护核心业务数据,提高数据质量、一致性和可信度。
在当今信息化的时代,企业对于数据的管理和利用变得日益重要和复杂。
本文将探讨使用Informatica主数据管理来建立一个有效的数据管理方案。
二、背景随着企业规模和业务的不断扩展,数据的新增和更新速度快,数据质量问题也日益显现。
在此背景下,建立一个可靠的主数据管理系统是企业提高数据质量、强化数据治理的关键一环。
Informatica主数据管理软件为企业提供了集成数据管理、数据质量和数据治理的平台,具备高度可扩展性和灵活性,为企业的主数据管理需求提供了综合的解决方案。
三、方案概述1. 系统架构基于Informatica主数据管理的建设方案主要分为以下几个关键组成部分:- 数据集成层:负责将主数据集成到各个业务系统中,确保数据的实时性和一致性。
- 数据存储层:用于存储和管理企业的主数据,包括客户、产品、供应商等核心数据。
- 数据质量层:通过数据质量规则和验证流程,提高数据质量和准确性。
- 数据治理层:确保数据的规范性和合规性,设立数据管理的流程和权限控制。
2. 数据模型设计与实施为了有效管理企业的主数据,建立一个合理的数据模型是至关重要的。
通过Informatica主数据管理软件,可以根据各个业务需求进行数据模型的设计和定制。
根据企业的需求,可以定义不同类型的主数据实体,如客户、产品、供应商等,并在层级结构中进行组织和管理。
3. 数据集成与同步通过Informatica主数据管理的数据集成层,将主数据与各个业务系统进行集成和同步,确保各个系统的数据一致性和准确性。
可以利用Informatica的强大的ETL工具,构建数据集成和同步的工作流程,实现数据的实时同步和更新。
4. 数据质量管理Informatica主数据管理软件提供了强大的数据质量管理功能。
Informatica
Informatica从数据中淘金近几年来,随着企业对数据的重视和数据的快速膨胀,数据集成成为一个热门领域。
Informatica作为数据集成领域中最活跃的独立软件供应商之一,成立10多年来,围绕数据衍生出众多业务,获得了良好的市场业绩,并连续三年保持了20%以上的业务增长。
2月18日,Informatica公司主席兼首席执行官Sohaib Abbasi先生拜访了本报执行总编辑孙定,双方围绕数据集成技术的现状、未来发展以及Informatica的市场战略等话题进行了深入交流。
消除数据碎片孙定:作为全球知名的数据集成解决方案供应商,Informatica在数据集成领域已经有十多年的历史,你本人也在这个领域有非常丰富的经历。
在你看来,为什么客户会对数据集成产生如此强烈的需求?它的价值体现在哪里?Sohaib Abbasi: 很多公司的负责人已经认识到数据是他们最有战略价值的资产,同时也认识到,现在他们对数据的利用并不十分高效。
他们普遍面临两个方面的挑战:一个是很多企业的数据是按照不同部门、不同应用分别存储的,比如分别存储在ERP、CRM系统中,还有的是以非结构化的格式存储的,比如Excel表。
另一个是数据的质量还不是很高,有时是数据不完整,有时是数据不准确。
由于数据碎片的存在和数据质量较低,很多大型企业不能高效利用他们所拥有的数据,因此,这些大型企业迫切需要解决上述问题。
Informatica提供的工具和解决方案可以帮助他们克服面临的挑战,把他们的数据变成有利的竞争工具,比如公司发生并购的时候有效整合双方的数据。
孙定:与其他从事数据集成服务的厂商,如IBM、Oracle 等相比,Informatica有什么特别的优势?Sohaib Abbasi: Informatica是数据集成领域最大的独立软件供应商之一,是行业的领导者。
在过去的12个季度当中,Informatica连续11个季度推出新的产品。
我们的合作伙伴遍布IT行业的各个分支。
Informatica白皮书-提高业务用户的主数据采纳率
ⱑⲂк提高业务用户的主数据采纳率利用 Informatica MDM Data Controls 在业务应用程序内访问主数据,增强业务能力本文档含有 Informatica Corporation 的保密、专有信息和商业秘密信息(“机密信息”),事先未经 Informatica 的书面同意,不得进行拷贝、散发、复印或以任何其它方式复制。
尽管我们尽最大努力确保本文档中信息的准确性和完整性,但仍可能存在一些印刷错误或技术误差。
如因使用本文档所含信息而造成任何损失,Informatica 概不负责。
本文档中包含的信息随时可能更改,恕不另行通知。
Informatica 自行决定将这些材料中讨论的产品属性纳入其任何软件产品的发布或升级中,并自行决定任何此类发布或升级的时间安排。
受下列一项或多项美国专利的保护: 6,032,158;5,794,246;6,014,670;6,339,775;6,044,374;6,208,990;6,850,947;6,895,471;或受下列正在申请的美国专利的保护:09/644,280; 10/966,046; 10/727,700.此版本发布于 2010 年 11 月白皮书目录引言 . . . . . . . . . . . . . . . . . . . . . . . . . 2借助于在业务应用程序中访问主数据,增强业务能力 . . . . 2 Informatica MDM Data Controls:深入了解 . . . . . . . . . . 3层级控件: . . . . . . . . . . . . . . . . . . . . . . . . . . . 4历史控件: . . . . . . . . . . . . . . . . . . . . . . . . . . . 5集成架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6总结 . . . . . . . . . . . . . . . . . . . . . . . . . 8关于 Informatica MDM . . . . . . . . . . . . . . . . . 9关于 Informatica . . . . . . . . . . . . . . . . . . . . 9提高业务用户的主数据采纳率12引言主数据管理(MDM )能够让企业完成三项工作: 1) 凭借有关客户、产品、渠道合作伙伴、供应商和资产的及时而可信的关键业务信息,增强其业务用户的能力,这些信息亦被称为主数据;2) 管理主数据层级结构;及 3) 跟踪主数据的历史变更。
Informaica主数据管理解决方案CAPPT课件
Finance System
HR System
Account Organization
Partner Organization Product
Account Pricing
Product Organization Account
Account
Zone
Services
公司治理 IT治理
主数据治理 影响公司业务方向、管理、和控制发展路线的一系列流程、策略、惯例、规章制度 确保IT能够支撑企业战略目标的管理、组织架构、和流程。 确保企业主数据的有效性、可访问性、质量、一致性、可审性、和安全性所需要的流程、策略、标准、和 等。
技术。 业务流程
CRM System ERP System
部署情况
大量案例证明在多域主数据部署的 能力
快速部署 平均上线时间: 3-9 个月 最具伸缩性解决方案 最大 450M 主 记录数的成功案例 可验证的多域主数据 几乎一半的客 户都在统一平台上部署了客户和产品域
平台需要的能力
5
数据发布
4
为应用和数据仓库交付可信的数 据
Sales Rep
客户、产品、服务、供应商、机构、资源等组成 完整的 360度主数据视图
完整的主数据视图
不同主数据是业务的 不同视角: • 客户角度 • 产品、服务 • 机构 • 资源 • 产品角度 • 客户 • 资源 • 机构 • 供应商角度 • 产品 • 机构角度 • 产品 • 客户 • 资源 • 资源角度 • 机构 • 产品 • 客户
仪表盘
报表
产品 云计算
数据仓库
数据挖掘
1. 数据采集
区域
渠道
复杂事件处理
Informatica数据集成
Flat files Flat Files FTP Complex Files Tape Formats…
XML XML Industry Formats
Unstructured Data .PDF .DOC .XLS Email
Mainframe ADABAS Datacom DB2 IDMS IMS VSAM C-ISAM Tape Formats
•复制 •数据分发
•访问和分析 •资源规划和发布
元数据 统一系统和用户管理 3
数据集成之主流技术论述
以元数据为驱动、引擎式的工具, Informatica为代表
脚本级驱动
Case 'Y’
col2=col2*10-2 if col3=2 then col4=lkp(col1,col2) else col4=0 endif Case ‘N’ col2=10 col4=lkp(col3,col5) 4
集成
Transform and reconcile all data types
分发
Provide right data, at the right time, in the right format
PowerExchange
PowerCenter
开发与管理
以开放的元数据储存库与共享元数据为协同开发的基础
基于多目标表约束装载
错误数量控制 FTP 源和FTP目标 ETL任务分区 增量汇总 测试装载 Bulk Loading External Loader (Oracle、DB2、SYBASE…) 复用Workflow 功能丰富的Workflow控制 任务串行、并行控制 基于时间、事件和指示文件触发任务 Workflow中调用操作系统外部命令 Workflow中调用Email
Informatica主数据管理解决方案_CA
2 数据探索
3 数据质量
运营支撑
5
数
据
发 布
分析决策
服
务
仪表板
数据集市 分析报表
数据获取
1
数据集成 Data Integration
产品支持: • Informatica PowerCenter • Informatica PowerExchange • Informatica B2B Exchange
3. 制定质量提高计划
使用Analyst对数据进行全方位的剖析
Data Steward
使业务人员参与数据分析工作,提高生产力和工作效率,降低IT人员的依赖性
使用Developer开发具体任务
图形化界面,功能强大,操作简单
流间分析
在处理流程中任意位置进行分析
剖析数据源
剖析处理单元
剖析规则
量化质量,跟踪监控
完整性 COMPLETENESS
合法性 CONFORMITY
一致性 CONSISTENCY
重复性
关联性
DUPLICATION INTEGRITY
准确性
值域划分
\ACCURACY RANGE
数据质量功能一览
特性 剖析
功能
从非结构化的模式推 演数据的含义
CDI 样例
姓名: 姓+名字 (CHS,KOR,JPN); FN+MN+PN+LN (Latin);
确保企业主数据的有效性、可访问性、质量、一致性、可审性、和安全性所需要的流程、策略、标准、和 技术。
业务流程
CRM System
ERP System
Order Mgmt System
Finance System
etl流程中Informatic的使用
ETL流程中Informatica的使用什么是ETL流程ETL(Extraction-Transformation-Loading)是一种数据处理过程,用于从多个数据源中提取数据,并将其转换为可用于分析和存储的目标数据库或数据仓库。
这是一种重要的数据集成方法,可用于整理、转换和处理大量的数据。
Informatica简介Informatica是一种用于数据集成和管理的强大软件平台。
它提供了一个统一的环境,使用户能够从各种源系统中提取数据,并将其转换、清洗和加载到目标系统中。
Informatica具有灵活的架构和丰富的功能,可以轻松处理各种ETL任务。
Informatica的主要组件Informatica由几个主要组件组成,每个组件都具有不同的功能和用途。
以下是Informatica的主要组件:1.源系统连接器:Informatica提供了许多连接器,用于连接不同类型的源系统,如关系型数据库、文件、Web服务等。
2.转换器:Informatica提供各种转换器,用于对数据进行各种转换和操作,如清洗、过滤、合并、拆分等。
3.加载器:Informatica的加载器组件用于将转换后的数据加载到目标系统中,如数据仓库、数据湖等。
4.目标系统连接器:Informatica支持将数据加载到不同类型的目标系统中,包括关系型数据库、文件等。
5.管理控制台:Informatica的管理控制台用于管理和监视ETL流程,包括任务调度、错误处理等。
ETL流程中使用Informatica的步骤在进行ETL流程中使用Informatica时,通常需要按照以下步骤进行操作:1.需求分析:首先,需要明确ETL流程的需求和目标,包括数据来源、目标系统、数据转换规则等。
2.数据提取:使用Informatica的源系统连接器,从源系统中提取数据。
可以选择适合的连接器,如关系型数据库连接器、文件连接器等。
3.数据转换:使用Informatica的转换器组件对提取的数据进行必要的转换和操作。
精通DAC+Informatica管理
精通DAC+Informatica管理Author: 罗勇Creation Date: 2010-10-13Last Updated: 2010-10-14Document Ref:Version: 1.0Email: yong.luo@Copy Number _____精通DAC+Informatica管理2010-10-15Contents1.什么是DAC (2)2. DAC 用户界面 (3)2.1. Design 界面 (3)2.2. Setup界面 (4)2.3. Execute界面 (4)3. DAC框架结构 (5)4.如何部署Informatica Workflow (6)4.1.Setup-配置基本信息 (6)4.2.Tools-创建Folder (7)4.3.File-创建 Container (8)4.4.Design-创建Source System Folders (8)4.5.Design-引入表,索引,列 (9)4.6.Design-添加Task (10)4.7.Design-添加Subject Area (11)4.8.Design-添加Source System Parameter (12)4.9.Execute-添加Execution Plans (12)4.10.Execute-添加Scheduler (13)5.其他功能 (14)5.1.查看运行历史错误 (14)5.2.查看运行统计信息 (15)5.3.有关DAC配置分区表 (16)6总结 (17)1.什么是DACData WarehouseAdministration Console (DAC),它是Oracle Business Analytics Warehouse architecture中的一部分(如下图)。
、图 1-1它主要用来管理Informatica中的ETL过程,也就是我们在Informatica中设计的workflow,包括workflow的执行计划,全自动的控制Full Load 和Increment Load ,workflow的参数管理,控制ETL的优先顺序和负载平衡,也可以从工作流的失败点重新启动等。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Account Zone
Services
.
主数据管理的不同实现路径
平台级 MDM
客户
产品
COA
根据客户的特 有需求进行配 置,使用不同
客户需求
• 灵活的数据模型 • 可定制的业务逻辑和工作流程 • 可配置的用户界面/接口
COA Product Customer
应用级 MDM
预置的应用以 解决特定的主
统一主数据管理平台方案
但彬 Informatica 中国
Informatica 专注于数据集成的独立软件开发商
• 成立时间: 1993 • 2012年收入为: 8.116亿美元 • 7年平均增长率:每年17% • 员工人数: 2,810多人 • 合作伙伴: 450多家
• 主要的系统集成商、独立软件供 应商、原始设备制造商和按需生 产的先驱
• 客户: 超过5,000家
• 客户遍布全球82个国家 • 直接客户遍布全球28个国家 • 客户忠诚度排名位居榜首
(已连续7年获此殊荣)
.
Informatica 产品定位
外部数据
云计算
套装应用
非结构化数据
业务系统
ERP
CRM
PLM
财务
办公
网站
•任意格式 •任意数据源
•任意延时 •任意模式
2. 数据审计与发现
Merrill Lynch, Deutsche Bank, Johnson & Johnson, Pfizer, Apple, Kodak, Cadbury, …
跨越多行业的客户解决方案 (25+ solutions)
部署情况
大量案例证明在多域主数据部署的 能力
快速部署 平均上线时间: 3-9 个月 最具伸缩性解决方案 最大 450M 主
(数据探查)
5. 主数据和参 考数据管理
客户
产品
区域
渠道
•Any format •Any
source •Any
latency •Any mode
6b. 数据虚拟 化
数据仓库
复杂事件处理
1. 数据采集
3. 数据质量管理
(建立和管理数据质量规则 ,仪表盘,报警等)
4. 数据处理
7. 数据归档
分析应用
BI 仪表盘
.
ESB
ODS
ESB
统一客户数据平台架构
业务应用
1
遗留数据
企 业
数
据
集
Account
Account Zone
Services
.
客户、产品、服务、供应商、机构、资源等组成 完整的 360度主数据视图
完整的主数据视图
不同主数据是业务的 不同视角:
• 客户角度 • 产品、服务 • 机构 • 资源
• 产品角度 • 客户 • 资源 • 机构
• 供应商角度 • 产品
• 机构角度 • 产品 • 客户 • 资源
Account
Account Zone
Services
.
从主数据入手,提升主数据质量,是业务管控的基础
• 主数据的重要性——大多数的数据质量问题是主数据问题 • 使治理目标和范围明确 • 主数据系统使咨询内容落地
公司治理 IT治理
影确响保企公业司主业数据务确的方有保向效IT、性能、管够可理支访、问撑性和企、控业质制战量发、略一展目主致路数标性。据线、的治可的管理审一理性系、、列和组安流织全程架性、所构需策、要略和的、流流惯程程、例。策、略规、标章准制、度和等
技术。
CRM System
ERP System
业务流程
Order Mgmt System
Finance System
HR System
Account Organization
Sales Rep
Partner Organization
Product
Account Pricing
Product Organization
Acct Rep MDM Account
数据服务
Customer Product
DI/DQ
决策支持
DW
人力资源
数据管理
Account Organization
Sales Rep
Partner Organization
Product
Account Pricing
Product Organization
报表 数据挖掘
8. 元数据管理 (操作型, 技术型, 业务层)
归档
.
内容提要 • 从公司治理到主数据管理 • 主数据平台解决方案 • Informatica 案例分享
.
集团企业数据利用的发展与挑战
• 不同的系统管理各种业
务流程
• 走向精细化协同管理
投资管理
• 利用数据仓库汇集数据
• 但是企业内外协同受信
记录数的成功案例
可验证的多域主数据 几乎一半的客 户都在统一平台上部署了客户和产品域
.
平台需要的能力
5
数据发布
为应用和数据仓库交付可信的数 据
4
数据管理
管理统一、可信、真实的主数据
3
数据清洗
数据清洗和标准化
2
数据探索
剖析、发现数据内容、一致性、数据结构
1
数据获取
从不同的应用和数据源访问、获取数据
经验证的多域主数据方案
Informatica MDM 提供产品、客户、账户等关键数据 的统一视图,快速低成本提升业务运营、客户体验、以
及合规等能力
市场影响力
跨越多行业的平台级解决方案 (Financial Services, Life Sciences,
High Tech …)
超过 50% 的财富 500 企业和全球 500 强企业
息流现状的制约
• 面临的问题
• 数据标准
• 数据质量 • 管控流程 • ……
Account Organization
Sales Rep
客户服务
Partner Organization
Product
财务管理
决策支持 人力资源
企业数据仓库
企业数据集成
集团
产业 集团
Account Pricing
Product Organization
数据问题 (customer,
product, financial)
• 预定义数据模型
• 预定义的业务逻辑和工作流程
• 预定义的用户界面/接口
• 解决不同领域业务问题
• 可用统一的平台扩展到解决其他业务问 题和领域
• 解决特定领域的业务问题 • 扩展到其他业务领域需要购买新的应用
.
Informatica MDM 简介
• 资源角度 • 机构 • 产品 • 客户
金融客户
意外
储蓄
机票
积分
航空客户
健康 养老
业务经理
支付 助学
保险代理
孩子
父母 客户
航段
企业
航空
网上业务 离港
住宅
收件
物流客户
物流
配偶 旅行代理
发件
.
企业集团主数据平台集中管理各类主数据
投资管理
客户服务
财务管理
社交媒体
Organizatio n