Informatica元数据管理..
主数据管理和数据迁移-Informatica
白皮书主数据管理和数据迁移本文档含有 Informatica Corporation 的保密、专有信息和商业秘密信息（“机密信息”），事先未经Informatica 的书面同意，不得进行拷贝、散发、复印或以任何其它方式复制。
尽管我们尽最大努力确保本文档中信息的准确性和完整性，但仍可能存在一些印刷错误或技术误差。
如因使用本文档所含信息而造成任何损失，Informatica 概不负责。
本文档中包含的信息随时可能更改，恕不另行通知。
Informatica 自行决定将这些材料中讨论的产品属性纳入其任何软件产品的发布或升级中，并自行决定任何此类发布或升级的时间安排。
受下列一项或多项美国专利保护：6,032,158；5,794,246；6,014,670；6,339,775；6,044,374；6,208,990；6,850,947；6,895,471；或受下列正在申请的美国专利保护：09/644,280；10/966,046；10/727,700。
此版本发布于 2014 年 11 月白皮书目录MDM 对数据迁移为何至关重要 (2)第 1 个问题：进行苹果与苹果的比较 (2)按时启动：中间步骤 (3)案例：若干产品 (4)第 2 个问题：质量至关重要 (4)案例：整合公司总部系统和本地系统 (5)数据迁移是提升 MDM 价值的途径 (5)主数据管理和数据迁移1本白皮书描述主数据管理对数据迁移项目日益增长的重要性、有用之处和最佳部署选项，其中包括相关案例研究。
MDM 对数据迁移为何至关重要每个新系统均需要数据来促进活动的启动。
大多数新系统需要若干数据。
如今，除了通过邮局地址文件等外部源丰富新系统以外，我们正在将大量遗留源中的数据迁移至新系统。
Informatica 数据迁移工具套件将部署一整套技术和最佳实践流程，旨在解决当今数据迁移场景中涌现的一系列挑战。
但首先，我们一起来看看市场背景。
尽管目标系统可能会涵盖各种功能，但数据源就好比是烟囱式解决方案，每一款解决方案均围绕不同的业务流程、不同的业务领域而设计。
Informatica元数据管理..
7
CWM元模型的包结构
管理
仓库过程
分析
仓库操作 数据 挖掘
转换
资源
OLAP 分析
信息可视化
业务术语
对象 (UML) 关系型资源
数据 类型
记录型
键 索引
多维
XML
基础
业务信息
表达式
类型映射
软件发布
对象模型
UML 1.3 (基础，行为元素，模型管理)
8
元数据基础知识
MM软件架构
MM软件特点 元数据应用案例
ETL
BI
CASE
ERP
XML
Flat Files
?
DBMS EAI MS Office
Others
20
可扩展的Web-Based体系结构--灵活的开发和部署
• • •
百分之百基于Web J2EE兼容平台 内嵌的私有化设置 对象和功能层次的许可 可扩展性 任何信息, 任何关联, 任何元数据模型 (基于OMG MOF协议) 友好的入口 Web服务, 完全SDK 没有隐藏的议程 开放的关系型数据库, 操作系统, 服务器支持
9
Informatica Metadata Manager 体系结构
Data Modeling
Metadata
Custom Metadata Metadata
Business Intelligence
Metadata Manager
Sources
Metadata Metadata
Targets
Metadata
ETL BI
- PowerCenter 6.x, 7.x*
- PowerMart 6.x, 7.x*
INFORMATICA总结
Informatica总结rmatica中关键词：(一)源表：即源表来自于数据库的表，例如在job100下面的源表是一些PRPCmain、CD码表、ODS表等一些表主要是来自于核心生产库中的表；job200下面的源表是些CD、ODS、MID表；job300下面的源表主要是CD、ODS、MID、olap表。
(二)元数据:元数据就是来自于数据库的基本表,起初的表(三)目标表：在执行完一个job后最终将数据存储在的表即目标表。
(四)映射：简单来讲将源表的数据导入目标表的过程就是一个映射。
(五)工作集：在一个job中执行的转化其中的每一个过程就相当于一个工作集。
(六)工作流：相当于在kettle中执行一个job的过程。
2.designer界面主要是定义源表和目标表生成映射的过程。
3.workflow界面编辑工作集执行工作流的过程。
4.monitor界面主要是为了执行完工作流之后查看工作日志的过程。
关于数据库方面(1).在Informatica中创建源和目标表的时候：在designer中创建源:来自于核心生产库在本地的配置文件中进行配置创建目标表:来自MIS生产库或者是测试库在本地的配置文件中进行配置根据这个路径E:\oracle\product\10.2.0\db_1\network\admin\tnsnames.ora找出.ora文件(2)创建工作流和工作集的时候:在workflow中,在进行启动的时候：在进行刷数参数配置在C:\Windows\System32\drivers\etc添加88.22.34.188 zj-misetl路径：/home/info_param data_param_test.txt文件是在windows32相对应的文件夹的下面在启动工作流的时候:配置数据库的文件不在本地文件中而是在Linux系统下面所以需要和Linux系统相连，通过xftp连接Linux系统，找到配置数据库的时候需要的文件。
Informatica 产品 PowerCenter介绍
集成技术
Data Integration Platform
实现方法
Integration Competency Center (ICC)
企业数据类型
Applications Databases Messages Flat files XML
Unstructured Data Mainframe
15
Informatica主要特点4 高开发效率
Provide UI information in template XML file
Template XML
Step 3
DI Developer
Meaningful use case specific wizard
Visio Mapping Template
Slowly Changing Dimension Wizard
Integrate Customer Analytics Data
Consolidate Customer Systems
Upgrade Sales Comp Systems
Integrate with Hewitt
数据获取形式
Enterprise Data Integration
体系架构
Service Oriented Architecture (SOA)
Server 2 Nodห้องสมุดไป่ตู้ 2
HA File System Shared Directory
Domain
Gateway
B
Log
B
HA Database
Integration P Repository B
? DB and shared directory are highly available
Informatica数据集成产品介绍
元数据共享
• Informatica的局部和全局的元数据库 （Local and global metadata repository） 可以注册各部门级数据市场的信息并可动 态将部门级数据市场与其它分布式信息存 储连接起来，从而可以得到全企业的统一 的数据仓库元数据视角。
PowerCenter与数据仓库系统
产品结构
• • • • • Informatica Server Workflow Manager , monitor Informatica Repository Server Repository Manager Designer
Informatica Server
• 数据集成引擎 • 支持各种操作平台，各种源、目标数据库
Designer
• • • • • • • 可视化设计环境 版本管理 丰富的转换函数 支持复杂条件选择 支持数据驱动的合并 直接支持SCD（慢速变化维） 调试工具
– 提供数据采样、断点、查询中间结果等功能
世界级客户
金融/服务业 制造业/高科技 通信业 保险业 医药
使用Informatica系统的企业
收入增长
200 160
2000 – 2001 的增长率: 30% $152
$197
120
80
$62.4 $30.3
40
$2.1
0 1996
$12.7
1997 1998 1999 2000 2001
Informatica的客户状况
• 100强的60%是Informatica的客户 • 道琼斯工业平均指数的63% • 世界500强
– – – – – 所有顶尖的娱乐集团 15家最大的电信集团，有12家是Informatica的客户 10家最大的金融服务/银行集团，有8家是Informatica的客户 15家顶级的公用事业/能源集团，有11家是Informatica的客户 10家最大的保险集团，有8家是Informatica的客户
Informatica数据隐私管理说明书
Key Benefits• Protection and monitoring of personal and sensitive data to fuel data-driven digital transformation and support for privacy and compliance efforts• Centralized visibility across data platforms and types, providing the support needed for today’s complex environments• Continuous risk analysis of personal and sensitive data,to prioritize resources and investments across functional, geographic, and line of business views• AI-driven detection to uncover high-risk, anomalous data usage • A single view of data subjects’ information to provide identity capabilities (rights and consents requests) required for GDPR, CCPA and other privacy legislation• Automated orchestration and protection with sensitive data intelligence remediates privacy and security risks Metadata-driven Intelligence and Automation to Operationalize PrivacyInformatica® Data Privacy Management helps you discover, classify, analyze, protect and monitor personal and sensitive data across your organization. It leverages artificial intelligence (AI) to deliver actionable data discovery and classification, risk scoring, data subject identity capabilities, behavioral analytics, and automated protection in a single solution. It supports structured, semi-structured and unstructured data in the cloud, on premises, in big data stores, and in relational and mainframe systems.Informatica Data Privacy Management helps you prioritize data protection and privacy investments, policies, processes, and programs:• Discover and classify your sensitive data: Gain global visibility into personal and sensitive data across the enterprise with data classification, discovery, proliferation and process analysis, user access, and activity correlation.• Map individual identities to sensitive data: Understand sensitive data by individual identities and quickly locate an individual’s sensitive data to support privacy requests.• Analyze and monitor privacy risk: Track data risk and remediation of misuse and privacy violations based on multiple factors, customize to your organization’s needs, and identify top risk areas based on privacy regulation requirements. Risk simulation helps you understand the impact of data controls before implementation.• Continuously monitor data movement, access, and user activity: Leverage analytics to detect suspicious or unauthorized data access by continuously correlating, baselining, analyzing, and alerting on high-risk conditions and potential anomalous behaviors that threaten sensitive data.• Protect personal and sensitive data and remediate risk: Automate the orchestration of data security controls to protect data at rest and in use, prevent unauthorized access, and de-identify/anonymize/pseudonymize sensitive data. Initiate remediation workflows with custom scripting, automated email notifications of security policy violations, ServiceNow integration, andout-of-the-box third-party protection integration.Data SheetKey FeaturesDiscover and Classify Sensitive Data• Discover, classify and analyze the risk of sensitive and personal data across the enterprise—in structured data across traditional relational databases, including mainframes; semi-structured and unstructured data in environments such as Hadoop repositories, Amazon S3; file mounts (e.g., CIFS); and SharePoint.• Attain complete sensitive data visibility with dashboards and drill-downs to identify functional and organizational information such as department, application, user, and data storage types.• Gain a complete understanding of data, its movement, and its usage in business processes with proliferation tracking and interactive visualizations—both inside and outside the enterprise and between partner and client organizations.Figure 1. Informatica Data Privacy Management provides 360-degree visibility of sensitive data through its dashboard.Support Regulatory Compliance• Accelerate and continuously measure regulated privacy data compliance with risk scoring based on customizable factors, including data sensitivity, volume, protection, proliferation, location, and user activity.• Apply a combination of data domains to define GDPR, CCPA, PII, PHI, and PCI risks relevantto policies, laws, and regulations.• Leverage subject registry for a single view of data subjects across structured and unstructured data. Provide automated matching and linking of data subjects’ records for privacy legislation compliance and to support the execution and management of subject rights and consent requests.• Enforce compliance with automated remediation, stakeholder notification, continuous monitoring of user behavior and sensitive data proliferation across data stores and geographic locations.About InformaticaDigital transformationchanges expectations: betterservice, faster delivery, withless cost. Businesses musttransform to stay relevantand data holds the answers.As the world’s leader inEnterprise Cloud DataManagement, we’re preparedto help you intelligently lead—in any sector, category, orniche. Informatica providesyou with the foresight tobecome more agile, realizenew growth opportunities, orcreate new inventions. With100% focus on everythingdata, we offer the versatilityneeded to succeed.We invite you to exploreall that Informatica hasto offer—and unleash thepower of data to drive your next intelligent disruption.Worldwide Headquarters 2100 Seaport Blvd., Redwood City, CA 94063, USA Phone: 650.385.5000, Toll-free in the US: 1.800.653.3871IN06_1120_03836© Copyright Informatica LLC 2020. Informatica and the Informatica logo are trademarks or registered trademarks of Informatica LLC in the United States and other countries. A current list of Informatica Protect Personal and Sensitive Data • Identify critical data protection priorities and create plans to support privacy by design objectives.• Protect sensitive data with automated remediation that leverages integrated Informatica Dynamic Data Masking, Persistent Data Masking, and third-party protection methods such as Hortonworks Ranger and Cloudera Sentry.• Integrate with custom scripts, email notifications, system log messages, or ServiceNow tickets. Configure these actions to run when triggered by security policy violations or run them manually when potential risks are detected.For more information, visit the Data Privacy Management Product Page。
INFORMATICA关于WORKFLOWManager系统的元数据解析
INFORMATICA关于WORKFLOWManager系统的元数据解析INFORMATICA关于WORKFLOW Manager系统的元数据解析关键词：INFORMATICA,WOR Manager,元数据informaica是一个很强大的ETL工具。
其WORKFLOW MANAGER负责对ETL调度流程进行设计与管理和执行！informatica在在资料库中提供以下表来存储调动流程的相关信息。
以便WORKFLOW MANAGER对用户所设计的调动流程进行管理和执行。
opb_wflow_dep:描述workflow执行步骤相关信息和每个步骤执行的条件信息opb_wflow_dep_run：描述workflow执行步骤运行时相关信息opb_wflow_expr ：描述workflow中相关的表达式或条件的相关信息opb_wflow_perval：描述workflow可持续性变量相关信息opb_wflow_run:描述workflow运行日志相关信息opb_wflow_var:描述workflow变量相关信息opb_task:描述任务对象的基本信息opb_task_attr:描述任务对象相关的属性的信息opb_task_inst:描述任务对象实例的基本信息opb_task_inst_run:描述任务对象实例运行日志相关信息opb_task_val_list:描述任务对象实例中command信息WORKFLOW MANAGER系统中常用的有这几个模块，Command模块，Session模块，Waiting_Event模块，Raising_Event模块，Assignment模块，Worklet模块WORKFLOW MANAGER系统中上述的这些模块统称为任务(Task).如果你对一个模块进行了复制后新的模块就称作该任务的任务实例（Task_Inst）.WORKFLOW MANAGER系统中Worklet模块可以有其他非Worklet模块组成。
Informatica主数据管理解决方案
11
平台需要的能力
5
数据发布
为应用和数据仓库交付可信的数 据
4
数据管理
管理统一、可信、真实的主数据
3
数据清洗
数据清洗和标准化
2
数据探索
剖析、发现数据内容、一致性、数据结构
1
数据获取
从不同的应用和数据源访问、获取数据
Content Embargo Until June 4th, 2013 at 5:00pm PST
Du重pli复ca性tio: n: Fuz模zy糊m匹at配ching 完整合性法: 性: 丢失关非键法数格值式
一致性: 数据C是on格si式ste正n确cy并: 完整，
In但co不rre符ct合F业orm务a逻t 辑
值域划分: 界定数值范围
准关确联性性: : 须利识用别其记他录数关据系来 验证其准确程度
跨越多行业的客户解决方案 (25+ solutions)
部署情况
大量案例证明在多域主数据部署的 能力
快速部署 平均上线时间: 3-9 个月 最具伸缩性解决方案 最大 450M 主
记录数的成功案例
可验证的多域主数据 几乎一半的客 户都在统一平台上部署了客户和产品域
Content Embargo Until June 4th, 2013 at 5:00pm PST
完整的主数据视图
不同主数据是业务的 不同视角： • 客户角度
• 产品、服务 • 机构 • 资源 • 产品角度 • 客户 • 资源 • 机构 • 供应商角度 • 产品 • 机构角度 • 产品 • 客户 • 资源 • 资源角度 • 机构 • 产品 • 客户
金融客户
意外
储蓄
机票
积分
informatica工作原理 -回复
informatica工作原理-回复Informatica工作原理: 实现数据集成、数据质量和数据管理的关键技术引言：在当今数字化时代，数据成为了企业决策和战略规划的问题。
然而，大量分散在不同系统和数据源中的数据给企业数据分析和管理带来了很大挑战。
为了解决这些问题，许多组织都转向了数据集成和数据管理解决方案。
而其中的佼佼者就是Informatica。
在本文中，我们将深入探讨Informatica工作原理，了解它如何实现高效的数据集成、数据质量和数据管理。
第一部分：数据集成数据集成是将分散在不同数据源中的数据整合在一起，以获得一致、可信的数据视图的过程。
Informatica通过以下步骤实现数据集成：1. 数据源连接：Informatica可以连接到各种数据源，包括数据库、文件、应用程序和云端存储。
它使用统一的接口和驱动程序来实现连接，并建立与数据源之间的通信。
2. 数据提取：Informatica从不同的数据源中提取数据。
这可以通过读取数据库表、文件或执行Web服务调用来实现。
数据提取是通过查询或API 调用来完成的，并将数据保存在Informatica的数据集成引擎中。
3. 数据转换：在数据提取后，Informatica对数据进行转换和清洗，以确保数据的一致性和准确性。
数据转换可以包括数据格式转换、数据清洗、数据合并、数据筛选等操作。
4. 数据加载：一旦数据经过转换和清洗，Informatica将数据加载到目标系统中。
这可以是目标数据库、文件、数据仓库或其他应用程序。
第二部分：数据质量数据质量是确保数据准确性、一致性和完整性的一项关键任务。
Informatica通过以下方式确保数据质量：1. 数据校验：Informatica对数据进行校验，以确保数据的准确性和一致性。
它可以检查数据的完整性、有效性和规范性，并根据预定义的规则和逻辑对数据进行验证。
2. 数据清洗：Informatica清洗数据以去除重复项、缺失值和错误数据。
informatica工作原理
informatica工作原理Informatica是一家全球知名的数据集成和数据管理公司，其工作原理涉及到多个关键组件和技术。
本篇文章将详细介绍Informatica 的工作原理，包括其核心组件、数据处理流程、数据传输方式以及安全机制等方面。
一、核心组件Informatica的核心组件包括PowerCenter、PowerExchange和PowerDesigner等。
这些组件共同构成了Informatica的数据集成平台，提供了数据抽取、转换、清洗、加载等功能。
1.PowerCenter：作为Informatica的核心数据集成引擎，PowerCenter负责执行数据抽取、转换和加载等操作。
它支持多种数据源和目标，包括关系型数据库、非关系型数据库、文件系统等。
PowerCenter通过使用流处理引擎和批量处理引擎，实现了高效的数据处理能力。
2.PowerExchange：PowerExchange是Informatica的数据传输组件，负责在不同的数据源和目标之间进行数据传输。
它支持多种传输协议，如TCP、HTTP、JMS等，可以保证数据传输的可靠性和稳定性。
3.PowerDesigner：PowerDesigner是Informatica的数据模型设计工具，用于创建和编辑数据模型。
它提供了丰富的图形化界面，方便用户设计数据模型并生成相应的元数据。
二、数据处理流程Informatica的数据处理流程主要包括数据抽取、转换、清洗、加载和验证等步骤。
具体流程如下：1.数据抽取：从源数据存储中提取所需的数据，并将其加载到Informatica的数据仓库中。
2.数据转换：将抽取的数据进行转换和清洗，以满足目标系统的要求。
这一步骤可能包括数据类型转换、格式转换、去除重复数据等操作。
3.数据加载：将清洗后的数据加载到目标系统中，完成数据的最终传输。
4.验证：对加载的数据进行验证，确保数据的准确性和完整性。
Informatica主数据管理解决方案精品课件(一)
Informatica主数据管理解决方案精品课件(一)Informatica主数据管理解决方案是一个全面的数据治理解决方案，可以帮助企业更好地管理其不同应用程序中的数据，并提高数据质量。
本课件将向您详细介绍Informatica主数据管理解决方案的基本组成部分，以及如何使用该解决方案来解决数字化转型的挑战。
第一部分：解决方案概述1.1 Informatica主数据管理解决方案的基本概念1.2 该解决方案如何帮助企业处理数据问题1.3 解决方案的主要好处第二部分：解决方案组成2.1 数据模型2.2 数据集成2.3 数据质量2.4 数据分析和报告2.5 安全和合规性第三部分：数据模型3.1 模型的构建3.2 属性定义和管理3.3 数据元素和数据域3.4 属性视图和观点3.5 数据管理第四部分：数据集成4.1 数据同步4.2 数据转换和规范化4.3 数据协调4.4 数据质量表现第五部分：数据质量5.1 数据质量度量和指标5.2 数据质量规则和验证5.3 数据质量监控和报告5.4 数据清理和修正第六部分：数据分析和报告6.1 数据仪表盘和报表6.2 数据可视化和探索6.3 高级数据分析6.4 数据敏感性和保护第七部分：安全和合规性7.1 数据访问和控制7.2 数据保护和加密7.3 合规性和审计7.4 政策管理和执行第八部分：解决方案实现8.1 解决方案建设8.2 项目规划和管理8.3 解决方案评估和验证8.4 解决方案部署和维护结论：通过这个课件，您可以了解Informatica主数据管理解决方案的主要组成部分、优势和应用场景。
这个解决方案可以帮助您改善您的数据管理，提高数据质量，优化数据利用，设立数据规则，并保证数据的安全性和合规性，最终实现企业的数字化转型。
六步法：Informatica数据质量控制方法
六步法：Informatica数据质量控制方法第一篇：六步法：Informatica 数据质量控制方法Informatica 数据质量控制方法一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目，业务部门与IT 部门的相关人员将各自具有明确角色和责任，配备正确的技术和工具，以应对数据质量控制的挑战。
Informatica 的六步法为帮助指导数据质量控制而设计，从初始的数据探查到持续监测以及持续进行的数据优化。
业务部门与IT 部门的数据使用者—业务分析师、数据管理员、IT 开发人员和管理员，能够在六个步骤的每一步中协同使用Informatica 数据质量解决方案；并在整个扩展型企业的所有数据领域和应用程序中嵌入数据质量控制。
步骤一：探查数据内容、结构和异常第一步是探查数据以发现和评估数据的内容、结构和异常。
通过探查，可以识别数据的优势和弱势，帮助企业确定项目计划。
一个关键目标就是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。
步骤二：建立数据质量度量并明确目标Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。
步骤三：设计和实施数据质量业务规则明确企业的数据质量规则，即，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。
业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。
步骤四：将数据质量规则构建到数据集成过程中Informatica Data Quality支持普遍深入的数据质量控制，使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。
数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成，可用来执行探查、清洗、标准化、名称与地址匹配以及监测。
ETL抽取工具Informatica介绍-1
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
PowerCenter体系结构 PowerCenter体系结构
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
1个或多个（Repository）
• PowerCenter数据整合引擎是基于元数据驱动的，提 供了基于元数据驱动的元数据知识库（Repository） ，该元数据知识库可以在主流的关系型数据库中部署 。该元数据库中存储所有的ETL元数据，包括：源、 目标表的物理和逻辑元数据， ETL转换规则，知识库 用户权限，ETL任务运行历史信息等元数据。
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
主流的ETL厂商和产品 主流的ETL厂商和产品 ETL
• 专业ETL厂商和产品包括Ascential公司的Datastage 、Informatica公司的Powercenter、 NCR Teradata 公司的ETL Automation
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
Informatica主要特点
• 4）字段的拆分，内置众多的字符串函数，例如 SUBSTR, Instr等，可完成字段的拆分、合并等操 作。 5）多字段的混合运算，内部具有Expression组件 ，可增加复杂的多字段混合计算，同时可嵌入100 多种函数和参数，极大的提高了计算表达式的灵活 性。
用于连接应用 数据， 数据， 如 ERP （ SAP）、 ）、 EAI（ MQ） （ ）
VANDA SYSTEMS & COMMUNICATIONS HOLDINGS LIMITED
Informatica主数据管理建设方案
Informatica主数据管理建设方案一、引言主数据管理（MDM）是一种重要的信息管理方法，旨在通过集中管理和维护核心业务数据，提高数据质量、一致性和可信度。
在当今信息化的时代，企业对于数据的管理和利用变得日益重要和复杂。
本文将探讨使用Informatica主数据管理来建立一个有效的数据管理方案。
二、背景随着企业规模和业务的不断扩展，数据的新增和更新速度快，数据质量问题也日益显现。
在此背景下，建立一个可靠的主数据管理系统是企业提高数据质量、强化数据治理的关键一环。
Informatica主数据管理软件为企业提供了集成数据管理、数据质量和数据治理的平台，具备高度可扩展性和灵活性，为企业的主数据管理需求提供了综合的解决方案。
三、方案概述1. 系统架构基于Informatica主数据管理的建设方案主要分为以下几个关键组成部分：- 数据集成层：负责将主数据集成到各个业务系统中，确保数据的实时性和一致性。
- 数据存储层：用于存储和管理企业的主数据，包括客户、产品、供应商等核心数据。
- 数据质量层：通过数据质量规则和验证流程，提高数据质量和准确性。
- 数据治理层：确保数据的规范性和合规性，设立数据管理的流程和权限控制。
2. 数据模型设计与实施为了有效管理企业的主数据，建立一个合理的数据模型是至关重要的。
通过Informatica主数据管理软件，可以根据各个业务需求进行数据模型的设计和定制。
根据企业的需求，可以定义不同类型的主数据实体，如客户、产品、供应商等，并在层级结构中进行组织和管理。
3. 数据集成与同步通过Informatica主数据管理的数据集成层，将主数据与各个业务系统进行集成和同步，确保各个系统的数据一致性和准确性。
可以利用Informatica的强大的ETL工具，构建数据集成和同步的工作流程，实现数据的实时同步和更新。
4. 数据质量管理Informatica主数据管理软件提供了强大的数据质量管理功能。
Informatica元数据解析
Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。
当然Infa本身工具提供了很多的人性化的功能，使我们在开发时可以很方便的进行操作，但人们的需求总是万变的，需要方便的取到自己需要的信息，那就需要我们对他的元数据库有很深的了解。
Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。
当然Infa本身工具提供了很多的人性化的功能，使我们在开发时可以很方便的进行操作，但人们的需求总是万变的，需要方便的取到自己需要的信息，那就需要我们对他的元数据库有很深的了解。
Informatica通过表和视图给我们提供着所有的信息，在此将通过一个系列的帖子，将大部分常见的，且非常有用的表及视图介绍一下。
基于这些东西，我们即可以根据不同的需求查出自己需要的数据，也可以开发一些辅助的Infa应用程序。
....FIRST_ERROR_MSG: No errors encountered.用途：这是在查Session运行情况的最终要的表之一，可以最简便的得到Session是否运行正常及当初错时的首个错误简要信息，以及日志文件的位置OPB_SRC:INFORMATICA DESIGNER中所定义的所有源例如：SRC_ID: 12SUBJ_ID: 27FILE_NAME: AM_EQP_ASSESSSOURCE_NAME: AM_EQP_ASSESS用途：通过Subj_Id的关联，可以查出每个Folder中所有定义了的源OPB_SRC_FLD:INFORMATICA中源表的所有字段的定义例如：FLDID: 82SRC_ID: 12SRC_NAME: FLAG_ID用途：关联上表，得出该源表的所有字段，及其定义和相关属性值OPB_SRV_LOC_VARS:INFORMATICA系统服务器配置中，所有的系统变量及变量的当前值例如：VAR_ID: 13VAR_NAME: $PMRootDirVAR_VALUE: D:Program FilesInformatica PowerCenter用途：查看当前服务器的所有系统变量及其当前值OPB_SUBJECT:INFORMATICA中所有主题定义，即所有Folder的定义及相关属性例如：SUBJ_NAME: OAMSUBJ_ID: 2GROUP_ID: 3用途：Folder的ID是其他很多表的外键，作为其他表的关联，可以查看该Folder下的所有相关对象信息OPB_SWIDGET_INST:记录一个Session中所用到的Mapping引用到的所有对象及其相关属性，即细到每个转化模块一条记录例如：SESSION_ID: 11MAPPING_ID: 3INSTANCE_NAME: LKP_OTHER_CHECK11PARTITION_TYPE: 1用途：查看每个Session所引用到的所有对象，及其当前的属性值OPB_SWIDGINST_LOG:INFORMATICA运行后，所有运行了的Session中相关源及目标对象的运行日志，即运行的时间，抽取的数据成功条数等例如：TASK_INSTANCE_ID: 92PARTITION_ID: 1PARTITION_NAME: Partition #1WIDGET_NAME: SQ_SHIFT_CODEAPPLIED_ROWS: 723START_TIME: 2004-11-4 8:48:12END_TIME: 2004-11-4 8:48:31用途：这是INFORMATICA运行后，对每个对象的运行情况的最详细的日志记录，对于数据正确性的检查，性能的调优等有着很重要的参考价值OPB_SWIDG_GROUP:在INFORMATICA DESIGNER 中Union_Transformation模块上的所有Group的定义表例如：SESSION_ID: 1410GROUP_NAME: PM_GROUP1用途：该表单独记录了Union_Transformation模块上所有设置了的Group，可以通过关联查出一个Session上所有的Union Group定义OPB_TABLE_GROUP:在INFORMATICA DESIGNER 中Router Transformation模块上的所有Group的定义表.例如：OBJECT_ID: 3409ATTR_VALUE: FROM_ID = 'xx'用途：该表单独记录了Router Transformation模块上所有设置了的Group，以及Group的分组条件，可以通过关联查处出一个Mapping中Route r的所有分组设置及其分组条件OPB_TARG:在INFORMATICA DESIGNER 中所有目标表的定义OPB_TABLE_GROUP:在INFORMATICA DESIGNER 中Router Transformation模块上的所有Group的定义表.例如：OBJECT_ID: 3409ATTR_VALUE: FROM_ID = 'xx'用途：该表单独记录了Router Transformation模块上所有设置了的Group，以及Group的分组条件，可以通过关联查处出一个Mapping中Route r的所有分组设置及其分组条件OPB_TARG:在INFORMATICA DESIGNER 中所有目标表的定义例如：TARGET_ID: 3SUBJ_ID: 2TARGET_NAME: HAM_DEPT用途：该表存储了所有的目标表定义，通过关联可以查出某个Folder下所有的目标表定义OPB_TARGINDEX:在INFORMATICA中对目标表，可进行Index的定义，该表存储了所有目标表Index的定义例如：TARGET_ID: 1626INDEXNAME: IDX_AUDIT用途：查出所有在INFORMATICA中进行的Index定义，及相关目标表信息OPB_TARGINDEXFLD:INFORMATICA中目标表上进行了Index定义的相关的所有字段例如：INDEXID: 6FLDNAME: AREC_BILL_ID用途：进行关联查出在INFORMATICA中进行了Index定义的表及其字段OPB_TARG_FLD:INFORMATICA中所有目标表的字段信息例如：TARGET_ID: 131TARGET_NAME: CHECK_PROPERTY用途：查看目标表的所有字段信息，或给出字段名，查找该字段在那些目标表中出现过OPB_TASK:WORKFLOW中所有Task的记录，包括Session，Worklet，WorkFlow等例如：TASK_ID: 1717TASK_NAME: s_OAM_LOG_ARR用途：该表是Workflow关于Task的记录的主表，通过关联可以查出某个folder下所包含的所有Workflow、Worklet、Task等，以及查出一个Workflow下的所有TaskOPB_TASK_ATTR:该表记录了Task的所有属性值，每个属性一条记录例如：ATTR_ID: 2ATTR_VALUE:用途：查看相关Task的属性设置，查找系统中同一属性设置的所有TaskOPB_TASK_INST:Task实例表，与OPB_TASK表信息类似，但该表主要突出的是Workflow与Task的关系，而OPB_TASK表是Task的基表例如：WORKFLOW_ID: 9INSTANCE_NAME: s_USED_KIND用途：查找一个Workflow下的所有Task信息OPB_TASK_INST_RUN:该表记录了所有Task每次运行的日志信息，包括当前的运行起始时间，服务名等例如：INSTANCE_NAME: s_ASSET_ACCOUNTSTART_TIME: 2004-11-3 15:20:01END_TIME: 2004-11-3 15:20:08SERVER_NAME: ETL-SVR用途：该表记录了Task每次运行的日志信息，其中关于时间的信息对于性能调优有着极其重要的作用，也可以观察同一个Task，一段时间的运行效果，评估服务器的运行情况等OPB_TASK_VAL_LIST:该表记录了某些Task中的属性值，例如Command Task中的Command值例如：TASK_ID: 2990PM_VALUE: DEL “D:”VAL_NAME: DELETE用途：可以查看当前系统中设置的任务属性值，也可查看所有的Command的命令值OPB_USERS:该表记录了Rep Manager中所设置的所有用户，及其相关属性例如：USER_ID: 5USER_NAME: DEMOUSER_PASSWD: hG63"4.`USER_PRIVILEGES1: 79用途：可以查看系统中INFORMATICA所定义了的所有用户及相关属性OPB_USER_GROUPS:该表记录了Rep Manager中用户与组的关系例如：USER_ID: 2GROUP_ID: 3用途：查看一个组中存在哪些用户，或关联出每个用户到底属于哪个组。
informatica与datastage对比
InformaticaVSIBM-DataStage化和扩展上，均有一定的限制。
项目实施的支持➢Informatica结合15多年的数据集成领域的经验，总结出一套针对Informatica产品实施数据仓库、数据管理等项目的最佳方法论Velocity 2008。
该成熟的开发方法论，是指导客户实现快速、高质量项目实施的最佳武器。
➢现在全国拥有众多的名高级技术专家与顾问，与国内如大唐，联创、神州数码、东软，中软等多家知名集成商成立战略合作伙伴，Informatica产品开发人员全国上千人规模。
➢Informatica支持服务中心是有非常熟练的技术支持工程师充当的，这些工程师具备你需要的、成功的专家知识。
在中国有专门的售后服务工程师。
➢无专业/成熟，基于产品的项目最佳开发方法论➢很难找到熟悉类Basic开发语言的Datastage开发工程师➢IBM是以服务为主的公司，如果客户采用了其DataStage产品，将要支付大笔的IBM咨询服务费。
产品安装完全图形化安装，无需额外安装平台软件，且不需修改系统内核参数➢需耗用时间安装和准备C编译环境，不同平台软件安装的C编译器也不尽相同➢需修改系统内核参数，对其他应用影响较大，有潜在的危险。
产品升级➢平滑升级，完全图形化，不需修改已设计完作业。
➢主要是升级资料库，工作量很小。
➢需重新编译已有作业➢大版本之间以及跨平台的升级，很多作业需重新编写/编译代码，重复操作和维护工作量大。
产品移植➢PowerCenter支持逻辑和物理设计分离的开发模式，有一个Mapping（逻辑的）和Session（物理的或者可运行）的概念，Mapping是逻辑上的ETL规则，而Session才是真正可以实例化运行的任务。
➢可以跨平台、跨不同数据库进行作业的单个、整体移植。
不需改变作业设计等，原有的任务可以直接在新环境下运行，并且只要更改Session的数据库联接串，则使用原有的Session任务访问不同的数据库类型数据，大大简化项目移植的工作。
Informaica主数据管理解决方案CAPPT课件
Finance System
HR System
Account Organization
Partner Organization Product
Account Pricing
Product Organization Account
Account
Zone
Services
公司治理 IT治理
主数据治理 影响公司业务方向、管理、和控制发展路线的一系列流程、策略、惯例、规章制度 确保IT能够支撑企业战略目标的管理、组织架构、和流程。 确保企业主数据的有效性、可访问性、质量、一致性、可审性、和安全性所需要的流程、策略、标准、和 等。
技术。 业务流程
CRM System ERP System
部署情况
大量案例证明在多域主数据部署的 能力
快速部署 平均上线时间: 3-9 个月 最具伸缩性解决方案 最大 450M 主 记录数的成功案例 可验证的多域主数据 几乎一半的客 户都在统一平台上部署了客户和产品域
平台需要的能力
5
数据发布
4
为应用和数据仓库交付可信的数 据
Sales Rep
客户、产品、服务、供应商、机构、资源等组成 完整的 360度主数据视图
完整的主数据视图
不同主数据是业务的 不同视角： • 客户角度 • 产品、服务 • 机构 • 资源 • 产品角度 • 客户 • 资源 • 机构 • 供应商角度 • 产品 • 机构角度 • 产品 • 客户 • 资源 • 资源角度 • 机构 • 产品 • 客户
仪表盘
报表
产品 云计算
数据仓库
数据挖掘
1. 数据采集
区域
渠道
复杂事件处理
Informatica元数据库解析
Informatica元数据库解析（一）Informatica元数据库解析（一）作者: informatica(whyu) @ 03/29 2006, 07:50Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。
当然Infa本身工具提供了很多的人性化的功能，使我们在开发时可以很方便的进行操作，但人们的需求总是万变的，需要方便的取到自己需要的信息，那就需要我们对他的元数据库有很深的了解。
Informatica通过表和视图给我们提供着所有的信息，在此将通过一个系列的帖子，将大部分常见的，且非常有用的表及视图介绍一下。
基于这些东西，我们即可以根据不同的需求查出自己需要的数据，也可以开发一些辅助的Infa应用程序。
/////////////////////////////////////////////////////////////////////////////OPB_ATTR :INFORMATICA (Designer,Workflow等)设计时及服务器设置的所有属性项的名称，当前值及该属性项的简要说明Informatica所有的元数据信息均以数据库表的方式存到了元数据库中。
当然Infa本身工具提供了很多的人性化的功能，使我们在开发时可以很方便的进行操作，但人们的需求总是万变的，需要方便的取到自己需要的信息，那就需要我们对他的元数据库有很深的了解。
Informatica通过表和视图给我们提供着所有的信息，在此将通过一个系列的帖子，将大部分常见的，且非常有用的表及视图介绍一下。
基于这些东西，我们即可以根据不同的需求查出自己需要的数据，也可以开发一些辅助的Infa应用程序。
/////////////////////////////////////////////////////////////////////////////OPB_ATTR :INFORMATICA (Designer,Workflow等)设计时及服务器设置的所有属性项的名称，当前值及该属性项的简要说明例如：ATTR_NAME: Tracing LevelATTR_VALUE: 2ATTR_COMMENT: Amount of detail in the session log用途：可以通过该表快速查看到设计或设置时碰到的一些属性项的用途与说明OPB_ATTR_CATEGORY:INFORMATICA各属性项的分类及说明例如：CATEGORY_NAME: Files and DirectoriesDESCRIPTION: Attributes related to file names and directory locations用途：查看上表所提的属性项的几种分类及说明OPB_CFG_ATTR:WORKFLOW MANAGER中的各个Folder下的Session Configuration的配置数据，每个配置对应表中一组Config_Id相同的数据，一组配置数据共23条例如：ATTR_ID: 221ATTR_VALUE: $PMBadFileDir用途：查看所有的Session Configuration的配置项及值，并方便的进行各个不同Folder间的配置异同比较OPB_CNX:WORKFLOW MANAGER中关于源、目标数据库连接的定义，包括Relational Connection,Queue Connection,Loader Connection等例如：OBJECT_NAME: Orace_SourceUSER_NAME: oralUSER_PASSWORD: `?53S{$+*$*[X]CONNECT_STRING: Oratest用途：查看在WorkFlow Manager中进行配置的所有连接及其配置数据OPB_CNX_ATTR:上表所记录的所有数据库连接的一些相关属性值，一种属性值一条数据。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
同一实体与本系统或其他系统对象是否存在依赖关系？
具体的依赖关系描述是怎么样的？ 实体所有者是谁？谁作过修改或变更？ 一旦对象定义发生变化，其他开发团队会不会有影响？ 老板问，这张报表A指标值怎么算出来的？原始数据从哪得到的？ 公司要上市，要审计公司信息化建设的健康程度，以什么为依据？总不能给人家看像山 一样高的word或excel 文档吧？
Metadata Sources
SG Console
SG Integration Repository
CWM Class MetaModel
Role based dashboards and Metadata Reports
Win 2000,2003, XP
SERVERS
PC 8.5.1 Integration Server DA 8.5.1 Apps Server [Browser IE 6.0 using : iPlanet 6.1, IIS 6.0 OR Apache 1.3, 2.0]
9
Informatica Metadata Manager 体系结构
Data Modeling
Metadata
Custom Metadata Metadata
Business Intelligence
Metadata Manager
Sources
Metadata Metadata
Targets
Metadata
10
元数据体系结构
11
Metadata Manager Repository
GA 9/2/05
Metadata XConnects
Metadata Object Browser and Graphical Reports
PowerCenter Integration Server Metadata Manager Warehouse Presentation Server
Design Tools
Custom
- CSV Files
(using Custom Metadata Configurator) * (on Oracle 8.1.7 and above, SQL Server 2000 SP3 and DB2 8.x EE/EEE and above)
14
Metadata Sources
SG Console
SG Integration Repository
CWM Class MetaModel
Role based dashboards and Metadata Reports
Win 2000,2003, XP
XCONNECTS
Databases
- Oracle 8.1.7, 9i, 10g - SQL Server 2000 - Sybase 12.x - TERADATA V2 R5 - DB2 UDB 8.1.x, 8.2 EE/EEE - IBM Informix 9.2 - ERwin 3.0 to 3.5.2, 4.0 SP1 to 4.1 - Oracle Designer 1.3.2, 2.1.2, 6.0, 6i, 9i - Sybase PowerDesigner PDM 6.1.x, 7.5 to 9.5 - IBM Rational ER 98(I) to 2000,2000e to 2002 - Microsoft VISIO Database (ERX) - Embarcadero ERStudio 5.1 to 6.6
• •
在分析型项目中，元数据可以帮助DW管理员和DW开发人员非常方便地找到 他们所关心的数据 元数据是描述分析型应用内数据的结构、建立方法及流程的数据，可将其 按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数 据（Business Metadata）。
3
这些问题真是头痛
•
17
智能数据体系--提供了审计索引的功能 • 功能丰富的 可视化 图形化 回溯信息 直到数据源 • 精确的、最新的 元数据模型 驱动 • 当数据源 改变时 关联信息 被刷新
18
直观的分析和报表功能--近在咫尺的洞察力
•
“信息供应链”的 全面质量管理 数据质量, 使用, 冲突分析, 冗余分析 仪表盘驱动 监控和 信息公告
ETL
BI
CASE
ERP
XML
Flat Files
?
DBMS EAI MS Office
Others
20
可扩展的Web-Based体系结构--灵活的开发和部署
• • •
百分之百基于Web J2EE兼容平台 内嵌的私有化设置 对象和功能层次的许可 可扩展性 任何信息, 任何关联, 任何元数据模型 (基于OMG MOF协议) 友好的入口 Web服务, 完全SDK 没有隐藏的议程 开放的关系型数据库, 操作系统, 服务器支持
元数据管理工具介绍 Metadata Manger（MM）
1
元数据基础知识
MM软件架构 MM软件特点 元数据应用案例
2
元数据(Metadata) 定义
• •
元数据是描述数据的数据(Data about Data)。 可理解为比一般意义的数据范畴更加广泛的数据，不再仅仅表示数据的类 型、名称、值等信息，进一步提供了数据的上下文描述信息，比如数据的 所属域、取值范围、数据间的关系、业务规则，甚至是数据的来源。
ETL BI
- PowerCenter 6.x, 7.x*
- PowerMart 6.x, 7.x*
- PowerAnalyzer 4.1.1, 5.0.2
- BOBJ 5.1.x, 6.1.x - COGN Impromptu 7.0.x, 7.1.x - COGN ReportNet 1.0, 1.1 - MSTR Designer 7.0, 7.5.x - DB2 CubeViews 8.1 - Hyperion Essbase OLAP 7.x
许多政策法规范要求数据透明（例如美国的萨班斯-奥克斯莱法案）以及专业行业协会 （例如监督环境保护、食品与药物安全、劳动行为以及运输安全的行业协会）
．．．
4
元数据的使命
是企业智能化信息建设的DNA
提供一份数据定义和元素的详细示意图, 有利于发现冗余的定义和元素
企业元数据标准: 减少数据冗余性,增加数据共享,使应用开发过程更有效\费用更低、避免 异构结构定义、提高不同工具之间定义的重复利用率 帮助用户理解数据来龙去脉、关系及相关属性 企业集成所必需的:：参照性、引用性、血缘分析、影响分析、变化分析。。。 质量审计 ： 血缘分析 支持需求变化 ： 变更报告
数据集成工具 PowerCenter DataStage SAS Sagent
元数据管理
BI 工具： BO Cognos MSTR …
元数据源 RDBMS EXCEL CWM XML …
6
元数据(Metadata) 标准化
• OMG (Object Management Group)是一个拥有500多会员的国际标 准化组织，著名的CORBA标准即出自该组织。 • 公共仓库元模型（Common Warehouse Metamodel）的主要目的 是在异构环境下，帮助不同的数据仓库工具、平台和元数据知识库 进行元数据交换。
21
• •
集成Oracle ,Erwin, PowerCenter等多种工具的元数据 PowerCenter 内Cobol 结构的显示
22
灵活的元数据抽取调度
23
业务元数据 － 基本定义
对象版本控制 反应历史变化
元数据基础知识
MM软件架构
MM软件特点
元数据应用案例
15
Metadata Manager 特性
私有目录
智能数据体系
直观的分析和报表
内嵌的数据整合引擎
可扩展的Web-Based体系结构
16
私有元数据目录
•
跨系统、 跨项目 通用搜索 考究的 knowledge base 角色, 系统, 基于流程的视图
Integration Repo
12
Metadata Manager Server
GA 9/2/05
Metadata XConnects
Metadata Object Browser and Graphical Reports
PowerCenter Integration Server Metadata Manager Warehouse Presentation Server
•
19
内嵌的数据整合引擎--访问到任何位置、任何元数据
•
任何数据源 元数据 知识库, 平面文件, 关系型数据库, 应用程序, XML, CWM-XMI 易于使用 完全可视化的 开发 环境用于 元数据整合
元数据整合 XConnects SDK
•
<Symbol>List</Symbol> <Function> <Symbol>List</Symbol> <Symbol>Automatic</Symbol> <Number>4.</Number> </Function> <Function> <Symbol>List</Symbol>
Websphere 5.1.1.1 ND
- Win 2000, Win 2003