Informatica+SuperGlue+元数据管理平台

47
Waste Management 自动元数据的采集
挑战: 不能实现自动的源和目标数据源的元数据采集 要为报表和信息系统提供准确、及时的元数据定义 要提高ETL过程的可见度 解决方案: 环境: Oracle 9i, PowerCenter 7.x, IBM AIX, DB2 on AS400, Erwin, PowerAnalyzer SuperGlue 元数据目录, 搜索, 血缘分析 和影响分析 收益: : 高效的自动元数据采集 为业务用户提供服务层次 提高数据仓库中数据处理过程的可见度 增强运营的技术元数据：转换、计算、运行时间、加载数据量等
已存在系统，有哪些关键业务数据？ 关键业务数据在不同系统的业务定义？ 同一实体在不同系统中的命名规则及其他属性一致？
同一实体与本系统或其他系统对象是否存在依赖关系？
具体的依赖关系描述是怎么样的？ 实体所有者是谁？谁作过修改或变更？ 一旦对象定义发生变化，其他开发团队会不会有影响？ 老板问，这张报表A指标值怎么算出来的？原始数据从哪得到的？ 公司要上市，要审计公司信息化建设的健康程度，以什么为依据？总 不能给人家看像山一样高的word或excel 文档吧？
42
SuperGlue: 元数据模糊查询
43
SuperGlue: 集成了百张信息统计报表
44
Informatica SuperGlue 成功案例
45
45
Thrivent Financial
挑战: 跨数据仓库多个过程的影响分析 多个应用基础架构的管理 所有手工的过程, Excel文件 解决方案: 环境: PowerCenter, PowerAnalyzer on AIX, ER Studio SuperGlue 元数据目录,搜索, 血缘分析和影响分析 收益: 能够实现以前所不能作到的多种分析 帮助决定数据仓库的成本及基础架构 变更分析，可及时传播到各个团队
ETL
BI
CASE
ERP
XML
Flat Files
?
DBMS EAI MS Office
Others
23
可扩展的Web-Based体系结构 灵活的开发和部署
百分之百基于Web J2EE兼容平台
内嵌的私有化设置 对象和功能层次的许可 可扩展性 任何信息, 任何关联, 任何元数据模型 (基于OMG MOF协议) 友好的入口 Web服务, 完全SDK 没有隐藏的议程 开放的关系型数据库, 操作系统, 服务器支持
46
Hewlett-Packard Data Insight
挑战: 多个不同数据源中，存在不准确的、矛盾的数据 不能跨系统的识别和找到相关内容 解决方案: 环境: PowerCenter, Oracle, SQL Server; Erwin, Rational Rose, Business Objects, custom SuperGlue 元数据目录, 搜索, 血缘分析 和影响分析 收益: 提高数据的准确性和一致性 提高了针对数据起源、数据流程及数据目录的认识程度 减少运营报告的周期 提高已存在数据元素的可重用性和标准化程度
15

Informatica SuperGlue 体系结构 Business Intelligence
Metadata Metadata
Data Modeling
Custom Metadata
SuperGlue
Sources
Metadata Metadata
Targets
Metadata
16
Informatica SuperGlue 元数据管理流程
Meta Source Repositories
PowerCenter Server (ETL)
Presentation Server
XConnect
SuperGlue Warehouse + SuperGlue Server Repository Integration Repository
Application Server
33
元数据血缘分析－ 跨工具
数据源
数据整合过程
计算表达式
34
SuperGlue 内置元数据同步引擎 定期或不定期地更新数据项的具体内容
可手工或调度执行元 数据同步任务
35
高安全性,可增删: 用户、组、角色，并赋予不同权限
36
SuerGlue: 强大的元数据影响分析
37
SuperGlue: 跨工具元数据血缘分析[表级、字段级]
有一点是不变的: 利用数据解决企业问题的能力,仍然是企业
赢利和取胜的关键
有用的数据在哪里：好像在沙滩上寻找一粒沙子
答案：元数据
5
元数据现状
各自为战，所遵循的标准各异。
建模工具： ERwin PowerDesigner Rose Oracle Designer
数据集成工具 PowerCenter DataStage SAS Sagent
®
企业级元数据管理
SuperGlue™
中国区高级技术顾问 姜炜
元数据简介
2
2
元数据(Metadata) 定义
元数据是描述数据的数据(Data about Data)。 可理解为比一般意义的数据范畴更加广泛的数据，不再仅仅表示数据的类 型、名称、值等信息，进一步提供了数据的上下文描述信息，比如数据的 所属域、取值范围、数据间的关系、业务规则，甚至是数据的来源。
许多政策法规范要求数据透明（例如美国的萨班斯-奥克斯莱法案） 以及专业行业协会（例如监督环境保护、食品与药物安全、劳动行为 以及运输安全的行业协会）
．．．
4
元数据的使命


是企业智能化信息建设的DNA
提供一份数据定义和元素的详细示意图, 有利于发现冗余的定义和元素 企业元数据标准: 减少数据冗余性,增加数据共享,使应用开发过程更有效\费用更低、 避免异构结构定义、提高不同工具之间定义的重复利用率 帮助用户理解数据来龙去脉、关系及相关属性 企业集成所必需的:：参照性、引用性、血缘分析、影响分析、变化分析。。。 质量审计 ： 血缘分析 支持需求变化 ： 变更报告 状态元数据有利于增强企业运营效率、规避错误及风险
48
Abbott Labs
跨系统的影响分析
挑战: 手工管理元数据，主要方式: Excel, Access, Word 不能实现跨系统的变化影响分析 解决方案: 环境: Oracle, SQL Server, Excel and Access, Erwin and Oracle Designer, Cognos SuperGlue 元数据目录, 搜索, 血缘分析 和影响分析
24
XXX元数据管理系统
Informatica SuperGlue
25
25
元数据体系结构
26
个性化的仪表盘
不同用户的个性化 仪表盘 报警提示 数据集成运营报表 影响分析 差异分析 信息公告 …
27
Cobol 样本文件
28
方法一:利用PowerCenter Designer 导入Cobol 结构
在分析型项目中，元数据可以帮助DW管理员和DW开发人员非常方便地找到 他们所关心的数据 元数据是描述分析型应用内数据的结构、建立方法及流程的数据，可将其 按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数 据（Business Metadata）。
3这些问题真是头痛元数据存 储与管理前端访问工具 数据仓库与元数据 管理员
数据质量评估 工具
8
元数据标准
9
9
元数据(Metadata) 标准化
OMG (Object Management Group)是一个拥有500多会 员的国际标准化组织，著名的CORBA标准即出自该组 织。 公共仓库元模型（Common Warehouse Metamodel） 的主要目的是在异构环境下，帮助不同的数据仓库工具、 平台和元数据知识库进行元数据交换。
元数据管理
BI 工具： BO Cognos MSTR …
元数据源 RDBMS EXCEL CWM XML …
6
元数据标准化的意义
在形成标准以前，要进行集成的情况如下图所示：
数据建模工具
抽取与转换 工具
前端访问工具
数据质量评估 工具
7
元数据标准化的意义
在形成标准以后的情况如下图所示：
数据建模工具 抽取与转换 工具
20
智能数据体系 提供了审计索引的功能
功能丰富的 可视化 图形化 回溯信息 直到数据源 精确的、最新的 元数据模型 驱动 当数据源 改变时 关联信息 被刷新
21
直观的分析和报表功能 近在咫尺的洞察力

“信息供应链”的 全面质量管理 数据质量, 使用, 冲突分析, 冗余分析 仪表盘驱动 监控和 信息公告
17
Informatica SuperGlue 采集元数据界面
18
SuperGlue 特性
私有目录
智能数据体系
直观的分析和报表
内嵌的数据整合引擎
可扩展的Web-Based体系结构
19
私有元数据目录 (如的IT）

跨系统、 跨项目 通用搜索

考究的 knowledge base 角色, 系统, 基于流程的视图
"两种产品间元数据的同步很难。要想在用于建立、运行和访问数据仓库所需的 六种工具间进行元数据同步几乎是不可想象的。但对于流畅、强大、高效率的数 据仓库操作来说，要么同步，要么放弃" "我们实际需要的是能够由所有工具访问的专一而全面的元数据源，这些工具不 但包含专为数据仓库服务的工具，也包含为其它IS功能服务而购买的工具。总之， 一个元数据源，就没有同步问题了"
13
Informatica SuperGlue
(Metadata Manager [MM])
14
14
企业现状

数据丰富、知识匮乏 多种工具产生多种元数据 快速实施DW或分析型项目都会陷入元数据困境 数据/定义 重复、冗余、不一致 企业整体利用数据受到质疑
仔细听听这两个声音：

收益: 广泛系统的影响分析 提高决策力度 精减业务流程 方便业务人员完成商业和市场的分析
49
50

22
内嵌的数据整合引擎 访问到任何位置、任何元数据

任何数据源 元数据 知识库, 平面文件, 关系型数据库, 应用程序, XML, CWM-XMI 易于使用 完全可视化的 开发 环境用于 元数据整合
元数据整合 XConnects SDK

<Symbol>List</Symbol> <Function> <Symbol>List</Symbol> <Symbol>Automatic</Symbol> <Number>4.</Number> </Function> <Function> <Symbol>List</Symbol>
10
CWM元模型的包结构
管理
仓库过程
分析
仓库操作
数据 挖掘
转换
资源
OLAP 分析
信息可视化
业务术语
对象 (UML) 关系型资源 数据 类型
记录型 键 索引
多维
XML
基础
业务信息
表达式
类型映射
软件发布
对象模型
UML 1.3 (基础，行为元素，模型管理)
11
市场评价
12
12
《Intelligent Enterprise》2005 Readers’ Choice Awards
验证数据流程及中间转换过程
向前血统
向后血统
验证月收入字段
38
SuperGlue友好界面
完全Web 式 访问 树状导航
跨工具
操作简单 个性化的仪 表盘 …
39
SuperGlue : 用户登录日志
40
SuperGlue: 用户活动日志
41
SuperGlue: 可设定日志级别
29
方法二:利用SuperGlue 的自定义元模型 内置了基于CWM的COBOL类
30
集成Oracle ,Erwin, PowerCenter等多种工具的元数据 PowerCenter 内Cobol 结构的显示
31
业务元数据 － 基本定义
对象版本控制 反应历史变化
32
业务元数据 － 基本定义