元数据管理-实用讲课稿
数据仓库与元数据管理.doc
数据仓库与元数据管理1. 前言在事务处理系统中的数据，主要用于记录和查询业务情况。
随着数据仓库（DW）技术的不断成熟，企业的数据逐渐变成了决策的主要依据。
数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。
解决这一问题的关键是对元数据进行科学有效的管理。
本文首先介绍了元数据的定义、作用和意义；然后讨论了数据仓库系统中元数据管理的现状和关于元数据的标准化情况；最后提出了建立元数据管理系统的步骤和实施方法。
2. 元数据2.1 元数据的概念按照传统的定义，元数据（Metadata）是关于数据的数据。
在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。
技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：●数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容；●业务系统、数据仓库和数据集市的体系结构和模式●汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告；●由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。
业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息；具体包括以下信息：●企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。
关于元数据、资源目录、主数据、数据元、元数据管理、主数据管理解释ppt课件
元数据管理 元数据管理的范围
技术元数据
• 描述系统中技术领域相关概念、关系和规则的数据，主要包括 对数据结构、数据处理方面的特征描述，覆盖系统数据源接口、 数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等 全部数据处理环节
业务元数据
• 描述系统中业务领域相关概念、关系和规则的数据，主要包括 业务术语、信息分类、指标定义和业务规则等信息
管理元数据
• 描述系统中管理领域相关概念、关系和规则的数据，主要包括 人员角色、岗位职责和管理流程等信息
元数据管理 元数据管理的功能点
应用层 对元数据管理的实际问题提供应用解决方 案，主要包括指标库管理、业务术语自助 学习、维表库管理、接口管理、数据仓库 软件各层元数据互通、辅助应用优化、辅 助安全管理、基于元数据的开发管理和数 据质量管理等。
可再分的最小的数据单元。
• [MSA-S-PT-4：海事云数据中心技术标准-平台数据标准,4.1.2.1 数据基本定义] • 数据元一般来说由三部分组成：对象、特性、表示
举例
• “船舶种类代码”为数据元，“0205”为数据元的值，“船舶种类名称”为数据元，“集装 箱船”为数据元的值
• “船舶种类代码”中，“船舶”为对象词，“种类”是该数据元的特性词，“代码”是该数 据元的表示词。
是
未指定 任意实体和层 级
最低
四个领域(Domain)的 是 业务实体：参与人、
产品、账卢、位置
中等
甲 骨 文 主 数 据 管 理 功 能 列 表
目录
数据元 元数据 主数据 元数据管理 主数据管理
数据服务资源目录
目录
数据元 元数据 主数据 元数据管理 主数据管理
数据服务资源目录
数据库元数据管理
数据库元数据管理数据库元数据管理是指在组织中采集、存储、维护和交换各种数据库元数据的过程。
元数据是描述数据的数据，它包括各种关于数据的信息，例如数据的定义、结构、关系、使用、存储和安全性等方面。
数据库元数据管理的目的是提高数据质量、数据共享和数据重用，同时促进信息系统的标准化和集成化。
随着数据量的增加和数据类型的多样化，元数据管理已经成为管理信息系统不可或缺的一环。
元数据管理的基本任务是采集和记录元数据信息，并建立相应的元数据存储结构。
元数据信息可以来自于不同的数据源，例如数据仓库、数据字典、应用程序、数据模型和数据定义等。
在建立元数据存储结构时，需要考虑到元数据的组织方式、存储位置、安全性和数据共享等因素，以保证元数据的可管理性和使用价值。
元数据管理的具体内容包括：1. 元数据采集和录入元数据采集和录入是元数据管理的关键环节之一。
在此过程中，需要收集各种与数据相关的信息，并将其记录在元数据存储结构中。
元数据采集和录入可以通过手工输入、自动化工具或数据字典等方式进行。
2. 元数据存储元数据存储是指将采集和录入的元数据信息存储在指定的位置，并建立相应的存储结构。
元数据存储可以使用各种数据库管理系统，例如关系型数据库、NoSQL数据库和XML 数据库等。
关系型数据库常用于存储元数据的结构信息，NoSQL数据库通常用于存储非结构化的元数据信息，而XML数据库则常用于存储元数据的文档类型信息。
3. 元数据维护和更新元数据管理是一个持续性过程，因此需要对元数据进行维护和更新。
在此过程中，需要定期检查元数据信息的正确性和完整性，并及时修正错误和补充缺漏。
还需要对元数据信息进行版本控制和备份管理，以确保数据的安全性和可追溯性。
4. 元数据查询和分析元数据查询和分析是指根据用户需求，通过查询元数据存储结构，获取相关的元数据信息。
在此过程中，需要借助于各种查询工具和分析工具，例如SQL查询语言、ETL工具和数据挖掘工具等。
数据仓库元数据管理
数据仓库元数据管理数据仓库元数据管理是指对数据仓库中的元数据进行有效管理和维护的过程。
元数据是描述数据的数据，它包含了数据的定义、结构、属性、关系以及数据之间的联系等信息。
通过对数据仓库元数据的管理，可以提高数据仓库的可维护性、可扩展性和可重用性，同时也能够提高数据仓库的查询效率和数据质量。
一、元数据管理的重要性1. 提高数据仓库的可维护性：通过对元数据的管理，可以清晰地了解数据仓库中各个数据表的含义、结构和关系，从而更好地进行数据仓库的维护和更新工作。
2. 提高数据仓库的可扩展性：元数据管理可以帮助我们了解数据仓库中的数据模型和数据结构，从而更好地进行数据仓库的扩展和升级。
3. 提高数据仓库的可重用性：通过对元数据的管理，可以清晰地了解数据仓库中的数据定义和数据结构，从而更好地进行数据仓库的重用和共享。
4. 提高数据仓库的查询效率：通过对元数据的管理，可以清晰地了解数据仓库中的数据模型和数据结构，从而更好地进行查询优化和索引设计，提高数据仓库的查询效率。
5. 提高数据仓库的数据质量：通过对元数据的管理，可以清晰地了解数据仓库中的数据定义和数据结构，从而更好地进行数据质量的监控和管理，提高数据仓库的数据质量。
二、元数据管理的主要内容1. 元数据定义和分类：对数据仓库中的元数据进行定义和分类，建立元数据的标准和规范，确保元数据的一致性和准确性。
2. 元数据采集和录入：通过采集工具和手工录入的方式，将数据仓库中的元数据进行采集和录入，包括数据表的定义、字段的定义、数据类型、数据长度、数据格式等信息。
3. 元数据存储和管理：将采集和录入的元数据存储到元数据仓库中，并进行管理和维护，包括元数据的更新、删除、备份和恢复等操作。
4. 元数据查询和检索：通过元数据查询和检索工具，可以根据需要查询和检索数据仓库中的元数据，包括数据表的定义、字段的定义、数据类型、数据长度、数据格式等信息。
5. 元数据共享和发布：将元数据共享给数据仓库的用户和开发人员，使其能够更好地了解数据仓库中的数据定义和数据结构，从而更好地进行数据仓库的开发和使用工作。
数据仓库与元数据管理
数据仓库与元数据管理1. 前言在事务处理系统中的数据，主要用于记录和查询业务情况。
随着数据仓库（DW）技术的不断成熟，企业的数据逐渐变成了决策的主要依据。
数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。
解决这一问题的关键是对元数据进行科学有效的管理。
本文首先介绍了元数据的定义、作用和意义；然后讨论了数据仓库系统中元数据管理的现状和关于元数据的标准化情况；最后提出了建立元数据管理系统的步骤和实施方法。
2. 元数据2.1 元数据的概念按照传统的定义，元数据（Metadata）是关于数据的数据。
在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。
技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：●数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容；●业务系统、数据仓库和数据集市的体系结构和模式●汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告；●由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。
业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息；具体包括以下信息：●企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。
数据仓库元数据管理
数据仓库元数据管理余友波数据仓库之路原创资料1.1.1 第一章元数据概论企业的计算机系统每年会产生很多数据，很多企业面临着这样的困境，难以有效的管理大量的、繁杂的、不一致的数据，并方便地访问、利用这些数据进行辅助决策。
建立数据仓库提供一个方法，把数据转化为有用的、可信赖的信息，支持商业决策。
建立数据仓库一个重要的工作是元数据管理。
元数据（Metadata）就是数据的数据，用于建立、管理、维护和使用数据仓库。
元数据管理是企业级数据仓库中的关键组件，贯穿于建立数据仓库的整个过程。
元数据使得用户可以掌握数据的历史情况，如数据从哪里来？流通时间有多长？更新频率是多大？数据元素的含义是什么？对它已经进行了哪些计算、转换和筛选等等。
在需求不确定情况下，在瞬间万变的商业环境下，元数据可以更好的支持需求的变化，降低项目风险。
通常把元数据分为技术元数据（Technical Metadata）和业务元数据（Business Metadata）。
技术元数据是描述关于数据仓库技术细节的数据，这些元数据应用于开发、管理和维护数据仓库；业务元数据从商业和业务的角度描述数据仓库的数据，提供了良好的语义层定义，业务元数据使业务人员能够更好的理解数据仓库分析出来的数据。
元数据贯彻于建立数据仓库的整个过程，不只是ETL过程需要元数据的支持。
图1 元数据的应用在使用元数据的同时，随着数据仓库市场的发展，业界出现许多数据仓库管理和分析的工具，各种工具使用不同的元数据标准来表示和处理，不同系统之间的迁移、数据交换变得困难。
于是，我们希望用一种单一的元数据标准，使得各种组织的元数据具有单一的元模型（MetaModel），因此，需要建立一种标准使得不同的数据仓库和商业智能系统之间可以相互交换元数据。
1.1.2 第二章元数据标准1.1.2.1 一、元数据标准CWMOMG于2001年颁布元数据标准CWM 1.0（Common Warehouse Metamodel Version 1.0）。
元数据管理是指标管理与知识管理的基石
元数据管理是指标管理与知识管理的基石引言在信息时代的今天，企业和组织面临着海量的数据和信息的挑战。
为了更好地利用这些数据和信息，提高决策的准确性和效率，元数据管理成为了一项非常重要的任务。
元数据管理是指标管理和知识管理的基石，它为企业和组织提供了数据和信息的全面把控和高效利用的能力。
本文将从元数据管理的概念和重要性、元数据管理与指标管理的关系以及元数据管理与知识管理的关系等方面进行详细的讨论，旨在揭示元数据管理在现代企业和组织中的重要性和作用。
元数据管理的概念和重要性元数据管理的定义元数据是描述数据和信息的数据，它包括对数据和信息的定义、属性、结构、关系等方面的描述。
元数据管理则是对元数据进行有效组织、存储、维护和利用的过程。
元数据管理的目标是实现对数据和信息的准确理解、全面把控和高效利用。
元数据管理的重要性元数据管理在现代企业和组织中具有重要的作用和意义：1.数据和信息的准确理解：通过对元数据的管理，可以准确理解数据和信息的含义、属性、结构等，从而避免了对数据和信息的错误解读和误用。
2.数据和信息的全面把控：元数据管理可以帮助企业和组织全面了解数据和信息的来源、质量、更新时间等信息，从而更好地把握数据和信息的可靠性和权威性。
3.数据和信息的高效利用：通过元数据管理，企业和组织可以快速、准确地查找、访问和利用所需的数据和信息，提高了决策的准确性和效率。
元数据管理与指标管理的关系指标管理的定义和概念指标管理是指对企业和组织的关键指标进行有效管理和利用的过程。
关键指标是企业和组织实现战略目标的重要参考指标，如销售额、利润率、客户满意度等。
元数据管理与指标管理的关系元数据管理和指标管理有着密切的关系和相互依赖的性质。
首先，元数据管理为指标管理提供了数据和信息的基础。
指标管理需要依赖准确、及时、完整的数据和信息才能进行有效的分析和评估，而元数据管理则提供了对这些数据和信息的准确理解和全面把控的能力。
其次，元数据管理还可以帮助指标管理建立数据和信息的关联性。
数据仓库元数据管理
数据仓库元数据管理简介：数据仓库是一个用于存储和管理组织内各种数据的集中式存储系统。
元数据是数据仓库中存储的关于数据的描述信息。
数据仓库元数据管理是指对数据仓库中的元数据进行有效和高效的管理和维护，以确保数据仓库的可靠性和一致性。
一、数据仓库元数据管理的重要性1.数据仓库元数据是数据仓库的核心组成部分，它提供了对数据仓库中数据的全面和准确的描述。
2.数据仓库元数据管理可以帮助用户更好地理解和使用数据仓库中的数据，提高数据分析和决策的质量和效率。
3.数据仓库元数据管理可以减少数据仓库中的数据冗余和不一致，提高数据仓库的数据质量和一致性。
4.数据仓库元数据管理可以提高数据仓库的可维护性和可扩展性，便于数据仓库的日常管理和维护工作。
二、数据仓库元数据管理的内容和方法1.元数据收集和录入- 收集数据仓库中各个数据对象的元数据，包括数据表、字段、索引、视图等。
- 录入元数据到元数据管理系统中，包括元数据的基本信息、定义、属性、关系等。
- 可以使用自动化工具进行元数据的收集和录入，提高工作效率和准确性。
2.元数据存储和管理- 将元数据存储在元数据管理系统中，建立元数据的存储结构和关系模型。
- 设计和实现元数据的管理功能，包括元数据的查询、修改、删除、备份和恢复等。
- 定期对元数据进行维护和更新，确保元数据的准确性和完整性。
3.元数据检索和使用- 提供元数据的查询和检索功能，方便用户查找和使用元数据。
- 支持元数据的多维度查询和组合查询，提高查询的灵活性和效率。
- 提供元数据的可视化展示功能，以图表、报表等形式展示元数据的相关信息。
4.元数据版本控制和变更管理- 对元数据进行版本控制，记录元数据的变更历史和变更信息。
- 提供元数据的变更管理功能，包括元数据的审核、审批和发布等。
- 确保元数据的变更过程可追溯和可控，防止错误的变更对数据仓库的影响。
5.元数据安全和权限管理- 设计和实现元数据的安全和权限管理机制，保护元数据的机密性和完整性。
数据仓库元数据管理
数据仓库元数据管理数据仓库元数据管理是指对数据仓库中的元数据进行有效管理和维护的过程。
元数据是描述数据的数据，它提供了关于数据的定义、结构、关系和属性等重要信息。
数据仓库的元数据管理对于数据仓库的建立、维护和使用都具有重要的意义。
下面将详细介绍数据仓库元数据管理的标准格式文本。
一、数据仓库元数据管理的概述数据仓库元数据管理是指对数据仓库中的元数据进行有效管理和维护的过程。
元数据是描述数据的数据，它提供了关于数据的定义、结构、关系和属性等重要信息。
数据仓库的元数据管理对于数据仓库的建立、维护和使用都具有重要的意义。
数据仓库元数据管理包括元数据的采集、存储、维护和使用等环节。
采集阶段主要是通过各种手段获取数据仓库中的元数据信息，包括数据表的结构、字段的定义、数据间的关系等。
存储阶段是将采集到的元数据信息进行组织和存储，以便后续的管理和使用。
维护阶段是对元数据进行更新、修正和删除等操作，以确保元数据的准确性和完整性。
使用阶段是将元数据应用于数据仓库的各个环节，包括数据的查询、分析和报表等。
二、数据仓库元数据管理的重要性1. 数据仓库元数据管理可以提高数据仓库的建设效率。
通过对元数据的管理，可以准确了解数据仓库中的数据结构和关系，从而更好地进行数据仓库的设计和建设。
2. 数据仓库元数据管理可以提高数据仓库的维护效率。
通过对元数据的管理，可以及时了解数据仓库中的数据变化和更新情况，从而更好地进行数据仓库的维护和更新。
3. 数据仓库元数据管理可以提高数据仓库的使用效率。
通过对元数据的管理，可以方便用户对数据仓库中的数据进行查询、分析和报表等操作，从而更好地满足用户的需求。
三、数据仓库元数据管理的具体内容1. 元数据采集元数据采集是指通过各种手段获取数据仓库中的元数据信息。
可以通过直接访问数据仓库的系统表或视图来获取元数据信息，也可以通过使用专门的元数据管理工具来采集元数据信息。
2. 元数据存储元数据存储是指将采集到的元数据信息进行组织和存储，以便后续的管理和使用。
关于元数据、资源目录、主数据、数据元、元数据管理、主数据管理解释ppt课件
船员主题/违规违法/记分 信息
我们将要在共享数
据库项目中面对的 元数据
元数据
元数据作用
数据描述： 对信息对象的内容属性等的描述能力是元数据最基本的功能。
支持用户发现资源的能力即利用元数据来更好地组织信息对象建立它们之间
数据检索： 的关系为用户提供多层次多途径的检索体系从而有利于用户便捷快速地发现 其真正需要的信息资源
的信息。 • 是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，
目标定义，转换规则等相关的关键数据。 • 描述数据的内容（what）、覆盖范围（where, when）、质量、管理方式、数据
的所有者（who）、数据的提供方式（how）等信息，是数据与数据用户之间的 桥梁；
以一个船员培训为例
TABLE_XXX 内部_核心
*.*.*.* sysbase
TABLE_XXX 内部_核心
数据抽取转换方面
抽取方式 目标表 目标字段 源表
源字段
ቤተ መጻሕፍቲ ባይዱ
计算公式
ETL 目标_TABLE 目标_字段 源头_TABLE 源头_字段 源头_字段=源头_字段+目标_字段
WS 目标_TABLE 目标_字段 源头_TABLE 源头_字段 源头_字段=目标_字段
可再分的最小的数据单元。
• [MSA-S-PT-4：海事云数据中心技术标准-平台数据标准,4.1.2.1 数据基本定义] • 数据元一般来说由三部分组成：对象、特性、表示
举例
• “船舶种类代码”为数据元，“0205”为数据元的值，“船舶种类名称”为数据元，“集装 箱船”为数据元的值
• “船舶种类代码”中，“船舶”为对象词，“种类”是该数据元的特性词，“代码”是该数 据元的表示词。
数据仓库元数据管理
数据仓库元数据管理数据仓库元数据管理是指对数据仓库中的元数据进行有效管理和维护的过程。
元数据是描述数据仓库中各种数据对象（如表、列、视图等）的数据，它包含了数据的定义、结构、关系以及数据的属性和特性等信息。
数据仓库元数据管理的目标是确保数据仓库中的元数据准确、一致、完整，并能够满足数据仓库的需求。
一、元数据的定义和分类元数据是指描述数据仓库中各种数据对象的数据，它包含了数据的定义、结构、关系以及数据的属性和特性等信息。
元数据可以分为三类：技术元数据、业务元数据和操作元数据。
1. 技术元数据：技术元数据是描述数据仓库的物理结构和技术实现的元数据，包括数据库表、列的定义、索引、分区等信息。
它主要用于数据仓库的设计、开辟和维护。
2. 业务元数据：业务元数据是描述数据仓库中业务对象的元数据，包括业务规则、业务过程、业务属性等信息。
它主要用于数据仓库的业务分析、报表生成和决策支持。
3. 操作元数据：操作元数据是描述数据仓库中的操作和操作者的元数据，包括数据仓库的操作日志、权限管理、用户信息等。
它主要用于数据仓库的操作和安全管理。
二、数据仓库元数据管理的重要性数据仓库元数据管理对于数据仓库的有效运行和管理至关重要。
以下是数据仓库元数据管理的重要性：1. 数据仓库设计和开辟：通过对技术元数据的管理，可以准确描述数据仓库的物理结构和技术实现，匡助设计和开辟人员理解和掌握数据仓库的结构和特性，提高设计和开辟的效率和质量。
2. 数据仓库维护和优化：通过对技术元数据的管理，可以及时发现和解决数据仓库中的问题，如性能问题、数据冗余等，并进行相应的优化和调整，保证数据仓库的正常运行和高效性能。
3. 业务分析和决策支持：通过对业务元数据的管理，可以准确描述数据仓库中的业务对象和业务规则，匡助业务分析人员理解和分析业务数据，提供准确、及时的决策支持。
4. 数据质量和数据一致性：通过对技术元数据和业务元数据的管理，可以确保数据仓库中的数据质量和数据一致性。
元数据.ppt
②
指 示 符 1
指 示 符 2
子字 子字 段标 数据 段标 数据 识符 识符
…
字段 分隔 符
2）功能分块
数据字段区划分为10个功能块，每个
功能块包含若干个字段。而字段标识 符的第一个（最左边）数字表示字段 所属的功能块。
CNMARC功能块
0XX 标识块 1XX 编码信息块 2XX 著录信息块 3XX 附注块 4XX 连接块 5XX 相关题名块 6XX 主题分析块 7XX 知识责任块 8XX 国际使用块 9XX 本地使用块
1.2 元数据的功能
支持资源发现
组织数字信息资源
支持资源的互操作 支持数字识别
支持存档和保存
2 元数据的分类
1）按元数据复杂程度区分 ：略
2）按描述的资源类型区分：略 3）按信息资源利用功能区分 描述元数据、管理元数据、保存元数据、技术元数据、 使用元数据
元数据分类
...
头标区的分解—记录类型
00890nam0#2200277###45##
代码 a 含 义
印刷型文字资料
…
…
头标区的分解—书目级别
00890nam0#2200277###45##
代码
m s …
含
义
专著
连续出版物 ...
头标区的分解—层次等级代码
00890nam0#2200277###45##
代码 # 含 义
完全采用ISBD格式
i
n
部分地或者不完全地ISBD格式
非ISBD格式
（二）地址目次区
目次区紧接在头标区之后，含有一个/ 多个目次款目。 每个目次长12个字符，用于描述一个字段； 3位数字标识字段号、4位数字表示字段长度、5位数字 表示字段起始符位置。由计算机自动生成。
银行元数据管理系统软件解决方案1[1].0精品PPT课件
![银行元数据管理系统软件解决方案1[1].0精品PPT课件](https://img.taocdn.com/s3/m/0492aaf4a0116c175f0e48c4.png)
Location Size Other Data
元数据系统的关键性
企业存在着大量的历史数据 跨部门数据集成和使用适应 业务人员直接使用数据 企业中存在的众多工具、数据存储需要有效集成 支持企业系统的不断进化，是其持续滚动发展的根本保证
1 像我这样的人……
最近总是单曲循环的播放着这首 《像我 这样的 人》， 听很久 都不会 觉得腻 ，或许 这首歌 最大的 魅力就 是共鸣 。
像我这样的人…… 比如：
“像我这样优秀的人
人生在世，草木一秋。一瓣 离开花 朵，暗 香残留 ，香消 在风起 雨后， 无人来 嗅”忽 然听到 沙宝亮 的这首 《暗香 》，似 乎这香 味把整 间屋子 浸染。 我是如 此迷恋 香味， 吸进的 是花儿 的味道 ，吐出 来的是 无尽的 芬芳。 轻轻一 流转， 无限风 情，飘 散，是 香，是 香，它 永远不 会在我 的时光 中走丢 。
产品
商业智能产品
元数据管理软件：DAG MetaCenter ETL软件：IBM Datastage OLAP软件：Hyperion Essbase 报表软件：石竹智能报表 查询分析软件：Hyperion Intelligence
合作与技术能力
DAG中国唯一合作伙伴
合作推出世界唯一中文元数据产品 MetaCenter产品内核汉化与合并开发
支持“数据流图”的构建，能够进行有关数据指标的处理 回溯工作
软件实施计划
•需求调研 •项目总体计划
• 元数据管理平台建设
• 元数据维护及指标管理系统 构建第一迭代
• 元数据维护及指标管理系统 构建第二迭代
构建阶段
• 用户培训 • 系统交付
元数据管理与数据质量监控概要 ppt课件
PPT课件
36
系统管理
• 元数据添加、变化日志、类别、属性、属性类别的维护 • 权限管理：用户及其权限管理
工作区
• 个人文件夹：存储个人关注的对象 • 公共文件夹：存储公共对象，达到资源共享
PPT课件
5
元数据的类型
五大类元数据
管理型
业务
操作型 数据库 VSS文档
Server Application ftp telnet ……
• 数据集维护
– 规则维护
• 标准探测 • 模式探测 • 分布探测 • 日期探测 • 任务调度
PPT课件
20
探测出检查对象的数据模式，方便做数据分析，并能根据探出的数 据模式自动生成数据规则表达式，产生数据校验规则。
PPT课件
21
数据质量监控-数据指标
• 数据集维护
– 规则维护
• 统计周期 • 度量设定 • 告警条件 • 任务调度
• 基本操作
– 增、删、改、查
– 加入到“个人文件夹”
– 加入到“公共文件夹”
•表
– 存在性实时查询
– 字段备注查询
– 字段备注保存
– 表数据预览
– 影响分析
– 血统分析
PPT课件
8
PPT课件
9
元数据管理-管理型元数据
• 基本操作
– 编辑、删除 – 加入到“个人文件夹” – 加入到“公共文件夹”
• 表选择 • 任务调度
PPT课件
26
数据质量监控-SQL脚本监控
• 告警条件
错误关键字、过滤关键字
• 超时设置
超时时长
• 任务调度
PPT课件
27
浅析企业数据运营之元数据管理
业务 需求
业务 方案
应用架构
应用系统 服务 …
数据架构
性能 智能
业务流程不数据流向 业务功能/数据关系矩阵 应用/数据关系矩阵 数据架构展现不变更管理平台
数据管理
数据分布管理
技术架构
系统软硬件…
数据质量管理 数据容量管理
数据迁秱……
企业系统数据繁杂、标准不一、质量不高
一旦对象定义发生变化，其他开发团队 会丌会有影响？
数据实体所有者是谁？谁作过修改或变更？
主题简介
01 企业数据治理现状与问题 02 数据运营之元数据的重要性 03 元数据管理范围及方法 04 元数据给企业带来的收益
元数据管理的范围
一般而言，就数据仓库或者大数据平台中的元数据可以按丌同的维度分为技术元数据、业务元
信息值值体现 为系统架构、 应用设计、开 发工作提供有 效的数据支撑
100% 90% 80%
自动管 理
版本管 理
价值体 现
主题简介
01 企业数据治理现状与问题 02 数据运营之元数据的重要性 03 元数据管理范围及方法 04 元数据给企业带来的收益
元数据为企业数据管理直观的收益
提供一份企业级的详细和应用。数据定义和 元素的详细地图, 有利亍企业的数据应用人员 进行数据分析
帮劣用户理解数据来龙去脉、关系及 相关属性，统一所有报表的统计口径， 减少数据冲突
制定企业元数据标准，减少数据冗余性,增加数据 共享,使应用开发过程更有效，开发费用更低、避 免异构结构定义、提高丌同工具乊间定义的重复 利用率
元数据带 来收益
数据血缘分析，为数据分析提供直观的 数据处理先后逻辑，协劣提升数据质量
制度、流程的管控，引起的“数据孤岛”问
元数据与EDW建设与管理 教学PPT课件
• 元数据管理员可以决定什么时候同步哪一个 版本的传统模型
• 多个版本的普通模型可以对应一个版本的 MDS元模型
• MDS元模型可以通过桥接器恢复任意版本 的元数据到生产层
版本1
临时层 生产层
版本2
临时层 生产层
版本n
临时层 生产层
万能桥接器
模型层
MDS元模型
MDS的强大辅助工具：万能桥接器
在ICBC项目元数据管理系统设计过程中，如何采集和处理元数据 是重点考虑的问题之一，我们吸取其他元数据项目的实施经验、 结合自身项目的特点、综合考虑未来项目中的通用性、可扩展性， 设计出MDS的强大辅助工具：
万能桥接器！
✓特点1:分离了元数据采集和加载功能。
✓特点2:针对MDS元模型，只用一个桥 接器，维护简单。
开发环境 集成测试环境 系统测试环境
生产环境
版本1
版本2
版本n
版本1 补丁
版本2 补丁
版本1 补丁
版本2
补丁
补丁
版本1
补丁
8>
如何踏入同一条河流：多套元数据环境
• EDW的元数据就像一条源源不断的河流，多个环境、多个版本、 不同时点，多个分支并行运行。元数据如何找到准确的切入点？这 些元数据环境如何同步？不同环境的紧急补丁如何同步到其他环境 中？
✓优点1:可以充分利用两种模型 的优势，弥补双方的不足。
✓优点2:采用“万能桥接器”来 同步MDS元模型，而不需要设 计多个桥接器，简单灵活。
✓优点3:普通模型和MDS面向对 象模型同步方式可任意配置， 能适应多版本的环境。
✓优点4:伸缩性强，可以适应不 同需求的用户。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Metadata Object Browser and Graphical Reports
Role based dashboards and Metadata Reports
16
Informatica Metadata Manager
Metadata Sources
SG Console Win NT, 2000, XP
4
技术元数据
5
业务元数据
6ห้องสมุดไป่ตู้
谁需要元数据
业务专家
业务定义
如：某销售指标不正确，找出
销售指标的计算方法及计算项
来源……
架构师
元数据
项目经理
分析人员
开发人员
业务经理
7
谁需要元数据
业务专家 分析人员
架构师
元数据
需求分析定义 如：分析指标定义、报表 定义、数据来源定义
开发人员
项目经理
业务经理
8
谁需要元数据
17
Informatica Metadata Manager
Metadata XConnects
Metadata Sources
PowerCenter Integration Server
SuperGlue Warehouse
Presentation Server
Metadata Object Browser and Graphical Reports
PA 4.1.1 Apps Server
[Browser IE 6.0 using : iPlanet 6.0, IIS 6.0 OR Apache 1.3]
PC 7.1.1 on : NT, SOLARIS HP Unix, IBM AIX (PC supported versions)
BEA WL 6.1 SP4 on : - NT 4.0 SP5, NT 2000 SP2, Win 2003 - SOLARIS 7.0, 8.0 - HP Unix 11.0, 11i - IBM AIX 4.3, 5.1
▪ OMG组织的CWM模型
• UML • MOF（元对象设施） • XMI（XML元数据交换）
3
元数据的重要性
▪ 及时发现系统变化 ▪ 找出需要调整的ETL程序 ▪ 给出仓库中数据和指标的来源及规则 ▪ 调整仓库的数据模型 ▪ 促进项目组成员的沟通 ▪ 监控数据质量 ▪ 采用元数据跟用户确认新的需求
元数据管理-实用
元数据管理工具
Informatica MetaManager DAG MetaCenter IBM MetaStage Oracle OWB CA Decisionbase Transformer ……
2
元数据
▪ MDC的开放信息模型
• 分析与设计（Analysis and Design） • 对象与组件（Object and Component） • 数据库与数据仓库（Database and Warehousing） • 业务工程（Business Engineering） • 知识管理（Knowledge Management）
PowerCenter Integration Server
SuperGlue Warehouse
Presentation Server
SG Console Win NT, 2000, XP
SG Integration Repository
CWM Class MetaModel
Warehouse Integration Repo
业务经理
10
谁需要元数据
业务专家
数据仓库项目管理控制
架构师
如：定义项目范围、控制 项目风险、评估不同系统 集成时产生的影响（影响 分析）……元数据
项目经理
分析人员
开发人员
业务经理
11
谁需要元数据
业务人员
架构师
项目架构设计
元数据 如：了解多个业务系统的结 构、关联关系，数据转换规 则设计…..
分析人员
Websphere 5.1 on : - NT 4.0 SP5, NT 2000 SP2, Win 2003 - SOLARIS 7.0, 8.0 - IBM AIX 4.3, 5.1
Metadata Object Browser and Graphical Reports
Role based dashboards and Metadata Reports
业务专家
不同开发小组之间的交流
架构师
如：DBA工程师与ETL工程师
DBA工程师与BI工程师
…..
元数据
项目经理
分析人员
开发人员
业务经理
9
谁需要元数据
业务专家
业务管理与信息消费
如：数据分析、业务决策、 给前系统提出架改构师进建议，对 数据仓库系统二期、三期提 出更多的业务需求
元数据
项目经理
分析人员
开发人员
Metadata XConnects
PowerCenter Integration Server
SuperGlue Warehouse
Presentation Server
SG Integration Repository
CWM Class MetaModel
SERVERS
PC 7.1.1 Integration Server
REPOSITORIES
- Oracle 8.1.7, 9.2.0.1 and above, 10g - SQL Server 2000 SP3 - DB2 UDB 8.x EE/EEE
- Oracle 8.1.7, 9.2.0.1 and above, 10g - SQL Server 2000 SP3 - DB2 UDB 7.x EE/EEE and above
开发人员
项目经理
业务经理
12
元数据的存储区
13
数据仓库元数据结构图
14
元数据管理示意图
元数据 数据库
源数据
暂存区
EDW
（ODS+DW+DM）
connections
前端工具
15
Informatica Metadata Manger
Metadata XConnects
Metadata Sources
SG Console
SG Integration Repository
CWM Class MetaModel
Win NT, 2000, XP
XCONNECTS
Databases
Design Tools
- Oracle 8.1.7, 9i, 10g - SQL Server 2000 - Sybase 12.x - TERADATA V2 R5 - DB2 UDB 7.1,7.2,8.1 EE/EEE - IBM Informix 9.2