元数据管理

合集下载

元数据管理

元数据管理

元数据管理1. 什么是元数据管理元数据管理是对数据的描述、定义和管理,包括数据的属性、格式、来源、质量、关系等信息。

元数据通常被用于数据集成、数据分析、数据挖掘、数据治理、数据质量管理和数据安全等方面。

元数据可以提高数据资源的使用效率,促进应用系统的互操作性,提高数据的可信度和可重复性,降低数据管理成本,提高数据价值。

元数据管理可以分为三个层次:(1) 概念层元数据:描述数据的业务名义、业务规则、数据类别、数据的主体及其关系等。

(2) 逻辑层元数据:描述数据的逻辑模型、数据结构、数据和业务的关系等。

(3) 物理层元数据:描述数据的物理组织结构、存储方式、数据格式、访问方法等。

2. 元数据管理的价值元数据管理有助于提高数据资源的使用效率和数据管理的质量,其价值主要表现在以下几个方面:(1) 提高数据的可重复性和可信度元数据可以提供数据质量和数据来源的相关信息,使得数据的使用和转换能够更加准确地反映现实世界,提高数据的可信性和可重复性。

(2) 促进系统的互操作性元数据提供了关于数据之间相互关系的描述,可以促进不同系统之间的信息交流和协作,使系统更加互操作,便于数据资源的共享和利用。

(3) 降低数据管理的成本元数据可以提供数据的相关信息,使得数据的使用和管理更加高效,减少了重复性的工作量,降低了数据管理的成本,提高了数据资源的利用价值。

(4) 提供更加全面的数据支持元数据可以描述数据的特征、属性和约束条件等信息,涵盖了对数据的所有方面的考虑,使得数据资源对于业务的支持更加全面。

3. 元数据管理的应用场景元数据管理可以应用于以下几个方面:(1) 数据集成:元数据管理可以用于数据的集成,通过描述数据的属性和关系等信息使得数据能够在不同的系统之间交换和共享,促进数据的一体化管理。

(2) 数据分析:元数据管理可以提供数据质量、数据结构等信息,帮助用户对数据进行分析和挖掘,提高数据的分析效率。

(3) 数据治理:元数据管理可以用于数据的规范化和管理,描述数据的源头、质量等信息,保证数据的合法性和一致性。

元数据管理研究报告

元数据管理研究报告

元数据管理研究报告在当今数字化的时代,数据已成为企业和组织最宝贵的资产之一。

而元数据管理作为数据管理领域的重要组成部分,对于提升数据质量、促进数据共享和利用、保障数据安全等方面都具有至关重要的作用。

本文将对元数据管理进行深入研究,探讨其概念、重要性、面临的挑战以及解决方案。

一、元数据管理的概念元数据简单来说,就是“关于数据的数据”。

它描述了数据的各种属性和特征,例如数据的名称、类型、长度、来源、创建时间、修改时间、所有者、数据之间的关系等等。

元数据管理则是指对元数据的创建、存储、维护、更新、查询和使用进行有效的规划、控制和监督,以确保元数据的准确性、完整性和一致性。

二、元数据管理的重要性1、提高数据质量通过元数据管理,可以清楚地了解数据的来源、含义和质量状况,从而能够及时发现和纠正数据中的错误和不一致性,提高数据的准确性和可靠性。

2、促进数据共享和利用元数据提供了对数据的清晰描述和理解,使得不同部门和系统之间能够更好地共享和利用数据。

用户可以通过元数据快速找到所需的数据,提高数据的利用效率。

3、支持数据治理元数据管理是数据治理的重要基础。

通过对元数据的管理,可以明确数据的责任主体,制定数据的标准和规范,确保数据的合规性和安全性。

4、优化数据架构元数据能够反映数据的分布和结构,帮助企业优化数据架构,提高数据存储和处理的效率。

三、元数据管理面临的挑战1、元数据的多样性和复杂性随着企业信息化程度的提高,数据来源越来越多,包括数据库、文件系统、应用系统等,不同来源的数据具有不同的格式和结构,导致元数据的多样性和复杂性增加,给管理带来了困难。

2、元数据的一致性和准确性由于元数据可能在多个系统和部门中创建和维护,容易出现元数据不一致和不准确的情况。

例如,同一个数据在不同的系统中可能有不同的定义和描述。

3、元数据的变更管理在数据的生命周期中,元数据可能会频繁发生变更。

如何有效地管理元数据的变更,确保相关人员能够及时了解变更情况,并对受影响的系统和流程进行相应的调整,是一个挑战。

元数据管理的定义

元数据管理的定义

元数据管理是一个根据使用这些资产的方式来管理组织的数据资产的流程。

此流程能集成、链接和集中管理多个来源的元数据,便于在整个组织内妥善维护、分析、消费和解释数据。

当从业务元数据和技术元数据中得出数据的含义时,可以更有效地汇总和集成数据。

简言之,当有效管理元数据时,数据变得更有价值。

IT 组织需要有效的元数据管理解决方案以:•简化数据发现和跟踪数据中央目录。

大多数公司需要管理日益复杂的系统。

通过管理元数据,IT 组织可以在能够快速发现数据资产的多个系统内创建数据资产库存。

•通过重复使用数据加强一致性并消除冗余,从而提高工作效率并降低项目付时间。

可以将中央元数据资料库当作“单一数据源”来发现开发人员可以充分利用的可重用组件。

公司可以减少冗余或未使用数据的数量,从而允许进行硬件和软件整合并节省成本。

•减少因人员流动而导致知识流失的风险。

有关存储重要信息的位置和方式、以及经常未存档意味着什么,所有这些都只留在了某些员工的头脑里。

当这些关键员工离开公司时,这方面的知识也就会随着他们一起消失。

元数据管理系统内的中央元数据资料库保存了这方面的知识,从而减轻了此类信息随着离职员工一起消失的任何风险。

•增加了向业务用户报告的数据交付的信心。

跟踪数据沿袭:数据来自什么地方以及如何产生、处理和交付数据,这为业务用户提供了重要的背景知识。

探查源系统中的数据可以暴露和解决数据不准确性和不一致性问题,从而产生可靠的高质量数据。

•通过制定更有效的开发流程来提高IT 部门对业务的响应度。

元数据的集成和可见性可以帮助IT 部门了解存在哪些数据、数据存储位置及其含义,从而最大限度地降低信息的复杂性。

此外,这种可见性通过不断变更业务要求为分析变化所带来的影响提供了基础架构,并将会加快新数据集成项目的开发。

数据集成开发人员可以依赖这些信息来轻松和准确地确定他们的数据集成项目所需的数据。

并且,能够访问潜在变化所带来的影响也可以帮助管理人员快速评估项目的持续时间和资源成本。

元数据管理内容

元数据管理内容

元数据管理内容
元数据管理内容主要包括以下几个方面:
1. 元数据标准:制定和推广元数据标准是元数据管理的核心内容。

元数据标准定义了数据的语义、结构和关系,使得不同系统之间能够进行有效的数据交换和共享。

例如,DC(Dublin Core)元数据标准广泛应用于数字图书馆和档案领域。

2. 元数据质量:保证元数据质量是元数据管理的重要任务。

高质量的元数据能够提高数据的可理解性和可用性,增强数据的可信度和可靠性。

元数据质量评估包括准确性、完整性、一致性和时效性等方面。

3. 元数据采集:元数据采集涉及确定需要采集的元数据类型、来源和采集频率等。

元数据采集应确保数据的准确性和完整性,同时考虑到数据规模和实时性的要求。

4. 元数据存储和备份:元数据存储和备份是元数据管理的基础设施。

选择合适的存储方案和备份策略,能够确保元数据的安全性和可恢复性。

5. 元数据映射和转换:元数据映射和转换是将不同来源和格式的元数据进行整合的关键技术。

通过元数据映射和转换,可以实现不同系统之间的数据共享和交换。

6. 元数据分析与利用:通过对元数据进行深入分析,可以挖掘出数据的潜在价值和知识。

利用元数据分析结果,可以为决策支持、
知识发现等应用提供支持。

综上所述,元数据管理内容广泛而复杂,涉及到标准制定、质量保证、采集、存储备份、映射转换和分析利用等多个方面。

元数据管理制度

元数据管理制度

元数据管理制度
元数据管理制度是指组织或企业为了更好地管理和利用元数据而建立的一套制度和规范。

元数据是描述数据的数据,它包含了数据的结构、属性、关系和语义等信息,可以帮助用户更好地理解和使用数据。

元数据管理制度的主要目标是确保元数据的准确性、完整性和一致性,以及提供有效的元数据管理流程和工具。

具体包括以下几个方面:
1. 元数据定义和标准化:制定统一的元数据定义和标准,明确元数据的各个属性和描述方式,确保不同部门和系统之间的元数据能够互通。

2. 元数据收集和维护:建立元数据收集和维护的机制,确保元数据的及时更新和正确性。

包括收集现有系统中的元数据,以及在新系统开发过程中对元数据进行记录和维护。

3. 元数据存储和共享:建立适当的元数据存储和共享机制,确保元数据的安全性和可访问性。

可以采用数据库或者元数据管理工具等方式来存储和管理元数据。

4. 元数据查询和检索:提供方便快捷的元数据查询和检索功能,用户可以根据需要查找和浏览元数据,以便更好地理解和使用数据。

5. 元数据权限管理:对元数据的访问和修改进行权限控制,确
保只有授权的人员可以修改和使用元数据,避免数据的误用和滥用。

通过建立和实施元数据管理制度,组织或企业可以更好地管理和利用元数据,提高数据的质量和价值,支持业务决策和数据分析等工作。

元数据管理包含的主要内容

元数据管理包含的主要内容

元数据管理包含的主要内容元数据管理是指对数据的描述、组织和管理的过程。

它涉及到对数据的定义、分类、标准化、命名、注释、存储等方面的工作,以确保数据的可信性、可用性和可维护性。

元数据是关于数据的数据,是对数据的描述和解释,包括数据的结构、定义、来源、格式、用途等信息。

元数据管理的主要内容包括数据字典管理、数据分类与标准化、数据质量管理、数据安全与权限管理、数据血缘追踪与溯源等。

数据字典管理是元数据管理的核心环节。

数据字典是记录数据元素和数据元素之间关系的文档或数据库。

通过数据字典,可以清晰地了解数据的含义、结构和用途,方便数据的使用和维护。

数据字典管理涉及到数据元素的定义、属性、取值范围等信息的记录和维护,以及数据元素之间的关系的建立和管理。

数据分类与标准化是元数据管理的重要内容。

数据分类是将数据按照一定的标准进行分类和归类,以便于数据的管理和使用。

数据标准化是指对数据进行统一的命名、格式、编码等处理,以确保数据的一致性和规范性。

通过数据分类与标准化,可以提高数据的可查找性、可比性和可解释性。

数据质量管理是元数据管理的关键环节。

数据质量是指数据是否满足使用者的需求和期望。

数据质量管理包括数据准确性、完整性、一致性、有效性、及时性等方面的管理。

通过数据质量管理,可以提高数据的可信度和可用性,减少数据错误和冗余。

数据安全与权限管理是元数据管理的重要内容。

数据安全是指保护数据不被非法访问、篡改、删除等风险的管理措施。

权限管理是指对数据的访问权限进行控制和管理,确保只有授权的人员可以访问和使用数据。

通过数据安全与权限管理,可以确保数据的机密性、完整性和可用性。

数据血缘追踪与溯源是元数据管理的关键环节。

数据血缘追踪是指对数据的来源和去向进行追踪和记录,以便于数据溯源和问题排查。

数据溯源是指通过追溯数据的来源和处理过程,找到数据的源头和变动情况,以确保数据的可靠性和可信度。

元数据管理是对数据的描述、组织和管理的过程,包括数据字典管理、数据分类与标准化、数据质量管理、数据安全与权限管理、数据血缘追踪与溯源等内容。

元数据管理制度

元数据管理制度

元数据管理制度一、引言随着信息技术的发展和数据量的爆炸增长,元数据管理在企业中变得越来越重要。

元数据是描述数据的数据,是数据的关键资产。

合理管理元数据可以提高数据质量、管理数据资产,以及支持企业数据治理和决策。

本文将阐述元数据管理的重要性、管理原则、管理方法和操作流程,以及具体的管理制度。

二、元数据管理的重要性1.促进数据共享和集成:元数据是数据的描述,通过管理元数据可以促进数据共享和集成。

当各部门和系统都遵循同一种元数据标准时,数据的集成会更加容易,各方之间可以更好地共享数据。

2.提高数据质量:元数据管理可以帮助企业建立数据质量标准和规范,确保数据质量始终如一。

通过元数据管理,可以更好地了解数据的来源、含义、结构和关系,从而提高数据的准确性、完整性和一致性。

3.支持数据治理和决策:元数据是数据的关键抽象,通过管理元数据可以更好地了解数据资产、数据风险和数据价值。

有了清晰的元数据,企业可以更好地制定数据治理策略、做出数据决策,并支持企业的业务目标。

4.降低数据管理成本:随着数据量不断增长,数据管理的成本也在增加。

通过合理管理元数据,可以减少数据管理的成本,提高数据管理效率,降低风险。

5.促进数据分析和挖掘:元数据可以帮助用户更好地了解数据的结构和关系,为数据分析和挖掘提供支持。

通过元数据管理,可以更快、更准确地进行数据分析和挖掘,挖掘出数据背后的价值。

三、元数据管理原则1.一致性原则:元数据管理应该遵循一致性原则,即各部门和系统都应该使用同一种元数据标准,以确保元数据的一致性和准确性。

2.全面性原则:元数据管理应该是全面的,涵盖所有数据资产,包括结构化数据、非结构化数据、半结构化数据等,确保所有数据都受到管理。

3.及时性原则:元数据管理需要及时更新和维护,随着数据的不断变化,元数据也需要不断更新和调整,以保持元数据的准确性和时效性。

4.安全性原则:元数据管理需要确保元数据的安全性和机密性,防止元数据被未经授权的访问和篡改,保护数据资产的安全。

元数据管理内容 -回复

元数据管理内容 -回复

元数据管理内容 -回复什么是元数据管理??元数据管理是指对于数据的属性、定义、语意以及关系等信息进行管理的过程。

它能够帮助组织有效地存储、访问和分析数据,并支持决策和数据质量的改进。

在现代数据驱动的环境中,元数据管理是组织维护和管理海量数据所必不可少的一部分。

元数据管理的重要性元数据管理对于组织的数据管理和数据资产的价值是至关重要的。

以下是元数据管理的一些重要方面:1. 数据搜索和发现:元数据可以帮助用户快速定位和搜索到他们所需的数据。

通过元数据,用户可以了解到数据存储的位置、格式、内容、使用权限等相关信息,从而快速查找到需要的数据资源。

2. 数据字段和定义:元数据可以提供对数据字段和定义的准确描述。

这有助于确保多个团队或部门在使用相同数据时具有一致的理解。

如果不准确或缺乏定义,数据的解释就可能会发生歧义,给数据分析和决策带来困扰。

3. 数据质量管理:元数据管理可以帮助组织评估和监控数据质量。

通过对元数据的分析,可以检测数据源的可靠性和准确性。

这有助于组织及时发现和解决数据质量问题,提高数据分析的可信度。

4. 组织数据治理:元数据管理是有效数据治理的基础。

通过元数据的定义和记录,可以确保数据管理策略和规则的正确实施。

元数据可以记录数据的来源、相关方、数据使用规则等信息,从而对数据进行更好的管理和保护。

元数据管理的步骤下面是元数据管理的一般步骤:1. 确定元数据需求:首先,组织需要明确元数据管理的目标和需求。

这包括确定所需的元数据类型、范围和用途。

例如,是为了支持数据搜索、数据质量管理还是数据治理。

2. 收集元数据:一旦元数据需求被确定,接下来就是收集和获取相关的元数据。

这可能包括对现有系统和数据源的分析以及其他数据源的查询。

收集到的元数据可以来自于各种不同的来源,如数据库、文件系统、应用程序以及各种第三方工具。

3. 组织和分类元数据:一旦元数据被收集,组织和分类元数据将变得重要。

这可以通过建立元数据目录、定义元数据结构和属性等方法来实现。

数据仓库元数据管理

数据仓库元数据管理

数据仓库元数据管理一、概述数据仓库元数据管理是指对数据仓库中的元数据进行有效管理和维护的过程。

元数据是描述数据仓库中数据的数据,包括数据表结构、数据字段定义、数据源信息、数据质量指标等。

良好的元数据管理可以提高数据仓库的可维护性、可扩展性和数据质量,为数据分析和决策提供准确可靠的基础。

二、元数据管理流程1. 元数据收集通过与业务部门沟通,收集数据仓库中需要管理的元数据信息。

包括数据表名、字段名、数据类型、数据长度、数据源、数据质量要求等。

可以通过数据抽取工具、数据库查询等方式获取元数据信息。

2. 元数据分类根据元数据的不同属性和用途,进行分类和归类。

常见的分类方法包括按数据表、数据字段、数据源、数据质量等进行分类。

分类后便于后续的管理和维护。

3. 元数据标准化制定统一的元数据命名规范和格式,确保元数据的命名一致性和可读性。

例如,数据表名采用大写字母开头的驼峰命名法,字段名采用小写字母开头的驼峰命名法等。

同时,制定元数据描述的规范和格式,方便用户理解和使用。

4. 元数据文档化将元数据信息进行文档化,包括元数据定义、元数据属性、元数据关系等。

可以使用文档工具或者数据库表格等形式进行记录和管理。

文档化的元数据可以方便用户查询、理解和使用。

5. 元数据维护定期对元数据进行维护和更新。

包括新增、修改、删除元数据等操作。

维护时需要与业务部门进行协调和确认,确保元数据的准确性和完整性。

6. 元数据安全对元数据进行安全管理,保护元数据的机密性和完整性。

可以通过权限控制、访问控制等方式进行保护。

同时,备份元数据,以应对意外情况和数据丢失。

三、元数据管理工具1. 元数据管理系统(Metadata Management System)使用元数据管理系统可以对元数据进行集中管理和维护。

系统可以提供元数据的录入、查询、修改、删除等功能,同时支持元数据的文档化和分类。

常见的元数据管理系统包括Informatica Metadata Manager、IBM InfoSphere Information Governance Catalog等。

元数据管理的重要意义

元数据管理的重要意义

元数据管理的重要意义摘要:一、引言1.元数据管理的概念2.元数据管理的重要性二、元数据管理的应用场景1.数据库管理2.数据仓储与挖掘3.数据质量控制4.数据安全与隐私保护三、元数据管理的关键作用1.提高数据利用率2.促进数据共享与协作3.规范数据管理与维护4.支持数据创新与决策四、发展趋势与挑战1.云计算与大数据背景下的元数据管理2.人工智能技术的融合与应用3.标准化与互操作性需求4.安全与隐私保护挑战五、结论1.元数据管理的重要意义2.我国在该领域的现状与展望3.企业与个人如何应对元数据管理的变革正文:一、引言随着信息技术的快速发展,数据已成为企业与个人核心竞争力的重要组成部分。

在这海量数据中,元数据(metadata)作为数据的描述信息,具有举足轻重的地位。

元数据管理(metadata management)作为一种数据管理策略,对于提高数据质量、促进数据共享与协作具有重要意义。

1.元数据管理的概念元数据是描述数据的数据,它包含了数据的结构、属性、关系、来源、权限等有关信息。

元数据管理是指对元数据进行有效组织、存储、维护和应用的过程。

它可以帮助企业与个人更高效地管理和利用数据资源。

2.元数据管理的重要性元数据管理在实际应用中具有重要意义,它有助于提高数据利用率、促进数据共享与协作、规范数据管理与维护、支持数据创新与决策。

二、元数据管理的应用场景元数据管理广泛应用于数据库管理、数据仓储与挖掘、数据质量控制、数据安全与隐私保护等领域。

1.数据库管理:元数据管理有助于对数据库中的表、字段、数据类型等进行统一管理和维护。

2.数据仓储与挖掘:元数据管理可以支持数据仓库的设计、实现和优化,同时为数据挖掘提供丰富的背景信息。

3.数据质量控制:通过对元数据进行质量检查和评估,可以发现数据中的异常和错误,从而保证数据质量。

4.数据安全与隐私保护:元数据管理可以记录数据的来源、权限等信息,为数据安全与隐私保护提供支持。

公司元数据管理细则

公司元数据管理细则

XX公司元数据管理细则第一章总则第一条为规范XX公司(以下简称公司)的元数据管理工作,利用元数据做好数据资产管理,理清数据资产的种类、数量、含义、关联关系和使用情况,提升数据治理能力,改善数据质量,充分发挥数据价值,根据《XX公司数据治理管理办法》等有关规定,制定本细则。

第二条元数据是描述数据的数据,是数据的业务含义、技术含义和加工处理过程的定义,元数据管理的目的是便于查找、理解、使用和管理数据,是数据治理的基本手段。

第三条元数据分为业务元数据、技术元数据和管理元数据。

(一)业务元数据是描述数据业务领域相关概念、关系和规则的数据,包括业务术语、指标定义、业务规则、计算口径等业务信息。

(二)技术元数据是描述数据技术领域相关概念、关系和规则的数据,包括物理数据库、表、字段和数据转换等技术信息。

(三)管理元数据是描述数据管理领域相关概念、关系和规则的数据,包括人员角色、职责岗位和管理流程等管理信息。

第四条元数据管理包括元数据生成、采集、整合、变更、应用以及元数据管理工具的建设和维护等相关工作。

第二章元数据管理组织和职责第五条公司元数据的管理组织包括数据治理决策机构、数据治理管理机构、数据治理执行机构。

第六条数据治理决策机构是元数据管理的最高决策机构,主要职责包括:(一)审议元数据管理相关办法、细则和流程;(二)对元数据管理工作的重大事项进行协调与决策;(三)领导数据治理管理机构开展元数据管理工作,定期听取数据治理管理机构对元数据管理工作的汇报。

第七条数据治理管理机构是元数据管理的组织与协调机构,主要职责包括:(一)制定元数据管理相关办法、细则和流程;(二)组织、推动和协调元数据管理相关工作,管理业务、技术、管理元数据,采集和整合元数据;(三)使用元数据工具,进行数据影响分析和血缘分析辅助系统运维管理和支持数据分析;(四)向数据治理决策机构汇报有关元数据管理工作的重大事项。

第八条数据治理执行机构由相关业务及管理部门组成,主要职责包括:(一)负责定义元数据并协助数据治理管理机构采集元数据;(二)使用元数据工具,进行元数据查询,影响分析和血缘分析,辅助元数据变更管理。

读懂元数据管理

读懂元数据管理

读懂元数据管理01什么是元数据元数据(metadata)是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据的数据。

概念总是生涩,对于没有IT背景的人来说比较抽象,不容易理解,下面举几个例子。

示例1:歌词中的元数据有一首很多80后耳熟能详的歌曲叫《小芳》,歌词中有这么一句:“村里有个姑娘叫小芳,长得好看又善良。

”我们对这句歌词做一下分析。

姓名:小芳;性别:姑娘(女);长相:好看;性格:善良;住址:村里。

歌词里面,“小芳”是被描述的对象,而“姓名”“性别”“长相”“性格”“住址”就是描述“小芳”的元数据。

示例2:户口本中的元数据户口本中除了有姓名、身份证号、出生日期、住址、民族等信息外,还有家庭关系,如夫妻关系、父子关系、兄弟关系等。

这些信息就是描述一个人的元数据,通过户口本中的元数据,我们不仅能够了解一个人的基本信息,还能够了解其家庭关系。

示例3:图书馆中的元数据图书馆都会用一个叫作“图书目录”的文件夹来管理藏书,图书目录包含图书名称、编号、作者、主题、简介、摆放位置等信息,用来帮助图书管理员管理和快速查找图书。

元数据就如同图书馆的图书目录一样,能够帮助数据管理员管理数据。

示例4:元数据好比字典字典包含一个字的注音、含义、组词、举例等基本信息及其字体结构、相关引用、出处等。

另外,我们可以通过拼音或偏旁部首查到这个字。

所有这些信息都是对这个字的详细描述,它们就是描述这个字的元数据。

示例5:元数据就像地图地图是按一定比例运用线条、符号、颜色、文字注记等描绘显示地球表面的自然地理、行政区域、社会经济状况的图。

通过地图,你能够找到自己所处的地理位置,了解你从哪里来,到哪里去,途中要路过哪些地方。

元数据也具备这样的特点,它能够帮助企业了解自己有哪些数据,这些数据存放在哪里,数据的来源、去向及加工路径等。

元数据与数据的不同之处在于:元数据描述的不是特定的实例或记录,IT部门和业务部门都需要高质量的元数据来理解现有数据;元数据是比一般意义上的数据范畴更加广泛的数据,不仅表示数据的类型、名称、值等信息,还提供数据的上下文描述,比如数据的所属业务域、取值范围、数据间的关系、业务规则、数据来源等。

元数据管理

元数据管理

元数据管理元数据管理是指对数据的描述信息进行管理和组织的一种方法。

随着信息时代的到来,大量的数据被不断地产生和积累,元数据管理的重要性也日益凸显。

首先,元数据是对数据的描述性信息,可以帮助用户更好地理解和使用数据。

通过元数据,用户可以了解到数据的来源、格式、内容、质量等方面的信息,从而更好地判断数据的可信度和适用范围。

例如,在一个大数据平台中,元数据可以包括数据表的名称、字段的定义、索引的信息等,用户可以通过元数据来查询和选择适合自己需要的数据,提高数据的使用效率。

其次,元数据管理可以提高数据的可发现性和可利用性。

在一个庞大的数据集中,存在着大量的数据文件和数据表,如何迅速地找到所需的数据并且有效地使用起来是一个非常重要的问题。

通过元数据管理,可以实现对数据的分类、标注和索引,帮助用户更方便地查询和检索数据。

比如,通过标注数据的类型、主题、作者等信息,可以将数据进行分类和组织,便于用户进行检索和使用。

另外,元数据管理也可以提高数据的一致性和可靠性。

在一个复杂的数据环境中,不同的应用系统可能会产生相同或者相似的数据集,这样就容易造成数据的重复和冗余。

通过元数据管理,可以对数据进行去重和去冗余的处理,从而提高数据的一致性和可靠性。

例如,在数据仓库中,通过元数据管理可以对数据进行清洗和转换,去除冗余数据,提高数据的质量和准确性。

此外,元数据管理还可以帮助数据的共享和交流。

在现实生活中,不同的组织和部门可能都有相同或者相似的数据需求,但是由于数据的格式和结构不同,导致数据无法进行共享和交流。

通过元数据管理,可以对数据进行标准化和描述,使不同的数据源可以进行互联互通,方便数据的共享和交流。

例如,在一个开放数据平台中,通过标准化的元数据,可以使各个数据提供方和数据使用方进行数据的交互和共享,推动数据的流动和利用。

总结起来,元数据管理是一种重要的数据管理方法,可以帮助用户更好地理解和使用数据,提高数据的可发现性和可利用性,提高数据的一致性和可靠性,促进数据的共享和交流。

元数据管理

元数据管理

元数据管理元数据管理是指对数据的描述性信息进行管理和维护的过程。

元数据是指对数据的描述性信息,包括数据的结构、内容、关系、格式、语义和使用规则等。

元数据管理的目标是确保数据的准确性、一致性和可靠性,使数据更容易被理解、访问和使用。

元数据管理包括以下几个方面:1. 元数据收集和录入。

元数据收集是指对数据源的信息进行收集和整理,包括数据的来源、结构、格式、存储方式等。

元数据录入是将收集到的元数据信息录入到元数据管理系统中,以便进行管理和查询。

2. 元数据分析和建模。

元数据分析是根据收集到的元数据信息进行分析和提炼,形成元数据模型。

元数据模型是对数据的描述性信息进行整理和组织的框架,包括数据的属性、关系和约束等。

3. 元数据存储和维护。

元数据存储是指将收集到的元数据信息存储到元数据管理系统中,以便进行查询和使用。

元数据维护是对元数据信息进行更新、清理和修复,确保元数据的准确性和完整性。

4. 元数据查询和检索。

元数据查询是指通过元数据管理系统对存储的元数据信息进行查询和检索,以便快速找到所需的数据。

元数据查询可以根据不同的条件和要求进行过滤和排序,提高数据的查找和使用效率。

5. 元数据关系和共享。

元数据关系是指不同元数据之间的关系和依赖,包括数据的血缘关系、依赖关系和继承关系等。

元数据共享是指将元数据信息共享给其他系统和用户,提高数据的交流和共享效率。

元数据管理的好处包括:1. 提高数据质量。

通过元数据管理,可以更好地理解和描述数据,减少数据的错误和不一致性。

2. 提高数据分析和决策能力。

通过元数据管理,可以更好地理解和解释数据,为数据分析和决策提供更准确的依据。

3. 提高数据共享和协作能力。

通过元数据共享,不同系统和用户可以更好地理解和使用数据,提高数据的共享和协作效率。

4. 提高数据安全和隐私保护能力。

通过元数据管理,可以对数据的敏感信息进行标识和保护,提高数据的安全性和隐私保护能力。

总之,元数据管理是对数据的描述性信息进行管理和维护的过程,通过元数据管理可以提高数据质量、分析能力、共享能力和安全性,为数据的理解、访问和使用提供更好的支持。

万字介绍25种元数据管理解决方案(含视频,建议收藏)

万字介绍25种元数据管理解决方案(含视频,建议收藏)

万字介绍25种元数据管理解决⽅案(含视频,建议收藏)⼀、元数据概述1.1、定义元数据定义:描述数据的数据,对数据及信息资源的描述性信息。

⼩编认为元数据不仅仅是关于数据的数据,它还是⼀种上下⽂,赋予信息更加丰富的⾝份。

以图⽚为例,其图⽚本⾝是⼀种数据,那么图⽚的名称、属性、尺⼨、使⽤什么设备⽣成的、⽣成的时间、责任⼈等等这些信息其实都属于元数据。

详见公众号"进击吧⼤数据"阅读原⽂观看1.2、类型元数据的类型可以分为以下三种:1.2.1、业务元数据描述数据系统中业务领域相关概念、关系和规则的数据,包括业务术语、信息分类、指标、统计⼝径等。

例如:针对机场基础信息数据,其标识信息、数据质量与精度信息、空间参照信息、发布与更新信息、负责单位与联系信息等均构成描述该机场基本数据(如机场代码、坐标等)的业务元数据。

业务元数据也可以⼤致分为逻辑元数据和物理元数据。

1.2.1.1、逻辑元数据有关逻辑结构(例如表)的业务元数据被视为逻辑元数据;我们使⽤元数据进⾏数据分类和标准化我们的 ETL 处理。

表所有者可以在业务元数据中提供有关表的审计信息。

它们还可以提供⽤于写⼊表的列默认值和验证规则。

1.2.1.2、物理元数据有关存储在表或分区中的实际数据的元数据被视为物理元数据。

我们的 ETL 处理在作业完成时存储有关数据的指标,稍后⽤于验证。

相同的指标可⽤于分析数据的成本 + 空间。

鉴于两个表可以指向相同的位置(如在 Hive 中),区分逻辑元数据和物理元数据很重要,因为两个表可以具有相同的物理元数据但具有不同的逻辑元数据1.2.2、技术元数据描述数据系统中技术领域相关概念、关系和规则的数据,包括物理模型的表与字段、ETL规则、集成关系等。

例如:针对图像数据,其基本数字对象(对象标识符、⽂件⼤⼩、字节序列、压缩类别等)、基本图像信息、图像捕捉元数据、图像评估元数据(空间度量、图像⾊彩编码等)等构成描述该数据的技术元数据。

元数据管理用法

元数据管理用法

元数据管理用法元数据管理是指对数据进行有效组织、分类和描述,以便更好地利用和管理数据的过程。

它涉及到数据的收集、整理、存储以及搜索和检索,是数据管理领域中的重要部分。

在当今的信息化时代,大量的数据被不断产生和积累,对这些数据进行有效的管理和利用成为了各种组织和企业的重要课题。

本文将重点介绍元数据管理的基本定义、作用、方法以及用法,以便读者更好地理解和应用元数据管理。

一、元数据管理的基本定义元数据是描述数据的数据,它是对数据的信息进行描述和解释的数据。

元数据管理就是对元数据进行有效的管理和利用。

在实际应用中,元数据通常包括数据的来源、格式、结构、关系、使用规则等信息,通过元数据管理,可以更好地理解和利用数据,提高数据的价值和效用。

二、元数据管理的作用1. 数据组织和分类:元数据管理可以帮助对数据进行有效的组织和分类,使得数据更易于管理和利用。

2. 数据描述和解释:通过元数据,可以对数据进行详细的描述和解释,让用户更好地理解数据的含义和特性。

3. 数据检索和利用:通过元数据管理,可以实现对数据的快速检索和有效利用,提高数据的使用效率。

4. 数据质量控制:通过对元数据的管理,可以对数据的质量进行监控和控制,确保数据的准确性和完整性。

三、元数据管理的方法1. 元数据收集和整理:通过各种手段对数据的元数据进行收集和整理,构建起完整的元数据库。

2. 元数据存储和管理:建立元数据的存储和管理系统,对元数据进行有效的管理和维护。

3. 元数据搜索和检索:提供元数据搜索和检索功能,实现对元数据的快速查找和获取。

4. 元数据更新和维护:对元数据进行定期更新和维护,确保元数据的及时性和准确性。

四、元数据管理的用法1. 数据库管理:在数据库管理中,元数据管理是不可或缺的一部分,通过对数据库表结构、索引、关系等元数据的管理,可以更好地对数据库进行管理和优化。

2. 数据分析和挖掘:在数据分析和挖掘中,通过对数据的元数据进行分析,可以更好地理解数据的特性和规律,发现隐藏在数据中的有价值信息。

元数据管理和数据标准管理

元数据管理和数据标准管理

元数据管理和数据标准管理
元数据管理和数据标准管理是数据管理的两个重要方面,它们各自定义如下:
1.元数据管理:是对企业涉及的业务元数据、技术元数据、管理
元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和数据分析平台的开
发、维护过程提供支持。

借助变更报告、影响分析等应用,控制数据质量、减少业务术语歧义和建立业务和技术之间的良好沟通渠道,进一步提高各种数据的可信性、可维护性、适应性和可集成性。

2.数据标准管理:数据标准适用于业务数据描述、信息管理及应
用系统开发,可以作为经营管理中所涉及数据的规范化定义和统一解释,也可作为信息管理的基础,同时也是作为应用系统开发时进行数据定义的依据。

涉及国家标准、行业标准、企
业标准和地方标准,在定义元数据实体或元素时进行关联。

数据标准需要不断的补充完善、更新优化和积累,以便更好的支撑业务的开发和系统的集成。

总的来说,元数据管理和数据标准管理都是为了确保数据的准确性、一致性和可靠性,但它们的工作重点和应用场景有所不同。


实际操作中,可以根据企业的具体需求和业务环境选择合适的管理方式。

元数据的管理制度

元数据的管理制度

元数据的管理制度第一章总则第一条为规范大数据平台元数据的管理,提高数据资源利用效率、保障数据质量和安全性,根据国家有关法律法规和监管规定,制定本制度。

第二条本制度适用于公司内所有部门在大数据平台上进行数据的采集、传输、处理、存储和应用等活动。

第三条元数据指用于描述数据属性、数据结构、数据来源、数据处理过程和数据应用范围等信息的数据,是数据的数据,是对数据的信息和知识的描述,具有数据的解释、管理、应用等功能。

第四条公司将建立统一的元数据管理平台,负责统一管理和维护公司内各部门所产生的元数据,确保数据的完整性、准确性和一致性。

第五条公司将根据元数据的不同分类和用途,制定相应的管理办法和规定,保障数据资源的有效利用和管理。

第六条公司将加强对元数据管理的监督与检查,确保元数据的合规性和安全性。

第七条公司将建立完善的元数据管理制度宣传培训机制,提高公司员工对元数据管理的重视和理解。

第八条公司将不断完善元数据管理制度,根据公司业务发展的需求和技术进步的要求进行适时调整和更新。

第二章元数据管理范围第九条公司所管理的元数据范围包括但不限于以下几个方面:(一)数据结构元数据:包括数据表、字段、索引、主键等数据结构的描述信息。

(二)数据质量元数据:包括数据准确性、完整性、一致性、可信度等质量指标的描述信息。

(三)数据安全元数据:包括数据访问控制、数据加密、数据备份等安全机制的描述信息。

(四)数据血缘元数据:包括数据来源、数据传输、数据处理等数据流程的描述信息。

(五)数据应用元数据:包括数据存储、数据应用、数据分析等应用场景的描述信息。

第十条公司将根据不同的元数据类型和用途,建立相应的元数据管理规范和流程,明确责任人和流程节点,确保元数据的安全性和完整性。

第十一条公司将依托元数据管理平台,实现元数据的集中管理和共享,方便各部门之间数据资源的共享和交互。

第三章元数据管理流程第十二条公司将建立元数据管理的工作流程,包括元数据采集、元数据存储、元数据更新等环节。

元数据管理的组织和职责分工

元数据管理的组织和职责分工

元数据管理的组织和职责分工元数据管理是组织和管理数据的重要组成部分,其组织和职责分工如下:
1.元数据管理组织:通常由一个专门的团队或部门负责,负责制定元数据管理策略、规范和流程,并确保其有效执行。

2.元数据管理员:负责创建、维护和管理元数据。

他们负责定义数据元素、数据类型、数据关系等元数据信息,并确保数据的准确性和一致性。

3.数据所有者:对特定的数据集或数据资产拥有最终决策权。

他们负责确定元数据的需求和使用场景,并确保元数据符合组织的业务需求。

4.数据使用者:根据元数据来理解和使用数据。

他们需要按照元数据管理规范使用元数据,并及时反馈元数据的问题和需求。

5.元数据审核员:负责审核和验证元数据的准确性、完整性和一致性。

他们确保元数据符合组织的标准和规范,并提供改进建议。

6.技术支持团队:提供元数据管理系统的技术支持,包括系统安装、配置、维护和升级等工作。

通过明确的组织和职责分工,元数据管理团队可以协同工作,确保元数据的质量和可用性,提高数据的管理和利用效率。

元数据管理包含的主要内容

元数据管理包含的主要内容

元数据管理包含的主要内容元数据管理是指对数据的描述、定义、管理和维护的过程。

它是数据管理的重要组成部分,可以帮助组织更有效地管理和利用数据资源。

本文将介绍元数据管理的主要内容,包括元数据的定义、分类、存储和使用。

一、元数据的定义元数据是描述数据的数据,它包含了关于数据的各种属性和特征。

元数据可以用来描述数据的结构、含义、来源、格式、质量、权限等信息。

通过元数据,我们可以更好地理解和解释数据,帮助我们更加高效地使用和管理数据资源。

二、元数据的分类根据不同的分类标准,元数据可以分为多种类型。

常见的元数据类型包括技术元数据、业务元数据和管理元数据。

1. 技术元数据:技术元数据描述了数据的技术特性和属性,包括数据的存储格式、数据结构、数据类型、数据源、数据接口等信息。

技术元数据主要面向数据管理人员和技术人员,帮助他们理解和操作数据。

2. 业务元数据:业务元数据描述了数据的业务含义和用途,包括数据的定义、业务规则、业务流程、业务规范等信息。

业务元数据主要面向业务人员和决策者,帮助他们理解和应用数据。

3. 管理元数据:管理元数据描述了数据的管理信息,包括数据的归属、权限、安全性、生命周期等信息。

管理元数据主要面向数据管理人员和安全管理员,帮助他们管理和维护数据资源。

三、元数据的存储元数据的存储是元数据管理的关键环节。

一般来说,元数据可以存储在元数据仓库中,也可以存储在数据库、文档或文件中。

1. 元数据仓库:元数据仓库是专门用于存储和管理元数据的数据库。

它可以集中存储不同类型的元数据,并提供元数据的查询、检索和分析功能。

元数据仓库可以帮助组织更好地组织和利用元数据,提高数据管理的效率。

2. 数据库存储:元数据也可以存储在数据库中,以表格的形式存储。

通过数据库管理系统,可以对元数据进行管理和查询操作。

数据库存储适合于较小规模的元数据管理,但对于大规模的元数据管理来说,可能会面临性能和扩展性的问题。

3. 文档或文件存储:元数据也可以存储在文档或文件中,以文本的形式描述。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

1.元数据管理技术及应用现状朋友老朱在最近惊喜地发现,在营业部的每周例会上,原先各部门针对每日用户数的争吵声,现在逐渐销声匿迹了。

原来,老朱所在的这家电信运营商,最近刚刚验收并启用了一个元数据管理平台工具。

通过这一平台,IT部门可以在那些曾经引发激烈争吵的数字后面加上详细的注解。

这样,即便各部门得出的当日用户数数值不一样,也能在注解中清楚地看到具体的差异在哪里。

如此,自然再没有了吵来吵去的必要。

元数据,最常见的定义是:“关于数据的数据”。

更准确一点说:元数据是描述流程、信息和对象的数据。

这些描述涉及像技术属性(例如,结构和行为)这样的特征、业务定义(包括字典和分类法)以及操作特征(如活动指标和使用历史)。

早在上世纪末,元数据的概念和相关工具就已经出现,但限于当时的数据量还不够大,而元数据本身又包含太多的内容,以至于它并未得到充分利用。

而在今天看来,元数据正在成为解决诸多数据问题时必须要抓住的一个“精髓”要素。

消弭争吵在此前一年中,老朱所在的那家电信运营商,各部门之间经常就每日用户数这类问题的指标数值不一致而吵得面红耳赤。

其实,在其他电信公司或者其他行业中也都存在着类似问题。

简单来讲,这些公司通过各个时期的IT建设,形成了很多个独立分开的系统。

以电信运营商为例,就有计费系统、网络系统、OA系统、财会系统和客服系统等等。

在这些系统中,存有不同的客户信息,具体体现就是不同格式的表。

两年前,公司的数据仓库项目建设完成,本以为这会大步提升IT系统的“智能性”,没想到,基层的反映却是根本没法用。

而其中的原因就在于,数据质量没法保证,也即:在业务逻辑上并不准确,各部门对于指标的定义不能统一。

以当日用户数为例。

对于这一指标,市场部、网络部、计费部等部门给出的定义并不一样。

按照元数据技术的术语来讲,就是在业务元数据上,大家对于业务的认识并不统一。

比如:计费部门认为,一个用户当天曾拨打电话,就可以计入到当日用户数;而财务部门则认定,只有在发生费用之后才能计入;至于网络部,则认为当天开机的用户就可以算作当日用户。

如此一来,各部门的当日用户数数值自然就不一样:计费中心的系统显示,当日用户数有6000;市场部的系统显示却只有4000;到了财务部门的系统中,显示仅有3000个。

在这种情况下,担负着业务压力的业务人员很可能谁也说服不了对方来接受自己的数字,导致大家对数据仓库系统本身的可信度也就打了折扣。

事实上,类似问题在目前已经建成的数据仓库项目中还有很多。

其中的一大难题就是,原先未能统一的定义导致了某种指标的不一致,而要搞清楚为什么不一致,就得反查数据仓库中的这些表在一开始的时候是如何定义的,表与表之间的联络关系是怎样的。

这种反查工作自然要求IT部门的人员就得详细查阅原先软件的设计。

但问题是,现在的软件开发一般都是迭代式开发,每个阶段都有不同的人在做。

回查一个表,很可能需要涉及到这个过程中的每一个开发人员。

事实上,很少有人能做到这一点。

即便费尽心机终于查到了,一个月的时间也过去了。

元数据管理平台的建设就是为了避免继续出现类似问题。

在元数据管理平台建成之后,其一,可以实现对技术元数据的抽取,把相关的字段放到平台上来。

在这个平台上,就能清晰地看到这些表或字段之间的关联关系,有一个很清晰的视图。

其二,还会把业务元数据抽取出来,确定要做哪些应用,就把相关的指标、流程在平台上建立起来。

把这些元数据抽取出来后,用户可以通过平台很方便地修改数据仓库中的数据,调整业务中的统计指标等等。

其三,就是要把技术元数据和业务元数据两种数据对应起来。

比如对于当日用户数来讲,它在数据仓库中对应的都是哪些表,让技术元数据和业务元数据联系起来。

这样,在把各种定义统一之后,元数据管理平台就可以给出一个更为详细的指标。

比如在数值之后做出注解,注明具体开机的有多少,发生费用的又有多少。

如此,老朱所在公司的争吵也就不复存在了。

第三方工具的魅力虽然元数据至今尚未引起业界的广泛重视,但是与元数据相关的管理工具其实早就存在,而专业的元数据管理工具则在2000年左右开始出现,比如像IBM、CA、DAG、Informatica、BEA等公司都有自己专门的元数据管理工具。

总起来看,目前国内的元数据管理工具大概有三类。

一是像IBM、CA等公司都提供的专门工具,比如IBM收购Ascential得到的Metastage,CA的DecisionBase都是如此;二是像DAG 的Metacenter,它不依托于某项BI产品,是一种第三方的元数据管理工具;三是像亚信、石竹这样的集成商也在开发自己的元数据管理工具。

“各种元数据管理工具有很多。

理论上讲,用户可以用其中一种管理其他系统中的数据,比如选择数据仓库系统厂商提供的元数据管理工具来管理其他层面的元数据。

但实际应用中的管理效果如何呢?一般情况是,这些专门工具管理自己本系统的元数据尚可,一旦跨系统管理,效果就不尽如人意了。

” 亚信产品及解决方案咨询部总监薛森这样表示。

从国内的实际应用来看,DAG的Metacenter这一工具使用最多,目前所看到的在电信、金融领域建设的元数据管理项目基本上都是应用了这一产品。

至于像CA等公司的工具,在国内基本上没有成功案例。

记者在对CA公司提出采访要求的时候,该公司在回复中则称没有合适人员接受采访,看来像CA公司在元数据管理技术上似乎还比较滞后。

石竹商业智能软件部产品支持经理薛勇认为,Metacenter能够为很多用户所采用,主要因为这一产品的几项优势:一是它是第三方提供的工具。

二是在技术上确有过人之处,可以实现动态元数据管理,实时获取元数据。

而其他非第三方工具可能对自己数据仓库中的数据看得很快,但是对于其他系统就不行了。

三是可以提供的应用多。

比如像血统分析和影响分析、表重要程度和表无关程度分析等都可以提供。

此外,还有两个产品使得SOA和元数据的紧密关系迅速凸显出来。

首先是IBM的Web Sphere元数据服务器将于今年年底作为IBM WebSphere信息集成(WII)平台Hawk 版的组成部分正式上市。

WebSphere元数据服务器将为WII平台中的产品提供元数据管理,并为其他IBM软件品牌中的元数据项目提供通用的元数据服务基础设施。

同在今年底,WebMethods公司将在12月份发布的Fabric产品下一版本也融合了Cerebra公司的语义元数据管理功能,从而来为IT 部门提供了软件资源的单一视图。

或许,只有当SOA战略充分认识到元数据管理的重要性之后,企业信息资源的业务价值才能实现最大化。

元数据管理工具现状一览表应用决定功能“这样一个平台不是仅仅把元数据抽取出来,我们把元数据管理平台定位为两个应用层次。

”亚信产品及解决方案咨询部总监薛森指出了目前元数据管理平台的两个主要应用层次,即系统维护和应用分析。

从系统维护来看,元数据管理平台使得数据仓库以及业务系统中的各种修改变得省心省力。

比如对数据库中表的修改,小的数据仓库模型的修改等等,都可以通过元数据管理平台来实现。

同时对数据仓库、OLAP、ETL等各个层面进行修改。

而在以前,这些工作需要DBA自己来完成。

那时虽然也有一些工具,但是都分散在不同的系统中。

一个DBA要完成全部修改必须要求精通所有工具才能实现。

而如果是多个DBA协作完成,同样需要通知所有人在数据仓库、OLAP、前端展现、ETL等系统中依次修改,耽误时间不说,修改是否准确也不能保证,而业务在这个修改阶段也会陷于停滞。

从应用分析上看,目前可见的应用主要有三类。

其一,作为即席查询工具做指标的管理,即通过基于元数据的指标管理,掌控各种指标的异常波动情况。

据薛森介绍,像亚信公司建设的吉林移动的元数据管理平台,现在就已经开放了一些接口给业务人员。

他们只需通过拖拽一些业务元数据就可以得到他们想要的东西。

比如,要找出某项业务的前十大用户,业务人员通过元数据平台提供的即席查询工具,几次操作就可得到结果。

而在过去,这需要业务人员首先提出请求,然后计费中心会制作一个工单,再把工单传给集成厂商,厂商再把这个工单分解开来,让某人做ETL层,某人做OLAP层。

等这些都做完,半个月的时间也就搭进去了。

当然,薛森也表示,目前这种应用接口还比较有限,因为如果每个业务人员都在用,数据仓库就承受不住了。

其二,血统分析和影响分析。

血统分析是指,发现某报表中的指标不正常就需要查出问题可能出在哪里。

通过血统图就可以很快找出问题是在BOSS系统中,还是在ODS层或者是DW层中。

影响分析则和血统图相反,主要看在修改一个表之后,可能会影响到上游的哪些数据。

其三,表重要程度分析和表无关程度分析。

主要就是针对现在数据仓库提供的表的数量太多(上万个)。

这些表中有的使用频率特别高,就需要加倍小心,多做优化。

通过元数据管理平台就可以列出不同重要程度的表。

据石竹商业智能软件部产品支持经理薛勇介绍,目前,像四川移动的元数据管理平台上,以上三类应用基本上都已存在。

但是,他也表示,目前针对元数据管理平台的应用大都还在探索阶段。

亚信薛森也认为,更重要的应用还在于更复杂的分析上。

此外,据说目前国内迄今为止最为全面的一个元数据管理平台项目正在中国银行总行抓紧实施,现在尚未开始验收,其中还将出现哪些新的应用尚且不得而知。

编看编想不够成熟,但足够重要!“你在做元数据管理平台项目时,最大的工作量是花在哪里?”这是笔者对每位被访者都会问的一个问题,而两位采访者不约而同提到的一点就是,整理元数据。

事实上,这一问题也正彰显着目前国内的元数据管理项目尚不够成熟。

“说不成熟,是因为数据不成熟。

”薛森表示。

作为企业,从一开始就没有完整的规划,比如当初指标的含义,现在几乎都需要倒着往回推,要获得那些元数据自然就比较困难。

薛勇也认为,各部门都有各自的描述方式,比如对于男女,有的分成F和M,有的分成0和1。

如果把这些整理出来,是个很麻烦的过程。

而要克服这种困难,只能靠熬时间一点一点解决。

而像管理工具本身的不成熟也是一个方面。

薛勇就认为,目前的元数据管理工具还不能自动把不同系统元数据之间的关系自动映射出来,还需要人工去做。

此外,目前平台导入的元数据范围也还很有限。

比如在电信企业中,大多仅仅导入了经营分析系统的元数据。

而像BOSS系统,动辄都有几千个业务控制点,导入元数据弄不好就要影响业务。

也正是因为顾及到这一点,所以目前的元数据管理平台只是选择了在经营分析系统这样一个准实时的分析系统上做试点,然后再逐步推广。

总起来看,目前国内大型行业企业做元数据管理项目虽然不成熟,但是技术发展很快;见效虽然不快,但是早晚要做,而且早做比晚做遇到的困难相对要少些。

对于那些有条件的大型行业用户,早点入手无疑更好一些。

(CCW-CNW)2.元数据管理技术及应用现状朋友老朱在最近惊喜地发现,在营业部的每周例会上,原先各部门针对每日用户数的争吵声,现在逐渐销声匿迹了。

相关文档
最新文档