元数据管理与CWM标准
元数据管理系统的研究与设计
元数据管理系统的研究与设计容会;于勇涛;陈震霆;王晓亮;周绍景;严敏【摘要】随着计算机技术和GIS技术的发展,管理和访问大型数据集的复杂性已成为数据生产者和用户共同面临的突出问题,数据生产者需要有效的办法来组织、管理和维护海量数据.元数据作为描述数据的内容、质量、状况和其他特性的信息的作用已变得越来越重要,成为信息资源的有效管理和应用的重要手段.该文主要是研究元数据的管理,并根据现实社会需要设计一个适用在通信领域方面的元管理系统.%With the development oi computer technology and GIS technology, the complexity of managing and accessing large data sets has become a prominent problem of data producers and users, data producers need effective way to organize, manage and maintain amounts of data. The role of information of metadata as describing the data content, quality, condition and other characteristics has become increasingly important, and become an important means of effective management and applications of information resources. In this paper, the management of metadata is studied, metadata management system which is applied in communications field according to the needs of real world is designed.【期刊名称】《价值工程》【年(卷),期】2012(031)013【总页数】2页(P171-172)【关键词】元数据;DSS;CWM【作者】容会;于勇涛;陈震霆;王晓亮;周绍景;严敏【作者单位】昆明冶金高等专科学校,昆明650033;云南师范大学商学院,昆明650106;昆明冶金高等专科学校,昆明650033;昆明理工大学国土资源工程学院,昆明650093;昆明冶金高等专科学校,昆明650033;昆明冶金高等专科学校,昆明650033;昆明冶金高等专科学校,昆明650033【正文语种】中文【中图分类】TP3150 引言元数据就是描述数据的数据,随着信息技术的快速向前发展,元数据在地理空间信息资源共享过程中起着关键的作用。
基于CWM模型的电力数据仓库元数据仓储设计
基于 C WM 模 型 的 电 力 数 据 仓 库 元数 据 仓 储 设 计
赵 钊 林 刘 莞 ,
( . 建工程学院 计算机与信息科学 系, 建 1福 福 福 州 3 00 ; . 建工程 学院 现代教 育技 术 中心 , 建 5 18 2 福 福 福 州 300 ) 5 18
读懂元数据管理
读懂元数据管理01什么是元数据元数据(metadata)是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据的数据。
概念总是生涩,对于没有IT背景的人来说比较抽象,不容易理解,下面举几个例子。
示例1:歌词中的元数据有一首很多80后耳熟能详的歌曲叫《小芳》,歌词中有这么一句:“村里有个姑娘叫小芳,长得好看又善良。
”我们对这句歌词做一下分析。
姓名:小芳;性别:姑娘(女);长相:好看;性格:善良;住址:村里。
歌词里面,“小芳”是被描述的对象,而“姓名”“性别”“长相”“性格”“住址”就是描述“小芳”的元数据。
示例2:户口本中的元数据户口本中除了有姓名、身份证号、出生日期、住址、民族等信息外,还有家庭关系,如夫妻关系、父子关系、兄弟关系等。
这些信息就是描述一个人的元数据,通过户口本中的元数据,我们不仅能够了解一个人的基本信息,还能够了解其家庭关系。
示例3:图书馆中的元数据图书馆都会用一个叫作“图书目录”的文件夹来管理藏书,图书目录包含图书名称、编号、作者、主题、简介、摆放位置等信息,用来帮助图书管理员管理和快速查找图书。
元数据就如同图书馆的图书目录一样,能够帮助数据管理员管理数据。
示例4:元数据好比字典字典包含一个字的注音、含义、组词、举例等基本信息及其字体结构、相关引用、出处等。
另外,我们可以通过拼音或偏旁部首查到这个字。
所有这些信息都是对这个字的详细描述,它们就是描述这个字的元数据。
示例5:元数据就像地图地图是按一定比例运用线条、符号、颜色、文字注记等描绘显示地球表面的自然地理、行政区域、社会经济状况的图。
通过地图,你能够找到自己所处的地理位置,了解你从哪里来,到哪里去,途中要路过哪些地方。
元数据也具备这样的特点,它能够帮助企业了解自己有哪些数据,这些数据存放在哪里,数据的来源、去向及加工路径等。
元数据与数据的不同之处在于:元数据描述的不是特定的实例或记录,IT部门和业务部门都需要高质量的元数据来理解现有数据;元数据是比一般意义上的数据范畴更加广泛的数据,不仅表示数据的类型、名称、值等信息,还提供数据的上下文描述,比如数据的所属业务域、取值范围、数据间的关系、业务规则、数据来源等。
元数据管理和数据标准管理
元数据管理和数据标准管理
元数据管理和数据标准管理是数据管理的两个重要方面,它们各自定义如下:
1.元数据管理:是对企业涉及的业务元数据、技术元数据、管理
元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和数据分析平台的开
发、维护过程提供支持。
借助变更报告、影响分析等应用,控制数据质量、减少业务术语歧义和建立业务和技术之间的良好沟通渠道,进一步提高各种数据的可信性、可维护性、适应性和可集成性。
2.数据标准管理:数据标准适用于业务数据描述、信息管理及应
用系统开发,可以作为经营管理中所涉及数据的规范化定义和统一解释,也可作为信息管理的基础,同时也是作为应用系统开发时进行数据定义的依据。
涉及国家标准、行业标准、企
业标准和地方标准,在定义元数据实体或元素时进行关联。
数据标准需要不断的补充完善、更新优化和积累,以便更好的支撑业务的开发和系统的集成。
总的来说,元数据管理和数据标准管理都是为了确保数据的准确性、一致性和可靠性,但它们的工作重点和应用场景有所不同。
在
实际操作中,可以根据企业的具体需求和业务环境选择合适的管理方式。
元数据管理与CWM标准.
元模型
• 关于元数据的“元数据”
– MDIS (Meta Data Interchange Specification)
• 元数据联盟发布的元数据交换规范
– OIM (Open Information Model)
• CA和微软的元数据标准 • OIM组织已经解散
– CWM (Common Warehouse Metamodel)
经营分析系统关心的元数据
• 技术元数据包含关于经营分析系统数据 技术层面的信息
– – – – – – – 数据源元数据 ETL元数据 数据仓库元数据 数据集市元数据 OLAP SERVER元数据 前端展现元数据 其它类型元数据(挖掘模型,数据质量分析 结果等)
经营分析系统关心的元数据
• 管理元数据主要是指经营分析日常建设 过程中,涉及开发、运维等管理流程的 基本信息。
• 成为OMG提出的 基于模型驱动的 体系结构(MDA) 的核心之一(其 它是MOF和UML)
CWM标准概述
• CWM标准是基于以下工业标准制定的:
– UML:它对CWM模型进行建模。 – MOF(元对象设施):为CWM提供元模型的体系 结构和元模型语言的语义;MOF反射接口为存取 CWM元数据提供通用的API接口;MOF到IDL的映 射为存储CWM元数据提供了一种产生CWM IDL 接 口的机制。 – XMI(XML元数据交换):它可以使元数据以XML 文件流的方式进行交换。 – CORBA IDL(CORBA 接口定义语言)
提纲
• 元数据管理基本概念
– 元数据定义 – 元数据管理
• CWM元数据标准
– – – – – – CWM标准概述 对象模型层 基础层 资源层 分析层 管理层
基于CWM规范设计的元数据管理系统
基于CWM规范设计的元数据管理系统作者:张明治来源:《电脑知识与技术》2014年第02期摘要:CWM为公共元数据模型,通过CWM的模型使用可以定义出相应的元数据标准,满足数据仓库和商业智能系统的元数据管理平台。
完成诸如血缘分析、关系分析、影响分析来满足对数据仓库管理的需求。
关键词:CWM;元数据;模型;数据仓库;商业智能;血缘关系中图分类号:TP391 文献标识码:A 文章编号:1009-3044(2014)02-0254-051 元数据概述元数据即关于数据的数据。
元数据不仅仅是描述数据类型、数据描述等表面信息,还描述了数据上下文的信息,包含数据所在领域中数据管理员更关注的信息。
元数据是描述数据结构、数据来源、应用方法及上下过程的数据,元数据按其用途划分可分为四类:项目元数据、操作元数据、技术元数据、业务元数据、这四种元数据(技术元数据、业务元数据、项目元数据和操作元数据)的具体描述如下:1)技术元数据:技术元数据是描述BI系统中技术领域相关的概念,主要包括数据结构,数据来源、数据存储和技术数据的方方面面。
2)业务元数据:业务元数据是描述BI系统中业务领域相关的概念,主要包括业务术语、信息分类、行业规则、指标定义等。
3)项目元数据:项目元数据是描述BI系统中项目知识领域相关的概念,主要包括项目描述、项目的文档、项目的明细,项目成员信息等等。
4)操作元数据:操作元数据是描述BI系统中操作知识领域相关的概念,包含ETL的操作信息、前段展现的数据处理环节,操作元数据主要指对数据动态过程的描述信息。
如上图所示,在整个BI系统中元数据管理的范畴是极其广泛的,从底层到应用层都有其用武之地。
我们首先看BI系统的数据来源,就可以包含源系统信息中的库表信息,接口信息,维度信息等。
再到数据采集层,元数据需要清楚的记录DW的映射关系,ETL程序信息,数据转换清洗的规则等。
再到我们自己的数据存储和管理层(数据仓库),元数据需要清除的描述DW数据的物理结构、数据字典、数据安全级别、客户信息、资源目录等详细信息。
基于大数据环境的高校数据治理平台设计
数据库与信息管理本栏目责任编辑:王力基于大数据环境的高校数据治理平台设计潘银芳(浙江工贸职业技术学院,浙江温州325003)摘要:随着高校大数据技术的应用与推广,数据治理的问题逐步凸显:很多高校没有整体数据标准,缺乏数据校验,问题数据不断沉积,造成大数据分析对领导决策的支持功能失灵甚至错误。
同时,在智慧校园环境下应用系统微服务化、移动化增多,数据共享交换平台中数据交换的压力呈指数增长,数据管理部门对数据交换管理的难度和工作量迅速上升,利用传统的数据交换共享平台进行数据交换管理已经越来越不适应新的业务需求。
该文作者对高校现有业务系统大数据进行分析,通过构建恰当的数据治理模型,制定高校数据标准和工作规范,提出了高校数据治理委员会等机构的设立和功能建设,采用可视化设计方案设计数据治理平台,提出全生命周期数据治理概念,覆盖了数据对象动态发展的全过程,进而建立数据治理体系,在此过程中高校中信息化涵盖的边界得到重塑,信息化与高校核心业务实现进一步融合。
关键词:数据治理;高校;全生命周期中图分类号:TP311.13文献标识码:A文章编号:1009-3044(2020)36-0029-03开放科学(资源服务)标识码(OSID ):The Design and Implementation of Data Governance in Big Data Environment PAN Yin-fang(Zhejiang Industry&Trade Vocational College,Wenzhou 325000,China)Abstract:With the application and promotion of big data technology in colleges and universities,the problem of data governance has gradually emerged:many colleges lack a school-wide overall plan for data standards and implement them in accordance with the plan,lack a data verification mechanism,and continue to deposit problematic data,resulting in big data analysis for supporting leadership decision-making malfunctioned or even wrong.At the same time,in the smart campus environment,application systems have become more micro-services and mobile,and the pressure of data exchange in the data sharing and exchange platform has in⁃creased exponentially.The difficulty and workload of data exchange management by the data management department has in⁃creased rapidly,using traditional data exchange.The traditional sharing platform for data exchange management has become in⁃creasingly unsuitable for new business needs.The author of this article analyzes the big data of the existing business systems in col⁃leges,and by constructing an appropriate data governance model,formulating university data standards and work specifications,proposing the establishment and functional construction of institutions such as the university data governance committee,and adopting a visual design plan to design data governance.The platform puts forward the concept of full life cycle data governance,covering the entire process of the dynamic development of data objects,and then establishing a data governance system.In this pro⁃cess,the boundaries covered by informatization in colleges and universities are reshaped,and informatization is further integrated with the core business of colleges and universities.Key words:data governance;colleges and universities;full life cycle1引言近年来,随着大数据技术的推广应用,高校信息化建设进一步发展,在原有业务系统信息化的基础上,利用其产生的海量数据以及其他外部数据,进行挖掘和分析,通过建立分析模型,开发出了很多诸如行为画像、與情监控预警、就业指导建设、消费分析等大数据应用。
电力行业元数据管理技术标准
电力行业元数据管理技术标准
电力行业元数据管理技术标准主要涉及以下几个方面:
1. 术语和定义:明确元数据管理的相关术语和定义,为后续的标准内容提供统一的语言基础。
2. 总则:概述元数据管理的重要性和意义,明确标准的目的和适用范围。
3. 电力元数据的分类:根据电力行业的特点,将元数据分为不同的类别,如电力业务元数据、电力技术元数据、电力数据认责元数据和电力操作元数据等。
4. 电力元数据管理过程:详细描述电力元数据的管理过程,包括元数据管理组织、元数据识别、元数据标识、元数据注册、元数据创建、元数据采集与存储、元数据集成等。
5. 元数据的管理要求:根据不同的元数据类别和电力行业的特点,明确元数据的管理要求,包括元数据的准确性、完整性、可靠性、安全性等方面的要求。
6. 元数据的交换与共享:规定元数据的交换格式和共享方式,促进不同系统之间的元数据交互和共享。
7. 元数据的维护和更新:明确元数据的维护和更新要求,确保元数据的实时性和准确性。
8. 元数据的扩展性:考虑到电力行业的快速发展和技术不断创新,标准应具有一定的扩展性,以适应未来可能出现的新技术和新应用。
9. 附录:提供相关的附录和资料,以辅助标准的使用和理解。
总体而言,电力行业元数据管理技术标准旨在规范电力行业元数据的管理,提高元数据的质量和可用性,促进不同系统之间的交互和共享,提升电力行业的信息化水平和运营效率。
企业元数据及数据质量管理
包含对象
目标对象
来源对象
本体对象
核心价值:元数据分析功能
18 > 9/10/2019
影响分析向下分析一个元数据对象对下游对象的影响。血缘分析与影响分析的方向相反,向上追溯一个对象的数据来源。全链分析从某对象出发,向上下游双方向进行分析。活力分析分析一个数据库对象被访问的频度。孤立对象分析分析数据准备区(SData)、物理模型区(PData)中的孤立元数据对象。一致性分析定期分析元模型中的元数据是否与实际情况一致。版本比对选择任意两个时点的版本进行比对。质量分析分析数据仓库中的元数据的质量。
及时性
数据质量改进流程 PDCA
PDCA环简称Deming Cycle,由质量大师戴明发明P计划 D执行 C检查 A行动没有形成这个闭环,就不会有质量的改进根据PDCA原理,设计出适合企业的质量提升流程
27 > 9/10/2019
计划
PDCA环
执行
检查
行动
PDCA例子P:在众多的质量问题中选择某一个问题准备改进。D:在部分分支机构执行质量改进方案。C:通过DW反馈评估质量改进效果。A:制定数据质量改进指引,下发全部机构,并监督改进情况。
成熟度3:主动级
成熟度4:预测级
数据管控成熟度模型
我们建立了企业数据管控成熟度模型,该模型能够使企业识别和量化数据管控的成熟度,为企业的下一步数据管控提供指导。你的企业处在哪一级?Unaware:未知的Reactive:被动的Proactive:能动的Predictive:预测的
8 > 9/10/2019
EDW开发
集成的EDW、BI应用开发管理平台。
元数据的标准
元数据的标准引言概述:元数据是描述数据的数据,它提供了关于数据的信息,使得数据更易于理解和管理。
元数据的标准化对于数据的有效利用和共享至关重要。
本文将介绍元数据标准的重要性以及其在数据管理中的应用。
一、元数据标准的定义和作用1.1 元数据标准的定义:元数据标准是对元数据进行描述和组织的一套规范,它定义了元数据的结构、属性和关系。
1.2 元数据标准的作用:元数据标准化可以提高数据的一致性和可理解性,促进数据的共享和交换,减少数据管理的复杂性。
二、元数据标准的分类2.1 结构化元数据标准:结构化元数据标准定义了元数据的结构和属性,如数据类型、长度、关系等。
2.2 描述性元数据标准:描述性元数据标准提供了对数据的描述和解释,如数据的含义、用途、来源等。
2.3 技术元数据标准:技术元数据标准描述了数据的技术特性和存储方式,如数据格式、编码方式、存储位置等。
三、元数据标准的制定和应用3.1 制定元数据标准的步骤:确定标准的目标和范围,采集和分析现有元数据,定义元数据的结构和属性,制定标准的规范和文档。
3.2 元数据标准的应用:元数据标准可以应用于数据管理、数据集成、数据质量控制等方面,提高数据管理的效率和准确性。
3.3 元数据标准的更新和维护:元数据标准需要根据数据的变化和需求进行更新和维护,确保标准的持续有效性。
四、元数据标准的挑战和解决方案4.1 多样性和复杂性:不同组织和领域的元数据具有差异性和复杂性,需要制定灵便的标准和适应不同需求。
4.2 数据一致性和互操作性:元数据标准需要解决数据一致性和互操作性的问题,确保数据的有效共享和交换。
4.3 技术支持和培训:制定和应用元数据标准需要技术支持和培训,提高组织和个人的能力和意识。
五、元数据标准的未来发展趋势5.1 语义化和智能化:元数据标准将更加注重数据的语义化和智能化,提供更多的语义信息和智能功能。
5.2 开放和共享:元数据标准将更加开放和共享,促进不同组织和系统之间的数据交换和共享。
omg元数据标准
omg元数据标准
OMG(Object Management Group)的元数据标准主要是CWM (Common Warehouse MetaModel),它已经成为元数据管理界的统一标准。
CWM的主要目的是在异构环境下,帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。
CWM模型既包括元数据存储,也包括元数据交换,它是基于以下三个工业标准制定的:
1.UML(Unified Modeling Language):对CWM模型进行建模。
2.MOF(Meta Object Facility):这是OMG元模型和元数据的存储标准,
提供在异构环境下对元数据知识库的访问接口。
3.XMI(XML Metadata Interchange):这可以使元数据以XML文件流的
方式进行交换。
此外,OMG元数据知识库体系结构也是基于以上三个标准建立的。
数字化档案馆标准
数字化档案馆标准
数字化档案馆标准是指用于指导数字化档案馆建设和管理的一套标准和指南。
以下是常见的数字化档案馆标准:
1. ISO 16363:2012:数字保存认证标准。
该标准提供了关于数
字保存体系的要求和指南,涵盖了数字保存管理、算法验证、技术可行性等方面。
2. OAIS(Open Archival Information System)参考模型:该模
型由国际标准ISO 14721:2012定义,用于指导数字化档案馆
的建设和管理。
其中包括了信息子系统、管理子系统、数据管理、身份管理等方面的要求。
3. ISO 13008:2015:数字存储系统的数据编码。
该标准规定了
数字存储系统中数据编码的要求,包括编码结构、数据格式、数据压缩等方面。
4. METS(Metadata Encoding and Transmission Standard):元
数据编码和传输标准。
该标准定义了一种用于描述数字化档案馆资源的元数据格式,包括资源的结构、内容和特性等信息。
5. PREMIS(Preservation Metadata Implementation Strategies):数字保存元数据实施策略。
该标准定义了一系列用于描述数字保存过程的元数据格式和数据模型。
包括了保存事件、环境信息、技术信息等方面的元数据。
这些标准和指南旨在保证数字化档案馆的可持续性和可信性,使其能够有效地管理和保存数字档案资源。
元数据管理系统在电力企业的研究与实践 汤正宇
元数据管理系统在电力企业的研究与实践汤正宇摘要:随着企业信息化水平和企业精细化管理要求的不断提高,企业对数据资产的精细化管理、数据分析过程溯源、数据变化影响分析等方面的需求进一步增强。
本研究针对部门内部元数据管理的要点和难点,提出了基于MOF规范设计元模型存储结构、可视化的数据血缘分析和影响分析、基于元数据的应用系统数据库遵循度检查方法;实现了10大类元数据管理对象,6674项元数据的统一管理;完成了企业级应用系统设计遵循度检查;为企业提升数据资产管理水平提供了有效支撑。
关键词:元数据;血缘分析;影响分析数据已成为企业与人、物并重的基础性战略资源与核心资产。
强化数据资产管理,促进数据资产的应用及变现,对提升企业经营管理水平及促进商业模式创新具有重要意义。
为全面提升企业数据管理效益,量化管理成效,企业对数据资产的精细化管理、数据分析过程溯源、数据变化影响分析等方面的需求进一步增强。
因此有必要进一步提升企业元数据管理能力,使信息资产得到有效管理和传承,为提升数据资产价值提供有效支持。
1.传统的元数据管理传统的元数据管理主要基于J2EE架构和.NET结构,包括:元数据维护、元数据视图、元数据搜索等功能。
1.1元数据维护为用户提供技术元数据采集的功能,主要包括技术元数据的同步、录入、修改,以及相关技术元数据的业务描述的录入与修改。
如表1所示。
1.3元数据搜索元数据搜索主要提供用户快速定位所需浏览元数据信息的功能,可通过搜索、搜索结果选择和展开所选元数据信息页面来获取需要了解的信息。
元数据搜索分为一般搜索和高级搜索。
一般搜索通过在导航栏输入一个关键字进行查找;搜索结果以表格的形式展示出对象名和对象类型;可选中某个对象,进一步查看该对象的详细属性信息。
高级搜索提供用户多种可选的搜索条件输入,包括搜索位置、搜索对象、记录上次修改/创建时间、搜索属性等;搜索结果的展示形式与一般搜索一致,其使用方法也相同。
传统的元数据管理已实现对企业元数据的统一管理、展现以及搜索等功能,但在未能实现企业数据交换链路的跟踪与追溯,未能支撑用户评估某一数据对象发生变化时预计所产生的影响。
公共仓库元模型(CWM)学习(一)
公共仓库元模型(CWM)学习(⼀)⼀、什么是CWM?在我们学习⼀个新东西时,⾸先得弄懂明⽩它是⽤来⼲什么的?然后通过实例与理论交错学习,CWM——Common Warehouse Metamodel,很明显翻译过来时公共仓库元模型,CWM的提出主要基于以下背景:从数据仓库开发者的⾓度:单⼀⼯具很少能完全满⾜⽤户不断变化的需求,但同时⼜很难对各种产品进⾏集成;从数据仓库⽤户的⾓度:⾯对的信息量太⼤,⽆法轻易找到⾃⼰真正需要的,⽽且把这些信息完整正确地表⽰出来也是个挑战;从数据仓库供应商的⾓度:⽬前信息的共享还没有标准格式,元数据集成的代价太⼤;现在有很多数据仓库产品,它们对元数据都有⾃⼰的定义和格式,百家争鸣,都不愿与其他⼚商共享,然后最终的客户往往⼜不会选择⼀家公司为其建设数据仓库,其主要原因我想还是怕在⼀棵树上吊死, 因此创建、管理和共享元数据很耗时⽽且容易出错。
要解决上⾯这些问题,就必须得⽤标准的语⾔描述数据仓库元数据的结构和语义,并提供标准的元数据交换机制。
CWM就是满⾜这些条件的⼀个规范。
OMG(对象管理组织)在2000年发布了CWM规范,旨在推动数据仓库、智能商务和知识管理⽅⾯元数据的共享和交换。
和OMG合作提出CWM 规范的公司有:IBM,Unisys,NCR,Hyperion Solutions,Oracle,UBS AG,Genesis Development,Dimension EDI。
还有⼀些公司明确表⽰⽀持CWM,包括:Deere & Company,Sun,HP,Data Access Technologies,InLine Software,Aonix,Hitachi, Ltd。
说⽩了,CWM其实就是⼀个元数据交换的标准,为各种数据仓库产品提出的⼀个标准。
⼆、CWM组成元素?CWM主要基于以下三个⼯业标准:UML(Unified Modeling Language):统⼀建模语⾔,是OMG的⼀个建模标准;MOF(Meta Object Facility):元对象⼯具,是OMG关于元模型和元数据库的⼀个标准;XMI(XML Metadata Interchange),XML元数据交换,是OMG关于元数据交换的标准;咋⼀看,是不是很熟悉,尤其是UML 、 XML ⼤家应该很明⽩这是⼲什么的吧,这三个标准是OMG元数据库体系结构的核⼼,UML定义了表⽰模型和元模型的语法和语义。
业务档案元数据标准
业务档案元数据标准一、概述本标准规定了业务档案元数据的标准,包括档案标识符、档案创建日期、档案创建人、档案修改日期、档案修改人、档案类型、档案标题、档案描述、档案来源、档案密级、档案状态和档案关联信息等方面。
本标准适用于业务档案的管理、查询、检索和利用。
二、档案标识符档案标识符是业务档案的唯一标识,用于区分不同的档案。
每个档案应具有唯一的标识符。
三、档案创建日期档案创建日期是指业务档案创建的日期。
该元数据用于记录档案的创建时间,以便后续管理和查询。
四、档案创建人档案创建人是指创建业务档案的人员或部门。
该元数据用于记录档案的创建者,以便后续管理和查询。
五、档案修改日期档案修改日期是指业务档案最后一次修改的日期。
该元数据用于记录档案最后一次修改的时间,以便后续管理和查询。
六、档案修改人档案修改人是指最后一次修改业务档案的人员或部门。
该元数据用于记录最后一次修改者,以便后续管理和查询。
七、档案类型档案类型是指业务档案的类型,如合同、协议、报告、通知等。
该元数据用于记录档案的类型,以便后续管理和查询。
八、档案标题档案标题是指业务档案的标题,用于概括档案的主要内容。
每个档案应具有唯一的标题。
九、档案描述档案描述是对业务档案的详细描述,包括档案的内容、目的、背景等信息。
该元数据用于提供更多的关于档案的信息,以便后续管理和查询。
十、档案来源档案来源是指业务档案的来源渠道,如内部生成、外部获取等。
该元数据用于记录档案的来源,以便后续管理和查询。
十一、档案密级档案密级是指业务档案的保密等级,如公开、内部、机密等。
该元数据用于标识档案的保密等级,以便进行相应的保密管理。
十二、档案状态档案状态是指业务档案当前的状态,如待审核、已审核、待归档等。
该元数据用于记录档案的状态,以便进行相应的管理操作。
十三、档案关联信息档案关联信息是指与业务档案相关的其他信息,如相关文档、附件等。
该元数据用于记录与档案相关的其他信息,以便进行关联管理和查询。
数据管控系统
数据管控系统目录1数智管 (5)2数据标准管理 (5)2.1数据标准管理 (6)2.2数据标准维护 (6)2.3数据标准浏览 (6)2.4数据标准搜索 (6)2.5标准权限管理 (6)3元数据管理 (6)3.1元数据管理 (7)3.2元数据地图 (7)3.3元数据分类管理 (7)3.4元数据版本管理 (8)3.5元数据扫描 (8)3.6元数据检索 (9)3.7元数据权限管理 (9)3.8元数据分析 (9)3.9数据字典管理 (10)3.10元数据导入导出 (10)4资源目录管理 (10)4.1资源分类与编目 (11)4.2目录注册与审核 (11)4.3目录更新与同步 (11)4.4资源目录服务 (11)5数据质量管理 (11)5.1质量问题分析 (12)5.2质量评估标准 (14)6数据稽核策略 (16)6.1数据剖析方法 (16)6.2数据质量分级 (16)6.3数据质量规则库 (17)7数据质量保证 (18)7.1关键指标核查 (18)7.2源接口关键数据稽核 (20)7.3处理过程检查 (20)7.4处理环境检查 (21)8数据流量管控 (21)9数据质量管控 (21)9.1质量状态监控 (21)9.2质量管理工作流 (21)9.3质量规则监控 (22)9.4波动分析 (22)9.5质量管理日志 (22)9.6分级告警管理 (22)9.7质量告警报告 (23)9.8数据质量评估 (23)10数据血缘管理 (23)10.1血缘分析 (23)10.2元数据应用分析 (24)11数据运维管理 (25)11.1监控中心 (25)11.2数据对账 (25)11.3运维规则配置管理 (25)11.4数据实时状态采集 (26)11.5数据运行状态监控 (26)11.6数据运维报表 (26)11.7数据预警管理 (26)11.8数据运维日志审计 (26)12数据资源可视化 (27)12.1可视化开发建设层 (27)12.2可视化开发框架层 (27)12.3可视化表现层 (28)12.4大屏可视化技术架构 (29)12.5数据资源可视化指标模型 (29)1数智管在数据的接入、清洗、分类、入仓的一整个过程中,数据源的变动、数据字段的更改、数据的合并以及拆分都会对业务系统的应用造成重要影响,因此需要对数据治理过程中形成的各种指标进行管理和监控,例如应急内部数据和外部各单位应急数据的存量、日增量信息,数据质量、数据使用情况等,分辨出高价值数据和低价值数据,采用不同的存储资源,对于视频与图像等非结构化数据,存储在文件存储中,对于结构化数据,分层存储在大数据计算引擎与关系型数据库中,保障资源的最优配置。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
ETL产品
产品名称 IBM DB2 Warehouse Manager 是否支持CWM 支持Metadata Interchange Specification (MDIS). 是 不能确定 是 支持 是 通过API输入/输出 通过API输入/输出 元数据互换其他形式 通过API输入/输出
Oracle Warehouse Builder Sagent Informatica PowerCenter Cognos Decision Stream TeraData ETL组件
业务术语
对象 (UML) 关系型资源 数据 类型
记录型 键 索引
多维
XML
基础
Hale Waihona Puke 业务信息表达式类型映射
软件发布
对象模型
UML 1.3 (基础,行为元素,模型管理)
基础层(Foundation)
• 提供为驻留在更高层次的其他包提供CWM特定的 服务的包 • 包括6个包
– – – – – – 业务信息包(Business Information) 数据类型包(Data Types) 表达式包(Expression) 键和索引包(keys and indexes) 软件部署包(Software Deployment) 类型映射包(Type Mapping)
提纲
• 元数据管理基本概念
– 元数据定义 – 元数据管理
• CWM元数据标准
– – – – – – CWM标准概述 对象模型层 基础层 资源层 分析层 管理层
CWM标准背景
• OMG是一个拥有500多会员的国际标准 化组织,著名的CORBA标准即出自该组 织。 • 公共仓库元模型(Common Warehouse Metamodel)的主要目的是在异构环境下, 帮助不同的数据仓库工具、平台和元数 据知识库进行元数据交换。
管理元数据的意义
• • • • • 理解企业内部的信息资源 动态的数据字典 数据的浏览和归纳 数据在企业内部横向与纵向传递 保持整个企业的标准(保证企业内部统 一的商业定义和商业规则) • 数据生命周期的管理
元数据管理的几个概念
• 元模型(meta model) • 元数据库(metadata repository) • 元数据管理工具
– – – – 核心包 (Core) 行为包(Behavioral) 关系包(Relationship) 实例包(Instance)
核心包(Core)
• 包含所有的其他CWM包使用的基本类和 关联 • 不依赖于其他任何包
行为包(Behavioral)
• 描述其他CWM包中类的行为特征,提供 一个记录特定行为请求的基础 • 包括操作,方法,接口,事件等
元数据管理与CWM标准
中国移动业务支撑系统部 2008-04
提纲
• 元数据管理基本概念
– 元数据定义 – 元数据管理
• CWM元数据标准
– – – – – – CWM标准概述 对象模型层 基础层 资源层 分析层 管理层
元数据定义
• “关于数据的数据” • 比一般意义的数据范畴更加广泛
– 不仅表示数据的类型、名称、值等信息 – 提供数据的上下文描述信息(比如数据的所 属区域、取值范围、数据间的关系、业务规 则、数据来源等等)
元模型
• 关于元数据的“元数据”
– MDIS (Meta Data Interchange Specification)
• 元数据联盟发布的元数据交换规范
– OIM (Open Information Model)
• CA和微软的元数据标准 • OIM组织已经解散
– CWM (Common Warehouse Metamodel)
OMG元数据体系结构实例
M1层 Product isActive=Ture DataType=“Integer” DataType=“String”
ID
Name
Color
DataType=“String”
Product表元数据
OMG元数据体系结构实例
M2层
<<metaclass>> Table +name:String +isActive:Boolean
中央元数据存储
所有存取必须通过中央存储 元数据交换不方便 中央元数据存储必须对每一 个系统有转换接口
基于标准的 中央元数据管理
有利于元数据的交换 屏蔽系统内部变化 中央元数据只需要统一接口
元数据管理工具
• 元数据浏览、展示和管理的平台 • 知名的元数据管理工具包括:
– – – – Meta Center Meta Matrix Meta Integration DB2, Teradata,Oracle等数据仓库中的元数据 管理模块 –…
• 成为OMG提出的 基于模型驱动的 体系结构(MDA) 的核心之一(其 它是MOF和UML)
CWM标准概述
• CWM标准是基于以下工业标准制定的:
– UML:它对CWM模型进行建模。 – MOF(元对象设施):为CWM提供元模型的体系 结构和元模型语言的语义;MOF反射接口为存取 CWM元数据提供通用的API接口;MOF到IDL的映 射为存储CWM元数据提供了一种产生CWM IDL 接 口的机制。 – XMI(XML元数据交换):它可以使元数据以XML 文件流的方式进行交换。 – CORBA IDL(CORBA 接口定义语言)
提纲
• 元数据管理基本概念
– 元数据定义 – 元数据管理
• CWM元数据标准
– – – – – – CWM标准概述 对象模型层 基础层 资源层 分析层 管理层
元数据管理
• 管理商业智能系统的元数据 • 贯穿商业智能系统的各个环节 • 系统的各个处理单元由元数据驱动
管理元数据的意义
• • • • • • • • • 有哪些数据? 它们在哪里用? 它的业务定义是什么? 这个数据还叫什么? 它与其他数据有什么关系? 谁用这个数据? 为什么我们要用它? 最近修改是什么时候? 这些数据准确、可靠吗?
• 提供了在CWM交换中包含带值元数据的 基础结构
提纲
• 元数据管理基本概念
– 元数据定义 – 元数据管理
• CWM元数据标准
– – – – – – CWM标准概述 对象模型层 基础层 资源层 分析层 管理层
基础层(Foundation)
管理
仓库过程
分析
仓库操作
数据 挖掘
转换
资源
OLAP 分析
信息可视化
CWM的合作伙伴
• • • • • • • • IBM Unisys NCR Hyperion Oracle UBS Genesis Dimension EDI
CWM的支持者
• • • • • • • • • • Deere SUN HP Data Access Inline Aonix Hitachi SAS Meta Integration Adaptive
信息可视化
业务术语
对象 (UML)
多维
XML
基础
业务信息
表达式
类型映射
软件发布
对象模型
UML 1.3 (基础,行为元素,模型管理)
对象模型层 (Object Model)
• CWM对象模型提供了描述其他所有包中 元数据模型的类的基本结构和相应的类 型属性 • 定义基本元模型的概念,关系和约束 • 包括4个基本包:
产品名称
IBM DB2 Information Catalog
是否支持 CWM
支持Metadata Interchange Specification (MDIS).
元数据互换其他 形式
通过API输入/输出
Warehouse Control Center CA PLATINUM Repository TeraData Meta Data Services Oracle Warehouse Builder Repository
OLAP产品
产品名称 是否支持 CWM
支持Metadata Interchange Specification (MDIS).
元数据互换其 他形式
通过API输入/输出
Essbase/DB2 OLAP Server
Cognos Oracle 9i OLAP
支持
通过API输入/输出
是
数据仓库元数据管理产品
关系包(Relationship)
• 描述CWM对象之间如何互相联系 • 定义了两种类型的关系
– 泛化(Generalization) – 关联(Association)
• 泛化是具有普遍性的对象和特定对象的 关联,层次化的结构 • 关联定义两个或多个类元之间的特定关 系
实例包(Instance)
XML DTD
XMI接口实现
建模
验证
CWM模型
映射2
通过接口实现元数据交换
XMI文件
通过接口进行访问
生成
关系存储物理模型
关系型数据库
存储到
注:(1)映射1为单向映射,实现由CWM元模型到各种接口的单向映射。 (2)映射2为双向映射,实现CWM模型和XMI文件之间的双向映射。
CWM的发展状况
• 绝大多数数据仓库和元数据管理工具已 经支持CWM,或已经宣布在下一版本的 产品中支持CWM。 • 已经被JAVA标准化组织着手扩展到J2EE 体系结构当中,形成JMI(JAVA Metadata Interchange)规范、用于OLAP 分析的JOLAP规范和用于数据挖掘的 JDMAPI规范。
+table 1
+column *
<<metaclass>> Column +name:String +dataType:String