企业如何选择元数据工具

• 数据分析人员：数据分析人员通常需要通 过较高级的数据统计分析实现公司与战略 决策、业务或考核相关的目标。对于他们 来说，错综复杂的数据关系、参差不齐的 数据质量和业务元数据的缺失是主要问题。 元数据管理降低了这些信息的获取门槛， 也为数据质量的问题追溯提供了支持。
数据管理人员：
• 数据管理人员通常需要负责数据从设计、 测试到部署交付的全生命周期管理。对于 他们来说，通常需要管理各种版本的数据 信息，并管理企业数据的生命周期，如何 控制各状态下数据的协调一致和及时判断 数据处于什么周期需要做什么操作是目前 急需解决的问题。这可以通过管理企业元 数据来实现。
元数据查找能力
• 提供统一的端口对元数据进行查找的能力， 完善的元数据管理工具应该能支持按照企 业的各种分类方法来对元数据进行查找 （有一部分分类方式蕴含在元数据本身中， 需要通过对元数据进行分析之后获得）。 比如你可能会按照系统、表、指标、接口 等不同维度查找信息，甚至会根据自己的 查找习惯新建一个完全不同的类别。
• 尽管第二种存储方式在实现上更复杂一些， 但是在扩展性有绝对优势，是架构设计的 优先选择方式。（关于元数据管理架构的 详细介绍，见《大数据治理的核心，可扩 展的元数据架构设计》）
3通过多种采集适配器自动采集元数据， 保证元数据的一致性
• 设计了良好的存储结构，元数据的采集也变得更 为简单。只需要三个部分， • 1，定义或选择需要采集的元数据的元模型。 • 2，从源工具或系统中采集元数据。 • 3，检查元数据质量后存储元数据。在元数据采集 中需要注意的是第二部分，从目标系统中采集元 数据需要尽全力考虑自动化的方式，如果没有自 动化元数据很难与现实一致，那么整个元数据的 价值也就非常难体现了。
图：通过元数据管理，消除系统上线隐患
4驱动微服务架构， 规范微服务体系的设计
• 在微服务架构中微服务的粒度小，数量多， 元数据可以成为微服务之间对话的统一 “语言”，帮助企业规范整个微服务体系 的设计，通过元数据统一定义微服务中的 数据标准和服务标准,分析微服务之间的调 用关系，解决微服务边界交互难的问题。
企业如何按需选择 元数据管理工具？
• OMG的模型体系规范为元数据管理提供了基础， 所以整个元数据管理的设计应该以模型体系规范 为指导。OMG模型规范体系分为M3，M2，M1， M0四层，目前企业元数据管理的技术架构一般都 是基于CWM标准，CWM标准位于M2层，是一个 偏上层的规范，这从一定程度上限制了技术架构 的扩展性，导致企业元数据管理平台只能管理数 据相关资产，并不能管理对象、接口、业务、服 务等其他企业信息。
• 企业数据通常呈现碎片化分布，一共有多少系统，各系统 之间有什么关系，系统中都有哪些表，哪些表是孤立的可 以删掉，是很多企业很难直接弄清楚的问题。 • 合适的元数据管理工具可以通过自动化的方式，帮助企业 完成数据信息、服务信息与业务信息的采集，自动化抽取 企业内部所有元数据，为企业展现完整信息资产视图,从 而帮助企业集中管理所有信息资产,方便数据的交互和共 享的同时很好地解决了上述一系列问题。（详细内容见 《大数据时代，数据管理的12条铁则》)
总结
• 仔细分析国内外现状，目前市场上对元数 据管理的需求正日益增加，未来元数据将 是连接业务，数据与服务的企业核心基础 设施，可扩展的元数据架构将能够产生更 多更有价值的应用场景。
• 在各种数字化的影响下，将企业环境中的各种元 数据整合利用至关重要。对于企业来说，选择适 合自己的元数据管理工具将能最大化发挥元数据 的作用，以协助企业完成在数据方面的战略目标。
运维人员：
• 对于运维人员来说，需要时刻保证系统的稳定性， 尤其是当企业模型发生变更时，要不断判断变更 带来的影响，显然人工判断的方式在准确性和实 时性上都很难保证，而且对运维人员的业务能力 要求较高，很大程度上增加了系统风险。通过元 数据管理，当系统变更时，可以根据已经获取到 的系统、表等对象间关系自动分析出变更带来的 影响，用自动化的方式降低维护成本，提升用户 体验。
• 图：Metadata在DIKW金字塔中的位置 • 类似的，计算机系统也是通过不断地给数 据增加“维度”来理解信息的。实际上元 数据就是计算机的“认知维度”，是计算 机理解信息的一种方式。（详细内容见 《轻松理解元数据，只需懂点心理学》一 文）
• 目前，应用元数据管理最广泛的领域当属数据领 域，所以很容易给人们造成元数据只存在于数据 领域的假象，其实除了数据领域，元数据还广泛 存在于企业信息系统甚至企业业务过程的方方面 面。因此，为了让元数据的价值能够充分体现出 来，企业需要扩大元数据管理的范围，从简单的 库表，到整个数据平台，再到服务管理，甚至到 驱动微服务，不断突破传统元数据管理的范畴。 （详细内容见《大数据治理的核心，可扩展的元 数据架构设计》一文）
• 元数据对比分析能力 • 对不同环境中的元数据进行对比分析，分析其中 的异同，必要时还能根据分析结果产出相应的分 析报告。
数据生命周期管理能力
• 在理想状态下，元数据管理工具应该保留 数据从创建、存储，到过时被删除/备份等 各种状态下的元数据，从而管理数据在整 个生命周期中的流动。 • 作为一项规则，较新的数据和那些很可能 被更加频繁访问的数据，应该存储在容易 被访问的位置，而那些不是很重要的数据 则可以备份存储在比较便宜的，稍微慢些 的媒介上。
• 元数据的增删改等权限的控制是元数据管 理工具中需要特别注意的地方，工具中应 该支持访问权限的控制。比如，数据管理 员具有所有权限，开发人员可能更关注开 发环境、测试环境元数据，而企业管理者 可能只关注生产环境的元数据情况，总经 理级别的用户可以访问企业多种环境下的 元数据，而部门负责人可能只关注与本部 门相关的元数据。
目录
• • • • 一、不同角色对元数据管理的期望不同 二、如何选择适合自己的元数据工具？ 三、元数据管理的关键技术？ 四、总结
• 为了站在不同角色的角度回答这个问题， 我们先把企业中与元数据管理项目相关的 几种角色列一列，这里暂且将这些角色分 为企业高管、数据开发人员、数据分析人 员、数据管理人员、运维人员、其他业务 用户几种。
其他业务人员：
• 由于业务人员对业务规则、业务流程比较 熟悉，通常不需要对技术细节有很深入的 了解，技术门槛往往导致业务人员获取和 理解数据难，因为不了解数据存储情况， 也很难技术沟通业务需求，往往最终难到 手的数据也不是自己想要的，难以匹配业 务的快速发展。
• 企业开展元数据管理项目可能需要解决的 是其中一类用户或者其中几类用户的问题， 我们先列出一些元数据管理工具的基本能 力，然后再将这些能力与上文中的期望对 应起来，企业可以通过参考二者之间的对 应关系，来指向性地选择适合自己的元数 据管理工具。
• 企业中不同角色对元数据工具的期望可能有所不 同，但这些期望基本都可以映射到元数据管理工 具的十大能力上，当然这些能力背后少不了关键 技术的支撑。
• 本文分为三部分，在第一部分，我们会先 根据企业中的不同角色，列出不同角色对 元数据管理的期望；然后在第二部分，总 结在理想情况下元数据管理工具需要具备 的十大能力，并将这些能力与不同的角色 做关联，以便不同企业可以根据自身情况 选择合适的元数据管理工具；最后在第三 部分，将给出几种现阶段实现元数据管理 的关键技术。
图：元数据影响分析展现
3通过多环境对比分析，消除系统上线隐患
• 通常企业系统建设会分为开发、测试与生产三套环境，在 软件开发过程中，往往会出现开发库、测试库测试通过， 而在上线过程中又出现问题的情况。 • 若通过元数据管理工具管理系统的上线变更，自动采集并 管理三个环境的元数据，保证各个环境中元数据的及时性 和准确性，对比上线环境与测试环境的元数据，分析上线 系统对其他系统的影响，就能够避免此类问题发生。（具 体案例请见《北京银行通过多态元数据管理大幅提升IT运 营效率》）
业务元Βιβλιοθήκη Baidu据管理能力
• 采集企业环境中的业务元数据，并完成业 务元数据与技术元数据的映射，为元数据 赋予业务属性，这也是发挥元数据管理工 具业务价值的一个关键。
图 4：技术元数据与业务元数据的对应
元数据变更控制能力
• 当元数据需要变更时，提供变更审核能力，明确 元数据版本，保存元数据的历史状态，在发生任 何问题时可以自动恢复到之前的版本。在某个元 数据项发生变更时，可能还需要对该次变更将要 产生的影响进行分析和评估。
• 为了实现企业对内部所有信息资产的管理，企业 元数据管理技术架构需要基于更底层的规范，也 就是位于OMG模型规范体系M3层的能够描述 CWM标准的MOF规范，以MOF作为底层元元模 型来支持元数据管理，在M2层中就可以对元模型 进行定义和扩展（例如CWM模型），将来还可以 扩展到微服务模型、业务模型等，帮助企业扩展 出其所需要的所有元模型，进而实现企业所有资 产的统一管理。（详细内容见《大数据时代，数 据管理的12条铁则》)
• 与其他系统的集成能力 • 要想让元数据管理系统发挥业务价值，还有非常 重要的一点就是元数据管理工具与其他系统的集 成能力。
• 这些能力与刚开始提出的几种需求之间的对应关 系整理如下（鉴于元数据采集与元数据存储是几 乎每种需求都需要的基本能力，所以我把这两项 单独拿出来不参与对应），企业可根据对应关系 来选择元数据管理工具：
• 为了将采集到的元数据存储起来，元数据管理平 台需要把这些逻辑结构转换成实际的存储结构， 元数据的存储模型是管理元数据的基础。一般来 讲，有两种方式可以用来存储元数据：一种是将 元数据转换成系统数据库表和属性，实现一对一 存储。例如可以将主键存储在主键记录表中，将 存储过程存储在存储过程记录表中等；另外一种 是基于MOF元元模型把所有属性和关系打散，以 此来实现元数据的通用存储结构。
元数据管理工具的十大能力
元数据采集能力
• 从错综复杂的企业环境中自动实时解析和 采集各种元数据的能力，为应对各种数据 环境，这个环节通常需要使用各种技术和 语法来支持大数据平台、关系型数据库、 第三方工具、存储过程、脚本、文本文件、 表格文件的自动化采集。
元数据存储能力
• 将采集过来的元数据进行统一存储的能力， 为支持各种元数据以及元数据之间关系的 存储，元数据存储需要灵活可扩展的架构 支撑，另外，能够实时更新存储也是很重 要的一点。
血缘分析/关系分析能力
• 分析数据的来源和数据的流向，揭示数据 的上下游关系，在元数据管理工具中分析、 描述并可视化其中的细节，方便用户对关 键信息进行跟踪。完善的血缘分析需要是 横向（当前）和纵向（历史）双向可用的， 以方便对同一时期不同对象的分析和不同 时期同一对象的变化。
基于角色的访问控制和分层
• 对于数据开发来说，最常见的问题就是大 量的重复工作：明明已经有了一模一样的 接口或者脚本，但是因为是别人写的，没 有统一标识并管理起来，所以根本就找不 到，即使找到了可能也会因为缺少相关的 解释说明，根本无法重复利用，降低数据 开发效率的同时也造成了大量的冗余。元 数据管理能方便数据开发人员查找想重复 利用的信息，而解释说明恰好可以通过业 务元数据管理来实现。
企业高管：
• 在数据越来越重要的形势下，高管们比较 关心的是企业的整个数据全貌以及数据在 全企业中的使用状况（或者可以说是更注 重数据资产与应用层面），但是没有一个 人能直接告诉领导企业中的数据是什么样， 具体的使用流通情况是什么，有效的元数 据管理能很好地回答企业高管的这些问题。
数据开发人员：
图：企业信息资产整体视图
2分析数据流向，迅速响应业务数据问题
• 在企业中，往往会遇到这样的问题：业务人员发现分析报 表中的数据有问题，要求IT部门尽快修改，但由于数据加 工链路很长，此次修改会涉及到多个项目组,甚至多个公 司，其中技术手段各式各样，所以很难定位到该问题数据 的相关表和字段。 • 而元数据管理可以帮助企业分析数据流向，具体到字段级 的数据解析可以帮助企业分析数据之间的上下游关系，通 过可视化的方式展现数据上下游关系图，快速定位问题字 段，帮助企业降低数据问题定位的难度。