主数据管理介绍.

主数据管理

随着用户 IT 系统的建设,信息孤岛现象越来越严重,为了实现信息的共享,软件厂商提供了各种解决方案,主数据管理即是其中之一,在 2008年的 Oracle Openworld 大会上, Oracle 就有很多关于主数据管理的讨论。

那么什么是主数据?什么是主数据管理?

根据 IDC 的定义,主数据(Master Data 主要指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据。 DMReview 专栏作家 Jane Griffin将主数据定义为“ ... 用于为核心业务实体创建和维护全企业‘记录系统’,以记录业务交易并评定这些实体的业绩所需的信息。”

由于当时 IT 系统的建设水平限制, 当前的主数据跨越几乎所有的组织业务部门, 分布在多个不同的系统中, 如企业资源计划 (ERP、客户关系管理 (CRM、商业智能(BI系统;遗留系统和大型机系统; 合作伙伴和供应商系统; 以及单个电子数据表、

文档、 .pdf 文件和桌面数据库。

主数据管理简称 MDM(Master Data Management的官方定义一般采用:

A set of disciplines, applications, and technologies for harmonizing and managing the system of record and system of entry for the data and metadata associated with the key business entities of an organization.

主数据管理是一系列的规则、应用和技术, 目的是为了协调和管理与企业的核心业务实体相关的系统记录和系统登录中的数据和元数据。

主数据管理一般需要支持以下六大功能:

1. 指定每个特定主数据域的业务职责,例如,产品、客户、供应商和组织结

构。严格履行职责可保证接入共享资源的系统始终保持高质量主数据。

2. 提取分散在各个应用系统中的主数据集中到主数据存储库 , 主数据存储库一般采用二维数据库存储主数据。。

3. 根据企业业务规则和企业数据质量标准对收集到的主数据进行加工清理, 从而形成符合企业需求的主数据。

4. 制定主数据变更的流程审批机制,从而保证主数据修改的一致性和稳定性。

5. 实现各个数据利用系统与主数据存储库的数据同步, 从而保证每个系统使用的主数据相同。

6. 随着 IT 系统的建设,主数据的修改动作必然从现有分散的各个系统转移到主数据存储库集中进行,因此必须保证当前主数据管理系统的灵活性,方便修改、监控、更新关联系统主数据的变化。

那么一个主数据管理系统如何建设才能满足上述业务需求呢,前几天学习openworld2008的资料,发现一张讲 Oracle 主数据管理的图篇,本人觉得总结的比较好:

一个完善的主数据管理系统一般至少包好以下五个部分:

主数据存储模型:主要用户存储整合后主数据, 当前的实际情况是在一个企业内部,主数据的不同部分分布在不同的业务系统中,比如一个 call center系统需要保存客户的所有联系信息, 但是一个计费系统可能只需要保留客户的与计费相关的信息,如何将客户信息形成一条完整的记录并进行存储供应, 当然是需要概括所有这些系统的需求,提供一个完整的数据模型。

数据整合系统:主数据分散在不同的业务系统中, 要进行数据整合, 第一步是实现这些异构系统的互联互通, 然后通过一定的触发机制将各个系统针对主数据的修改同步到主数据存储库。

数据清洗系统:从各个业务系统收集到的主数据一般都不是完整的, 存在这样或者那样的数据质量问题 ,在对这些数据使用前,需要对其进行更正和清洗。

主数据管理监控系统:主要负责对主数据的修改变更实现监控、实现主数据系统的安全性。

主数据共享系统:将更新后的主数据发布到已经订阅该信息的别的系统里, 它可以和数据整合系统共享底层一套 IT 架构,如采用 SOA 架构或者 ETL 架构实现的底层数据同步、触发和订阅架构。

当前各个 IT 厂商象 Oracle,IBM,Teradata,Informatic 等等都推出了自己的主数据管理系统,但如果分析一下这些厂商的解决方案, 不外乎三类:一类是原来从制造业主数据管理演变过来的传统产品、客户资料管理系统;二是原来的 ETL 厂商基于自己的 ETL 工具建立的主数据管理系统; 三是基于现有的 SOA 技术实现的主数据管理系统,从功能架构上比较相似。

为了实现主数据管理系统, 首先我们应该各个分散的业务系统连接起来, 实现各个业务系统与主数据存储的互联互通, 目前的主数据管理解决方案主要采用两种方式来实现:基于 ETL 工具的方式和基于 SOA 体系架构的方式。

1. 基于 ETL 工具的主数据应用互联

如上图所示,一般的 ETL 工具本身就具有连接各种异构数据源和变化捕捉的能力,采用它来实现 MDM 中异构系统的数据触发、整合和发布应该是顺理成章的事情,当前 Oracle,IBM,Informatica 等许多具有自己 ETL 工具的厂商都推出了基于ETL 工具的主数据管理解决方案,当某个主数据的源发生变化时, ETL 的 CDC(变化数据捕捉功能就会捕获到变化,进而将变化的数据传输到主数据管理系统的临时存储区,然后 ETL 工具根据定义的数据转化规则对数据进行清洗转化,形成主数据,进而 ETL 调用审批监管流程,一旦获得审批, ETL 即可将主数据同步到主数据存储系统, 同时分发给各个订阅该主数据的业务系统。这里要注意的是主数据的审批监管流程,如果 ETL 本身自带流程引擎最好,可以支撑流程的设计、运行、监控,否则ETL 工具必须可以调用其它的工作流引擎,当前主流的 ETL 工具一般都可以实现与SOA 的无缝集成, 既可以将数据或者转化封装为 web 服务,也可以调用外部的 web 服务。