论银行数据治理体系建设

欢迎访问数据中国大讲坛。

【讲座录音29】20130109《数据中国年终座谈会》Jimmy

简介：/forum.php?mod=viewthread&tid=423&fromuid=19

录音：/share/link?shareid=188569&uk=2164314794

论银行数据治理体系建设

中国银行总行信息科技部副总工程师孙中东现代商业银行日常经营活动中积累了大量数据，这些数据除了支持银行前台业务流程运转之外，越来越多地被用于决策支持领域，风险控制、产品定价、绩效考核等管理决策过程也都需要大量高质量数据支持。银行日常经营决策过程的背后，实质是数据的生产、传递和利用过程。此外，日益全面的和严格的监管措施和信息披露要求，也对银行数据提出了前所未有的挑战。如果不能对这些数据进行有效管理，其价值就得不到很好体现，甚至会给运营管理带来负面作用，具体表现为：一是缺乏统一数据标准，难以建立全面、准确、完整地反映企业运营状况的单一数据视图，难以做到数据的逻辑整合而不仅仅是物理集中；二是缺乏规范的数据质量治理流程和考核机制，不能及时发现数据质量问题，或缺乏有效解决途径；三是对数据采集、分布、流转及应用的规划存在不合理现象，数据需求、数据质量、数据应用等问题的管理和解决分散在不同业务和技术部门，没有一个清晰的协调机制和统一的报告渠道，业务不能及时、按需获得数据支持；四是缺乏有效的数据安全管理机制，对敏感信息的访问缺乏有效控制，对银行形成潜在的声誉和法律风险等。为使这些数据“包袱”变成“金矿”，数据治理（Data Governance）体系的构建就变得尤为重要和迫切。

一．数据治理体系简介

数据治理是为满足企业内部信息需求，提升企业信息服务水准而制定的相关流程、政策、标准以及相关技术手段，用于保证信息的可用性、可获取性、高质量、一致性以及安全性。数据治理体系建设的目的，是建立数据拥有者、使用者、数据以及支撑系统之间的和谐互补关系，从全企业视角协调、统领各个层面的数据管理工作，确保内部各类人员能够得到及时、准确的数据支持和服务。通常认为，数据治理至少应当涵盖如下功能域：数据质量管理、元数据管理、数据标准

管理数据安全管理和主数据管理，现对上述功能域说明如下。

1.数据质量管理：对支持业务需求的数据进行全面质量管理，通过数据质量相关管理办法、组织、流程、评价考核规则的制定，及时发现并解决数据质量问题，提升数据的完整性、及时性、准确性及一致性，提升业务价值。

2.元数据管理：元数据（Metadata）是关于数据的数据，即对数据的描述信息。根据其属性的不同，元数据可分为技术元数据和业务元数据。元数据管理是元数据的定义、收集、管理和发布的方法、工具及流程的集合，通过完成对相关业务元数据及技术元数据的集成及应用，提供数据路径、数据归属信息，并对业务术语、文档进行集中管理，借助变更报告、影响分析以及业务术语管理等应用，以此保证数据的完整性、控制数据质量、减少业务术语歧义和建立业务人员之间、技术人员之间，以及双方的沟通平台。

3.数据标准管理：通过建立一整套数据规范、管控流程和技术工具来确保银行各种重要信息，包括产品、客户、机构、账户等信息在全行内外使用和交换的一致和准确。数据标准可分为技术标准和业务标准。

4.数据安全管理：通过建立对数据及相关信息系统进行保护的一系列措施，确保数据免遭未经授权的访问、使用、修改或删除，保证数据完整性、保密性和可用性，具体可分为管理和技术两大类措施。

5.主数据管理：主数据（Master Data）指描述核心业务实体的数据，如客户、机构、员工、产品等。这些数据变化相对缓慢并通常在企业内跨业务重复使用。主数据管理适用于管理、协调、监控与企业主要业务实体相关联的主数据的一系列规则、技术、应用、策略和程序。

二．数据质量管理简介

业界普遍认可的数据质量定义为数据对其期望目的的适合度，即数据质量管理生命周期及其相关的数据质量管理流程，都要为确保数据满足其自身预期目标提供相应的方法和手段。

(一)数据质量管理基础和问题分类

下列要素是进行数据质量管理的基础：

1.数据质量的好坏是由用户以及数据使用价值所决定的。

2.数据质量的好坏代表着数据在数据知识应用中、数据所存在的系统中以及数据使用过程中被应用或者有价值的程度。

3.只有当数据被下游过程（系统或用户）所接收并使用时，数据质量问题的研讨才有意义。

4.数据是持续变更的，数据质量管理是一个持续过程而不是一次性活动。

银行关注的常见数据质量问题可以归成如下7类：

1.定义缺失，指缺少关键业务元素定义，导致对同一字段的理解偏差。例如，什么是“一个客户”，不同业务有不同理解，通常风险应用将组织机构号作为对公客户的“身份证”，一个组织机构号代表一个客户；而核心系统对客户号的分配较为随意，允许一个组织机构号下存在多个客户号。

2.数据异常，指系统的个别字段出现了异常信息，包括取值错误，格式错误、多余字符、乱码等。

3.信息缺失或不准确，指在系统表中已经设计了某些字段，但在使用过程中，很多记录却没有收集这些字段的信息，或存在信息收集不准确、信息重复登记等情况。信息缺失或不准确通常在客户信息方面最为严重。

4.系统之间数据不一致，主要体现在两个方面：(1)系统间数据维护不一致。为了满足各个系统内部逻辑、提高访问效率和减少数据传输，相同信息可能在不同系统进行冗余存放。但冗余存放的数据如果不进行同步或及时的数据维护，则必会导致这些数据的不一致。例如，银行通常存在核心系统与信贷系统数据不一致的问题。(2)系统之间数据同步时效性造成的不一致。典型案例如下：由于某些银行的贷记卡系统是外包系统，因此总账系统在T+1日才能取到贷记卡T日的数据，但是其他系统的科目余额缺失T+1日的数据，于是此种同步时效性的差异就导致了系统之间数据不一致。

5.数据完整性问题。数据完整性问题主要体现在两个方面：(1)参照完整性，是指一个表A的外键不包含无效的键值，例如，借据表中记录了合同号，但是在合同表中无法找到相关记录；(2)数据含义冲突，如某些账户，从账户属性、存期等字段看，应是通知存款产品，但从科目看，又是普通定期产品。

6.数据生命周期问题。银行中的关键数据，例如，账户、客户、产品信息等，都有若干日期字段记录其生命周期，这些日期字段包括创建/开户日期、关闭/