数据治理实践与解决方案

数据治理实践与解决方案本文主要介绍数据治理的历程和实践经验，以及业务发展各个阶段中数据体系遇到的问题和解决方案。

最后，将探讨数据治理在现阶段的建设思路和发展方向。

一、背景介绍数据治理这个话题这两年非常火热，很多公司尤其大型互联网公司都在做一些数据治理的规划和动作。

为什么大家都要做数据治理？从数据产生、采集、生产、存储、应用到销毁的全过程中，可能在各环节中引入各种问题。

初始发展阶段，这些数据问题对我们的影响不大，大家对问题的容忍度比较高。

但是，随着业务发展数据质量和稳定性要求提升，并且数据积累得越来越多，我们对一些数据的精细化要求也越来越高，就会逐渐发现有很多问题需要治理。

数据开发过程中会不断引入一些问题，而数据治理就是要不断消除引入的问题，以高质量、高可用、高安全的方式为业务提供数据。

1. 需要治理哪些问题数据治理过程中哪些问题需要治理？总结了有五大类问题。

•质量问题，是最重要的问题，很多公司数据部门或者业务线组做数据治理的一个大背景就是数据质量存在很多问题，比如数仓的及时性、准确性、一致性、规范性和数据应用指标的逻辑一致性问题。

•成本问题，互联网行业数据膨胀速度非常快，大型互联网公司在大数据基础设施上的成本投入占比非常高，而且随着数据量的增加成本也将继续攀升。

•安全问题，尤其是业务特别关注的用户类数据，一旦泄露，对业务的影响非常大，甚至能影响整个业务的生死。

•标准化问题，当公司业务部门比较多的时候，各业务部门、开发团队的数据标准不一致，在数据打通和整合过程中会出现很多问题。

•效率问题，在数据开发和数据管理过程中都会遇到一些效率低的问题，很多时候是靠堆人力在做。

2. 数据现状XXXX业务发展速度比较快，数据增长速度也非常快。

如果不做治理，按指数级增长趋势，未来数据生产任务的复杂性还是成本负担都非常大。

针对当时面临的情况，总结了五大类问题：•标准化的规范缺失，开始建设的时候业务发展非常快，但多个业务线之间的标准化和规范化建设都只是以规范文档的形式存在，每个人的理解不一致，导致多个研发同学开发出来的数据标准就很难达到一致。

•数据质量问题比较多，突出在几个方面，第一个是数据冗余很多，从数据任务增长的速度来看，新上线任务多，下线任务少，数据表的生命周期控制较少。

第二个是在数据建设过程中很多应用层数据都是烟囱式建设，很多指标口径没有统一的管理规范，数据一致性无法保证。

•成本增长非常快，在某些业务线大数据存储和计算资源的机器费用占比已经超过了35%，如果不加以控制，大数据成本费用只会越来越高。

•数据安全的控制，各业务线之间可以共用的数据比较多，而且每个业务线没有统一的数据权限管理。

•数据管理和运维效率低，数据使用和咨询多，数据RD需要花费大量时间解答业务用户的问题。

二、治理实践以前也做过数据治理，从数仓建模、指标管理和应用上做优化和流程规范，当时没有做体系化的数据治理规划。

近期基于上面提到的五个问题，做了一个整体的数据治理策略。

把数据治理的内容划分为几大部分：组织、标准规范、技术、衡量指标。

整体数据治理的实现路径是以标准化的规范和组织保障为前提，通过做技术体系整体保证数据治理策略的实现。

同时会做数据治理的衡量体系，随时观测和监控数据治理的效果，保障数据治理长期向好发展。

1. 标准化和组织保障每个公司在做数据治理时都会提到标准化，我们总体思路也没有太大区别。

数据标准化包括三个方面：第一是标准制定，第二是标准执行，第三是在标准制定和执行过程中的组织保障，比如怎么让标准能在数据技术部门、业务部门和相关商业分析部门统一。

从标准制定上，我们制定了一个全链路的数据标准方法，从数据采集、数仓开发、指标管理到数据生命周期管理建立了很多标准，在标准化建立过程中联合组建了一个业务部门的数据管理委员会。

管理委员会是一个虚拟的组织，主要组成是技术部门和业务部门，技术部门是业务数据的开发团队，业务部门是业务数据的产品团队，这两个团队作为实现的负责人，各自对接技术团队和业务团队。

2. 技术体系在执行过程中也不希望完全通过人力和组织来推动达成，总体希望以一些自动化的方式进行。

下面介绍一下技术体系。

①数据质量，数据质量是数据质量中最重要的一个问题，现在数据治理的大部分问题都属于数据质量。

这里有四大问题：•数据仓库的综合性比较差，虽然有一些规范文档，但更依赖个人理解去执行。

•数据一致性问题多，主要表现在数据指标的管理上。

指标管理以前在文档中定义指标，没有系统化的统一管理逻辑和查询逻辑。

•数据应用非常多，使用数据的方式包括数据表同步、接口消息推送、OLAP 引擎查询等，不能保证数据应用端的数据一致性。

•产品非常多，业务数据产品入口有十多个，没有统一的入口，也没有人对这些产品统一把关，导致数据应用和使用方式有很多分歧。

我们的技术实现方式是为了解决上面这四大类质量问题，首先在数据仓库规范性上进行统一，然后统一指标逻辑，在此之上统一数据服务接口，最后在产品上统一用户产品入口。

从这四大方向将常见的数据质量问题管控起来，具体技术实现方式如下。

数仓建模规范统一数仓建模规范分三大部分实现，以前只有事前的一些标准化规范，大家按自己的理解去建模实现。

在这个基础上增加了事中和事后两个部分，针对事中开发了系统化工具，做数仓配置化开发。

事后做规则化验证。

事前会有标准化文档给大家提前理解、宣贯，事中很多标准化的事项会通过配置化自动约束规范，事后会有上线时的检验和上线后每周定期检验，检验数据仓库的建模规范是否符合标准，把不符合标准的及时提示出来、及时改进。

事前的标准化规范几个方向，第一是数据仓库的设计规范，在做一个新业务或模块之前，以文档形式做一些设计规范。

第二是开发规范，包括一些开发流程、代码编写规范和注释信息。

这些形成之后还想在事中以系统化的方式进行控制，保证不会因为每个人的不同理解而对数仓的规范化构成影响。

这里主要包含三部分工具：•模型开发过程中的开发工具，主要控制模型的基础信息、数仓主题和分层以及ETL代码生成。

•命名规范工具，针对模型、表、字段、指标建了很多一些规范化的系统实现，控制这些命名的标准化。

•上线规则监控工具，上线过程中会监控一些数据规范，还有一些性能监控，有问题会及时发现。

事后会定期监控，生成报告来看每个业务线、每个组、具体每个人的数仓规范性情况。

统一指标管理系统指标在数仓中非常重要，所有数据应用都是以指标方式使用的。

指标管理系统化主要做了流程管理标准化、指标定义标准化和指标使用标准化。

系统化分三层，第一层是物理表管理，第二层是模型管理，第三层是指标管理，这些信息在元数据管理中统一进行。

统一规范只是指标管理的第一步，除了指标管理外，所有数据应用还能通过这个工具查询数据。

具体做法，一个应用无非要查询两种数据，一是维度，二是指标。

在查询指标时，可能会有一些维度限制条件。

在指标管理模块中通过指定指标定位到数仓模型，了解指标的获取方式（是sum还是count等）。

相应的数仓模型可是能是星型模型、宽表、循环模型，从模型中解析出对应的底层物理表。

解析后，结合指标、维度和筛选条件，经过不同的存储引擎，解析成不同的查询语句。

这样控制好数据指标管理之后，数据应用可以通过指标管理模块获得一致性的解析。

统一数据服务我们的数据被很多下游系统使用，比如数据产品、业务系统、运营系统、管理系统等。

有些下游既需要我们提供数据表，还要提供接口，但数据组开发和维护后台接口难度较大，而且接口提供后很难把控数据的用途。

所以我们做了一个统一的数据服务平台。

平台目标是提高效率、提高数据准确性、提供数据监控、将整个数据仓库和数据应用链路打通。

提供的方式有两种，一种是对于B端应用，提供按需使用，每天提供几万次的调用额度；一种是对于C端，通过推送的方式，比如每天推送一次最新数据。

以推和拉两种方式保证服务功能的全面性。

分为几大层次：•导入层。

•存储层，数据根据不同的使用场景会有很多种不同的存储方式，比如根据条件查询一条数据的情况KV最合适，一些对定性条件要求很高的简单汇总用MySQL，一些数据量非常大但频率低的用OLAP引擎。

•服务层，对存储引擎查询进行一些封装。

•控制层，进行权限管理、参数校验和业务资源隔离。

•接口层，提供不同的查询方式，如聚合查询、KV查询、详情查询和分组查询。

统一用户产品入口因为数据入口非常多，我们又做了一个数据入口的统一，分成三大类：•管理者和商业分析使用的分析决策产品•业务销售运营用的业务销售数据产品•数据资产管理产品通过这种方式，某一类用户只需要在一类入口里访问一类产品，不会出现同一类产品中的数据不一致。

我们又通过数据仓库的统一建模、数据指标管理保证了三大类底层数据集市的一致，从而保证了所有数据的一致性。

整体系统架构整体的技术架构分为三层，从统一数据建模到统一指标逻辑、统一数据服务和统一产品入口，整体保障了数据的质量，同时配合数据管理的组织保障体系和流程规范，将整体数据质量相关的架构搭建起来。

②数据运营效率作为数据提供方，我们有很多数据资产，但数据使用方能不能快速找到、找到怎么用、有哪些数据，有三大类问题：•找不到，不知道数据有没有、在哪里。

•看不懂，有很多业务方不是技术研发团队的，看不懂数据到底什么含义、怎么关联查询、来源于哪个业务系统。

•不会用，如何写SQL或者哪些产品里面能查询到自己想要的数据指标。

基于此有三大目标：找得到、看得懂、用得对。

为了提效，我们选用一些智能化系统代替人工。

对于运营相关的数据问题，先提供系统化的数据指南。

该指南包含三大类信息：指标类、数仓模型、推荐使用方式。

这个方式能解决可能60%的问题，剩下的40%再通过答疑机器人，用一些机器的方式替人回答问题，这又能解决其中60%的问题。

最后还有一些还是没找到的，落到人工答疑环节就非常少了，通过自动化把需要人工做的事情降到原来的20%以下。

具体的实现方式，针对数据使用指南做了一个系统，把指标元数据、维度元数据、数据表和各种产品元数据等管理起来。

用户从入口查询能够快速定位，支持分类检索和重点词检索，还会提供排序进行重点推荐，对每一个主题数据分类描述。

通过数据指南能解决很多问题，不能解决的就进入答疑机器人系统，这里主要解决一些元数据里没有的问题。

我们日常通讯工具上会有问答，把这些问题和答案总结成一个知识库，进行清洗和规则匹配。

对这类问答的解析成一个问题对应一个答案，通过一些规则和关键字匹配后存起来。

之后再查的时候只输入一个问题时，根据这个解析出来他想问的可能有几个问题，将这几个答案抛给他。

③数据成本数据成本也很大，每一年的数据存储、计算相关的成本增长非常快。

XX目前大概的比例是70%的计算成本、20%是存储成本、10%为采集日志。

针对这三大类，我们也分别做了一些数据成本治理的方案。