电力行业的数据模型梳理方法

电力行业的数据模型梳理方法

发表时间：2017-10-11T16:39:53.383Z 来源：《科技中国》2017年7期作者：马文1，张新阳2，程永新3

[导读] 摘要：从电力行业进行数据治理项目调研时遇到的数据黑盒、数据模型失控、数据无序增长、数据质量参差等实际问题出发，提出了基于电力行业的数据模型梳理方法，并对方法中涉及到的物理模型梳理和优化、逻辑模型梳理、业务数据地图梳理进行了详细阐述。摘要：从电力行业进行数据治理项目调研时遇到的数据黑盒、数据模型失控、数据无序增长、数据质量参差等实际问题出发，提出了基于电力行业的数据模型梳理方法，并对方法中涉及到的物理模型梳理和优化、逻辑模型梳理、业务数据地图梳理进行了详细阐述。通过

该方法对数据模型进行梳理，可以达到克服黑暗数据、明确数据含义、连接和映射更多数据的效果，为日益复杂的数据管理环境提供了有效的控制手段。使电力行业可以理清数据资产,建立更为全面和符合实际的数据地图和业务地图，从而有助于管理好、使用好数据，有效地使电力行业在转型期间充分管控好数据资产，实现数据资产的变现。

关键词：数据治理；数据模型梳理；数据地图

引言

[基金项目：国家自然科学基金资助项目（0000000）。

互联网和移动及智能技术的传播,已经从根本上改变了商业数据的面貌和曝光度，数据量和数据种类不断增加。未来十年内，数据将成为一个重要的财富创造来源，并且将越来越多地被视为一项值得重视的企业资产[1]。而数据治理是理清企业数据资产的核心工作，在电力行业进行数据治理的时候，总会发现基本类似的问题：

1、企业内IT系统越来越多，其复杂度也越来越高，没有人能说明清楚整个系统的数据架构和数据流向，数据架构与业务流程、应用架构之间的关系不清晰。“黑暗”数据（指存在于系统中但无法说明与业务间的关系，后续亦无法对数据进行分析和应用）现象非常明显,而每年政府投资1000多万的数据资产也没有在账面上得到体现，尤其是在数据资源建设、共享、使用方面的价值和绩效更是无法量化[2]。

2、数据模型管理能力自身在不断减弱；开发团队出于现实压力，以实现功能为主，对非功能性需求不太在意，导致模型设计质量不高。IT系统出现先实现后优化的现象，优化效果滞后。

3、数据模型变更失控，大多数系统都处于积术式叠代开发，新需求就加一堆表，系统数据模型越来越雍肿；数据模型变更长期缺少基线化，大量已经废弃业务以及相关数据模型仍然存在于数据库，无人敢动；

4、数据无序增长，企业核心业务系统数据无有效的退出机制，业务系统容量无序增长，长期处于“系统扩容-数据膨胀-性能低下-系统扩容”的怪圈之中。

5、数据标准缺失，缺少企业级别统一的数据标准，数据模型相关含义令开发和运维人员难以理解；同时，亦使得企业不同应用间的数据集成和数据共享困难。

6、数据安全突出，对企业的敏感数据、用户、访问权限仍然缺少认识和控制，数据敏感数据泄漏的安全事件屡见不鲜。

7、数据质量参差，数据处理环节中产生大量的错误和质量差的数据，数据错误发现和处理流程不及时，导致更多的后续错误从这些问题之中亦反映了一个现实：在当今，数据作业一种企业的重要资产而被人们广泛接纳的时候，对于广大的传统企业，正是由于企业在观念和技术上的缺少而导致数据模型管理方面的缺失，使企业连读懂自身的数据都是如此困难的一件事，更难以谈得上后续的数据分析和应用。

1 正文

本文将从对传统行业进行数据模型梳理的角度出发，论述一种基于电力行业的数据模型梳理方法。并说明该种方法的梳理效果。由上面问题的分析和归纳，在数据治理这个范畴上，我们应该首先解决的是企业对自身数据的了解和认知。

由于IT系统数据模型反映了应用关系型数据库在数据存储及数据结构，是元数据的主要组成部分。在今天关系型数据库仍然大行其道的当下，一种清晰并且与系统应用实践高度一致的数据模型可以促进了各种应用数据的管理、基于角色的有价值数据资产访问以及持续的数据集成。并且强化了元数据管理，使组织理解它们所拥有的数据，以及数据与业务流程之间的关系，不管数据来自于什么系统，什么样的产品平台以及任何地方。

因此，电力企业必需建立起一个基于电力行业的数据治理方法。

数据模型梳理实施方法

一般而言，数据模型梳理的实施步骤大致分为三个步骤：物理模型梳理和优化

物理模型梳理的实质在于数据模型从关系数据库，形成一份稳定的物理模型设计。但它也不等同于单纯应用PowerDesigner[3]等工具从数据库中进行反向工程（reverse engeering）的结果，或者可以这样讲，反向工程只是其中的初始步骤。初始反向工程出来的结果，经过层层的筛选、过滤、合并和优化以后，最终经各方确认后形成物理模型基线，供后续逻辑模型梳理的基础，以及作为后续数据模型变更作为基线。

逻辑模型梳理

逻辑模型梳理的实质，就是在在数据物理模型的基础上，通过实体关系分析、字段含义梳理，字段取值梳理等手段，形成企业IT系统逻辑模型。在这个阶段，需要引入数据架构师，业务专家，DBA，业务人员等不同角色的人员共同努力实现数据逻辑模型的梳理。在相应工具的支持下，以应用系统核心实体和关键实体为突破点，逐步展开和梳理逻辑模型梳理的步骤。

由于完全的逻辑模型梳理往往会引发大量的工作量，一般而言，可以因应不同的系统、系统中不同的业务有重点地（分不同层次地）进行逻辑模型梳理。

业务数据地图梳理

最后，由于逻辑层和数据处理层在应用界面和数据的管理者的交互中承担着“承上启下”的枢纽作用[4]，所以我们需要通过治理做种将这两层的关联关系进行展示。在自动化的手段下，以业务专家为主梳理和形成业务与数据之间的关联关系，并以图形化、可视化方式展现出来。业务数据地图，着重体现业务-应用-数据之间的关系和影响。

经过完整数据模型梳理可以达到的效果

1.1.1克服黑暗数据现象，通过清晰的元数据和数据模型管理让企业可以真正理解和运用自身的数据，并不断扩大应用和分析数据的范围和规模。明确数据含义，了解数据访问与业务流程之间的关系，帮助企业业务使用者（不仅包括IT）可以使用数据和应用数据帮助我们更好完成工作，推动全面数据化运营。

1.1.2连接和映射更多数据，充分发掘现有的数据之间的关系，扩大数据规模效应，让数据可以充分发挥其作用和价值。

1.1.3为其我的数据资产管理活动，包括数据质量、数据生命周期管理、数据操作、数据安全、主数据管理等提供一个高质量的基础。

其实，在数据仓库领域中，元数据管理也正是解决这个问题，元数据的集成和可见性可以帮助IT部门了解存在哪些数据、数据存储位置及其含义，从而最大限度降低信息的复杂性[5]。但由于种种原因，实际上传统企业中元数据管理也不尽如人意，出现元数据与实际环境严重脱节，不能反映其真实数据架构等现象。我们在某电信运营商进行数据治理调研时，曾经遇到的最真实情况是，大多数的系统（或者项目）没有数据模型设计文档，而其中最核心的业务系统之一的数据模型最新版本是2年前的，进行初步稽核之后，数据模型与实际生产环境对得上的只有40%左右。

2 结语

随着电力业务集约化、精益化、标准化的要求越来越高和信息化支撑能力的不断提升,数据治理已成为电力企业信息系统集中建设(一级部署)、大数据应用、智能分析决策应用的重要基石[6]，而企业进行数据治理的目的在于为企业数据化运营提供一个高质量的数据环境，包括数据完整性，数据安全性，数据一致性，数据标准化，数据准确和及时等。其中，数据模型梳理作为一种有效的基于电力行业的数据治理方式，可以提供一个关键手段来控制表面上变得日益复杂的数据管理环境，使人们可以驱动数据，更有效地管理我们的数据，可以更有效的使用分析，让数据发挥和创造更大的价值，真正指引企业的整体运营。

参考文献

[1]张志刚 , 杨栋枢 , 吴红霞. 数据资产价值评估模型研究与应用——现在电子技术[J]. 2015,38(20),44-51.

[2]穆勇 , 王薇 , 赵莹. 我国数据资源资产化管理现状、问题及对策研究——电子政务[J]. 2017(2),66-74.

[3]曹风华. 基于Power Designer的数据库系统构建——电子科技[J]. 2011,24(10),104-110..

[4]程京 , 马冬青 , 王彤. 业务受理系统中业务逻辑模型的研究与实现——计算技术与自动化[J]. 2006, 25(3),67-69+73

[5]李克学. 某银行元数据解析处理系统[D]. 山东: 山东大学, 2016.

[6]巨克真 , 魏珍珍. 电力企业级数据治理体系的研究——电力信息与通信技术[J]. 2014, 12(1),7-11