数据质量管理规范-new-v0.1

数据质量管理规范

1 范围

本标准规定了国网数据质量管理内容、管理机制和工作流程。

本标准适用于国网项目整个生命周期的数据质量管理，非项目可参照使用。

2 术语和定义

下列术语和定义适用于本文件。

2.1数据质量data quality

客观反映业务数据固有特性的程度。

注：“固有的”(其反义是“赋予的”)就是指在某事或某物中本来就有的，尤其是永久的特性。

2.2数据质量管理data quality management

对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、监控、预警、处理等一系列管理活动，并通过改善和提高管理水平使得数据质量获得进一步提高。

2.3技术评估technology assessment

科技主管部门对已审批的业务需求，组织相关部门和人员进行技

术可行性评估，并作出评估结论的活动。

2.4数据质量监控data quality control

获取业务各环节的数据质量信息，结合有关检查规则和采集规则，对数据质量情况进行诊断，并及时向数据质量管理实施部门报告的活动。

2.5数据质量评估data quality assessment

由数据质量管理实施部门根据需要发起，得到评估结果并作为依据评估指标和评估方法进行评价，数据质量改进的参考和依据。2.6数据质量报告data quality report

对数据质量日常监控以及质量评估等过程累积的各种信息进行汇总、梳理、统计和分析，形成统计报告的过程。

2.7数据质量知识data quality knowledge

在数据质量管理活动中获取的有关数据质量问题处理的经验和成果。

3 数据质量管理内容与评价原则

3.1 管理目标与内容

3.1.1 数据质量管理目标

数据质量分为绝对质量和过程质量，绝对质量是指业务数据的真实性、完备性和自洽性，过程质量指业务数据的使用质量、存储质量和传输质量。数据质量管理目标包括：

a)建立稳定运行的数据质量测控体系，及时发现并改正数据质量问题；

b)建立可靠的数据质量评估流程，判断改进趋势,衡量数据质量改进效果；

c)建立一套改进、提升数据质量的管理机制。

3.1.2 数据质量管理内容

数据质量管理内容包括：

a)制定、修订数据质量管理遵循的标准；

b)确立、修订数据质量管理工作流程、优化部门协同机制；

c)制定数据质量管理决策机制；

d)监督日常数据质量管理的有序进行；

e)数据质量的核查。

3.2 数据质量影响要素

数据质量影响要素包括：

a)信息类要素：由于对数据本身的描述、理解及其度量标准偏差而造成数据质量问题的影响要素；

b)技术类要素：由于具体数据处理的各技术环节异常而造成数据质量问题的影响要素，技术实现上的某种缺陷是其产生的主要原因；

c)流程类要素：由于系统作业流程和人工操作流程设置不当造成数据质量问题的影响要素；

d)管理类要素：指由于人员素质及管理机制方面的原因造成数据质量问题的影响要素。

3.3 数据质量评价原则

数据质量评价原则包括：

a)完整性：数据是充分的，任何有关操作的数据都没有被遗漏。主要包括实体不缺失、属性不缺失、记录不缺失和字段值不缺失；b)唯一性：数据值被约束成一组独特的条目，每个值都是唯一的。主要包括主键唯一和候选键唯一；

c)准确性：数据必须真实准确的反映实际发生的业务；

d)精确性：计量误差、度量单位等方面的精确度应符合业务需求；

e)一致性：描述数据结构、数据值和他们的相互关系符合逻辑规则的程度。如统一数据来源、统一存储和统一数据口径；

f)及时性：数据更新、修改和提取等的快速性程度，应符合业务需求；

g)合规性：数据格式、类型、域值和业务规则的有效性。

4 相关部门职责

4.1 概述

相关部门包括以下部门：业务主管部门、技术主管部门、技术承办单位和数据质量管理实施部门。

4.2 业务主管部门职责

主要职责包括：

a)对于拟开发的应用项目，对相关业务提出数据质量约束性需求；

b)对于在开发的应用项目，从业务角度提供数据质量检测方法和验收标准；

c)对于已运行的应用项目，根据应用状况提出数据质量问题和改进建议；

d)受理与本部门业务相关的数据质量管理协同通告，并作出处理反馈。

4.3 技术主管部门职责

技术主管部门是数据质量的主管部门，主要职责包括：

a)组织制定、颁布数据质量管理、保障、控制和维护流程；

b)组织制定、颁布数据质量管理和技术相关标准；

c)监督数据质量问题处理的整个流程并对数据质量的监控结果进行

评估；

d)组织、协调相关部门，解决数据质量管理活动中的异常问题；

e)受理、审批数据质量需求变更；

f)针对已处理的数据质量问题发起处理效能评估；

g)数据质量管理其他有关事项。

4.4 技术承办单位职责

主要职责包括：

a)协助数据质量管理实施部门解决业务应用系统数据质量问题；

b)协助业务主管部门提出数据质量管理的业务需求；

c)协助数据质量管理实施部门处理数据质量需求变更评估。

4.5 数据质量管理实施部门职责

受技术主管部门委托，负责数据质量管理的具体实施。主要职责包括：

a)监控数据质量问题；

b)提出数据质量问题改进建议；

c)依据数据质量管理处理流程，负责数据质量管理系统运维；

d)处理数据质量监控系统告警，并向相关部门通告数据质量问题；

e)经主管部门授权后，负责组织解决相关的数据质量问题；

f)组织处理数据质量需求变更的评估；

g)形成报告并报技术主管部门；

h)协助业务主管部门提出数据质量管理的业务需求。