数据质量监控方法的研究与实践

数据质量监控方法的研究与实践

摘要数据质量监控是数据质量管理的核心内容，贯穿于数据流的所有环节，它是通过对数据的跟踪，发现数据流中存在的问题，实现对数据质量的控制。数据质量监控实质上是对工作质量的监控，也是对工作成效的一种评价活动。

关键词数据质量；监控方法；研究

中图分类号G642 文献标识码 A 文章编号1673-9671-（2012）112-0193-01

1 数据质量监控方法

数据质量监控方法是指为实现数据质量监控目的所使用的技巧和办法，总的来说可以分为以下几类：按监控时间可分为日常监控和时点监控；按数据质量监控范围可分为抽样监控和全数监控；按数据质量监控的手段可分为审核、复核、校验、实地检查。

1.1 日常监控和时点监控

1）日常监控。日常监控是指在一个工作日中，对当天所发生的数据生产活动和产生的征管数据进行的监控。

2）时点监控。时点监控是对征管数据流运行过程中，以特定的时间和空间为节点对数据进行的监控，是对数据质量管理体系日常活动开展效果的评估。

1.2 审核、复核、校验、实地检查

1）审核。审核是指通过人工或人机结合的方式对未（已）进入系统内的数据与相关标准进行审查核实的活动。按照实际发生的业务内容，对接收的各种原始资料的完整性、准确性、真实性进行的鉴定活动。

“审核”的方法一般适用于操作人员对纳税人提供的涉税原始资料的审查和录入数据后保存数据前的自查。

2）复核。复核包括两个方面的涵义：一是指通过人工的方式对已进入系统内的数据与原始资料的数据进行重复核对的活动；二是指在征管数据处理过程中下一岗位在接到上一岗位传递的数据后，要对上一岗位已录入或已处理的数据情况进行确认，发现错误及时反馈的工作方法。

复核方法通常在数据流向复杂，涉及多个模块、多个岗位、多个部门的数据监控中使用，该方法最大的优点在于形成了有效的互相监督制约机制和发挥团队合作精神。

3）校验。校验是指通过程序对进入系统内的数据与相关标准或数据与数据之间进行验证的一项工作，通常采用SQL语句和管理软件进行，是数据质量监控的重要方法。

校验同审核、复核比较，其最大的特点就是监控效率大幅度提高，判断准确。由于校验是根据业务要求，使用计算机语言通过后台数据库对数据进行的监控，因此具有极高的效率和相当的准确性。但该方法也存在计算机语句编写准备时间长、条件设置复杂、增加数据库服务器运行压力等缺点。

校验方法通常由系统管理员和数据质量管理员在特定的时间和条件下使用，一般操作人员严禁使用。

4）实地检查。实地检查是指监控人员实地对系统数据与原始资料的一致性，原始资料的真实性、完整性、准确性进行检查。

2 数据质量监控方法实践

2.1 数据监控结果处理

1）标识。在监控过程中，对于存在疑问的数据，应当做出适当的标记并将发现的问题记录下来，通知有关部门。

2）中断。对于存在疑问的数据，应当与正确数据分别处置。正确数据继续执行数据流转，错误数据应当停止流转，并将其隔离起来，禁止对其进行相关后续操作。

3）评审。数据管理人员对于监控结果，应加以评审。参加评审的数据管理人员应当有能力判断监控结果的正确性和危害程度。

4）处置。在将错误数据的资料隔离后，通知相关数据输入、使用部门，根据文件设定相应的改正方案。

5）复核。对于已经完成改进的数据，重新复核，并核实类似数据是否存在同类问题。

6）分析。错误数据改正后，数据管理部门应采用“逆项追溯法”，查找数据错误源，分析错误产生原因，分清错误类型，如操作失误、流程错误和系统错误等。

7）改进。根据错误类型，制定合理的改进方案，通过流程的改变、规程的修订、人员的培训等措施，避免相同问题、类似问题的发生，达到持续改进的目的。

2.2 错误数据处置

错误数据的处置是指数据监控结果经过标识、中断、评审三个步骤处理后，针对错误数据采取修正的过程。错误数据的处置关键在于修正方案的制定和实施。错误数据处置可以大致归结为前台数据维护、后台数据修改、不予处置三类。错误数据处置流程如图5.15所示：

根据图1我们可以看到错误数据的处置可以分几个流程。

2.2.1 基本流程一：“Q前台修改——W文件化”，简称“QW”。

此流程最基本的形式是：“M确定需修正的目标数据——C产生错误操作人员直接修正——J检验数据修改的结果——W记录修正方法、修正结果等实现错误数据处置的文件化”。此类修正流程仅适用于可以通过税收信息系统前台界面修正的错误数据。

根据数据处置的“相关性原则”和此流程的基础形式，我们可以确定如下修正方案：

1）M——C——G1——G2（GN）[1]——J——W

2）M——G3——G4（GN）——C——J——W

3）M——G3——G4（GN）——C——G1——G2（GN）——J——W

2.2.2 基本流程二：“Q前台修正——H后台修正——W文件化”，简称“QHW”。

此流程最基本的形式是：“M确定需修正的目标数据——C产生错误操作人员修正部分——J检验——H提请后台数据修正——J检验数据修改的结果——W记录修改方法、修改结果等实现错误数据处置的文件化”。此流程适用于通过税收信息系统前台界面修正不能完全实现修正目标，而需要后台数据维护的错误数据。

2.2.3 基本流程三：“H后台修正——W文件化”，简称“HW”。

此流程最基本的形式是：“M明确需修正的目标数据——H后台修正——J 检验——W文件化”。此流程适用于处理税收征收信息系统前台无法修正的操作。

2.2.4 基本流程四：“B不予处置——W文件化”，简称BW。

此流程最基本的形式是：“M明确需修正的目标数据——B不予处置——W 文件化”。此流程适用于无法通过前台和后台修正，且对后续数据不会造成影响的错误数据的处置。