数据中心质量保证方案

数据中心质量保证方案

广东第二师范学院

第一章引言

高校数据中心作为校情决策分析的数据来源，为保证数据中心的质量，通常需要进行数据处理,主要包括以下几个重要的步骤：数据审查、数据清洗、数据转换和数据验证四大步骤。

(一)数据审查

该步骤检查数据的数量(记录数)是否满足分析的最低要求,字段值的内容是否与调查要求一致,是否全面;还包括利用描述性统计分析,检查各个字段的字段类型、字段值的最大值、最小值、平均数、中位数等,记录个数、缺失值或空值个数等。

(二)数据清洗

该步骤针对数据审查过程中发现的明显错误值、缺失值、异常值、可疑数据,选用适当的方法进行“清冼”,使“脏”数据变为“干净”数据,有利于后续的统计分析得出可靠的结论。当然,数据清理还包括对重复记录进行删除。

(三)数据转换

数据分析强调分析对象的可比性,但不同字段值由于计量单位等不同,往往造成数据不可比;对一些统计指标进行综合评价时,如果统计指标的性质、计量单位不同,也容易引起评价结果出现较大误差,再加上分析过程中的其他一些要求,需要在分析前对数据进行变换,包括无量纲化处理、线性变换、汇总和聚集、适度概化、规范化以及属性构造等。

(四)数据验证

该步骤的目的是初步评估和判断数据是否满足统计分析的需要,决定是否需要增加或减少数据量。利用简单的线性模型,以及散点图、直方图、折线图等图形进行探索性分析,利用相关分析、一致性检验等方法对数据的准确性进行验证,确保不把错误和偏差的数据带入到数据分析中去。

第二章数据质量的基本要素

首先，如何评估数据的质量，或者说怎么样的数据才是符合要求的数据？可以从4个方面去考虑，这4个方面共同构成了数据质量的4个基本要素。

2.1完整性

数据的记录和信息是否完整，是否存在缺失的情况。

数据的缺失主要有记录的缺失和记录中某个字段信息的缺失，两者都会造成统计结果的不准确，所以完整性是数据质量最基础的保障，而对完整性的评估相对比较容易。

2.2一致性

数据的记录是否符合规范，是否与前后及其他数据集合保持统一。

数据的一致性主要包括数据记录的规范和数据逻辑的一致性。数据记录的规范主要是数据编码和格式的问题，比如教工号是7位的数字、学号是11位的数字，性别码包括2个类目、IP地址一定是用”.”分隔的4个0-255的数字组成，及一些定义的数据约束，比如完整性的非空约束、唯一值约束等；数据逻辑性主要是指标统计和计算的一致性，比如PV>=UV，新用户比例在0-1之间等。数据的一致性审核是数据质量审核中比较重要也是比较复杂的一块。

2.3准确性

数据中记录的信息和数据是否准确，是否存在异常或者错误的信息。

导致一致性问题的原因可能是数据记录的规则不一，但不一定存在错误；而准确性关注的是数据记录中存在的错误，比如字符型数据的乱码现象也应该归到准确性的考核范畴，另外就是异常的数值，异常大或者异常小的数值，不符合有效性要求的数值，如学生数一定是整数、年龄一般在1-100之间、转化率一定是介于0到1的值等。对数据准确性的审核有时会遇到困难，因为对于没有明显异常的错误值我们很难发现。

2.4及时性

数据中心的数据及时性主要反映在数据交换和数据分析的时效性上。

数据交换中部分业务数据的时效性要求极高，如人员岗位的变动及时到OA，资产的账单及时到财务等，其他及时性要求不高的数据交换也有时效的要求：如1小时、一天、三天等。

虽然说数据分析的实时性要求并不是太高，但并不意味着就没有要求，数据分析可以接受当天的数据要第二天才能分析查看，但如果数据要延时两三天才能出来，或者每周的报告要两周后才能出来，那么分析的结论可能已经失去时效性，同时，某些实时分析和决策需要用到小时或者分钟级的数据，这些需求对数据的时效性要求极高。所以及时性也是数据质量的组成要素之一。

第三章数据审查

基于数据质量的4个要素，可以对数据进行审查，以评估数据是否满足完整性、一致性、准确性和及时性这4方面的要求，其中数据的及时性主要跟数据的同步和处理过程的效率相关，更多的是通过监控ODI任务的方式来保证数据的及时性，所以这里的数据审查主要指的是评估数据的完整性、一致性和准确性。

3.1完整性审查

审查数据的完整性。首先是记录的完整性，一般使用统计的记录数和唯一值个数。比如图书管的每天借阅量是相对恒定的，大概在1000本上下波动，如果某天的借阅量下降到了只有100本，那很有可能记录缺失了；或者网站的访问记录应该在一天的24小时均有分布，如果某个整点完全没有用户访问记录，那么很有可能网站在当时出了问题或者那个时刻的日志记录传输出现了问题；再如统计教师、学生的籍贯分布时，一般会包括全国的32个省份直辖市，如果统计的省份唯一值个数少于32，那么很有可能数据也存在缺失。

完整性的另一方面，记录中某个字段的数据缺失，可以使用统计信息中的空值（NULL）的个数进行审核。如果某个字段的信息理论上必然存在，比如教师的所属单位、学生的班级等，那么这些字段的空值个数的统计就应该是0，这些字段我们可以使用非空（NOT NULL）约束来保证数据的完整性；对于某些允许空的字段，比如教职工的职称信息不一定存在，但空值的占比基本恒定，比如职称为空的教师比例通常在10%-20%，我们同样可以使用统计的空值个数来计算空值占比，如果空值的占比明显增大，很有可能这个字段的记录出现了问题，信息出现缺失。

3.2一致性审查

如果数据记录格式有标准的编码规则，那么对数据记录的一致性检验比较简单，只要验证所有的记录是否满足这个编码规则就可以，最简单的就是使用字段的长度、唯一值个数这些统计量。比如对教职工的工号是7位数字，那么字段的最长和最短字符数都应该是7；如果字段必须保证唯一，那么字段的唯一值个数跟记录数应该是一致的，比如用户的身份证号、手机号；再如地域的省份直辖市一定是统一编码的，记录的一定是“上海”而不是“上海市”、“浙江”而不是“浙江省”，可以把这些唯一值映射到有效的32个省市的列表，如果无法映射，那么字段通不过一致性检验。

一致性中逻辑规则的验证相对比较复杂，很多时候指标的统计逻辑的一致性需要底层数据质量的保证，同时也要有非常规范和标准的统计逻辑的定义，所有指标的计算规则必须保证一致。我们经常犯的错误就是汇总数据和细分数据加起来的结果对不上，导致这个问题很有可能的原因就是数据在细分的时候把那些无法明确归到某个细分项的数据给排除了，比如在细分学生