数据质量管理规范

3 术语和定义
3.1 质量 一组固有特性满足要求的程度。 注 1：术语“质量”可使用形容词如差、好或优秀来修饰。 注 2：“固有的”（其反义是“赋予的”）就是指在某事或某物中本来就有的，尤其是那种永久的特
性。 3.2
准确度 在一定观测条件下，观测值及其函数的估值与其真值的偏离程度。 3.3 一致性 满足规定的要求。
每个质量定量元素可细分为多个质量定量子元素。每个质量定量子元素用多个质量定量子元素描述 子描述。
质量定量元素、质量定量子元素及质量定量子元素描述子描述数据资源满足相应规范中预先设定的 标准的程度并提供定量的质量信息。
I
前言
制定本规范旨在指导中国科学院“数据应用环境建设和服务”的数据质量管理。 本规范为第一次制定。 本规范由中国科学院计算机信息网络中心提出。 本规范主要起草单位：中国科学院地理科学与资源研究所、中国科学院计算机信息网络中心。 本规范主要起草人：王卷乐、孙崇亮
II
数据质量管理规范
1 范围
本规范明确了数据质量描述的基本原理，详细说明了识别及报告数据质量信息的基本方法，规范了 数据质量控制的基本原则与方法。
数据质量评价报告编号名称定义内容条件质量报告报告章节必选11报告名称报告名称必选12报告范围该报告所评价数据集的范围可选数据质量测量报告章节必选21数学描述数据质量测量的数学描述必选22数据质量测量值数据质量测量值必选23数据质量测量值单位数据质量测量值单位必选24可靠度计算的或估计的数据质量测量的可靠性或可信度可选25可信度单位可信度单位可选一致性的可信度报告章节可选31一致性结果可信度一致性结果的可信度必选32一致性结果可信度单位一致性结果可信度的单位或值类型必选33参考文档一致性评价所参考的文档信息可选质量评价方法信息报告章节必选41方法类型质量评价方法类型直接间接必选42检查策略所用检查策略信息完全取样必选数据质量评价方法报告章节必选14编号名称定义内容条件51假定开发和应用该数据质量评价方法的隐含假定信息可选52处理算法为确定该数据质量结果怎样处理了数据必选53参数信息数据质量评价方法所用参数信息可选531参数定义所用参数定义必选532参数值所用参数值必选533参数单位参数单位必选54完全检查方法完全检查方法信息用完全检查方法时必选541完全检查过程完全检查过程详细描述必选542数据项描述怎样定义数据项必选543参考文档完全检查所参考的文档可选55取样方法取样方法信息用取样方法时必551取样方法类型取样方法类型必选552取样过程取样过程详细描述必选553取样比率样本占群体的比率用划分时必选综合质量报告章节有综合质量时61综合质量值综合质量值必选62综合质量值单位综合质量值单位必选63综合方法综合方法详细描述必选64时间综合时间可选65综合质量报告综合质量评价报告可选其它报告章节可选15a资料性附录栅格数据质量评价实例a1数据质量评价对象空间数据分为矢量数据和栅格数据其中栅格数据又分为影像数据和格网数据
2
3.14 数据集 可识别的数据集合。
注：通过诸如空间覆盖范围或要素类型的控制，数据集在物理Biblioteka Baidu可以是更大数据集较小的部分。从理论上讲，数据 集可以小到更大数据集内的单个要素或要素属性。一张硬拷贝地图或图表均可以被认为是一个数据集。
3.15 数据集系列 符合相同产品规范的数据集集合。
3.16 要素 现实世界现象的抽象。 注：要素可以作为类型或实例出现，当只能用一个含义时，应使用要素类型或要素实例。
科学数据共享工程质量管理规范（征求意见稿），2005 TR-REC-001 主题数据库建设规范 GB/T 19000-2000 质量管理体系—基础与术语 GB/T 21337-2008 地理信息 质量原则 GB/T 21336-2008 地理信息 质量评价过程 ISO 19113 Geographic information — Quality principles ISO 19114 Geographic information — Quality evaluation procedures
注：检验单元可以是数据集的任何部分，如要素、要素关系、要素属性或它们的组合。
3.22 总体 检验的的检验单元。
3.23 元数据 关于数据的数据。本规范中，具体指描述数据及其环境的数据。
4 总则
4.1 数据质量管理 中国科学院“数据应用环境建设和服务”数据质量管理主要是对中国科学院“数据应用环境建设和
服务”的数据质量进行规范和控制。该规范要求中国科学院“数据应用环境建设和服务”的数据质量管
3
理必须识别相应产品规范或用户需求中的质量信息，在元数据、质量评价报告中形成正确的质量描述， 并在这些规范上的质量结果均为“合格”。
图1为中国科学院“数据应用环境建设和服务”数据质量管理框架。
数据产品规范 或用户需求
数据产品生 产、加工和管
理
数据应用环境 标准规范
识别质量信息
形成质量描述
质量描述合 作？ 是
决定一致性
元数据、质量 评价报告
否否
合格？
否
整改
是
进入数据应用环境
图1 数据质量管理框架 4.2 数据质量描述
该规范认为产品规范或用户需求中包含数据质量信息。该规范通过识别其中的质量元素来描述质量 信息。
数据质量应当用以下两个组件来描述： ● 质量定量元素 ● 质量非定量元素
[GB/T 19333.5-2003] 3.4
一致性质量级别 数据质量结果的一个或一组阈值，用于确定数据集符合产品规范规定或用户要求的程度。 3.5 数据质量定量元素 说明数据集质量的量化组成部分。
[ISO 19101] 注：数据集的质量定量元素的适用性既取决于数据集的内容也取决于其产品规范，因此并非所有数
1
据质量定量元素都适用于所有数据集。 3.6
数据质量评价过程 应用和记录质量评价方法及评价结果的操作。 3.7 数据质量测量 数据质量定量元素的取值。 例：正确的属性值所占的百分比。 3.8 数据质量非定量元素 说明数据集质量的非量化组成部分。
[ISO 19101] 注：有关数据集目的、使用情况和数据志等信息是非定量元素。 3.9 数据质量结果 数据质量测量得到的一个值或一组值，或者将获取的一个值或一组值同规定的一致性质量级别相比 较得到的评价结果。 示例：数据质量定量元素及其子元素“完整性—多余”的数据质量结果为“90”、数据质量值类型 为“百分比”，是对数据质量范围指定的数据进行数据质量量测而得到的例子。而数据质量结果为“真”、 数据质量值类型为“布尔型变量”是将值（90）同规定的、可接受的一致性质量级别（85）相比较的例 子，记录的评价结果为良好、合格或不合格。 3.10 数据质量范围 记录其质量信息的数据的覆盖范围或特征。 注：一个数据集的数据质量范围可以由该数据集所属的数据集系列组成，也可由该数据集本身，或 是物理上位于数据集中、具有相同特征的较小的数据组组成。相同特征可以是相同的要素类型、要素属 性或要素关系；可以是相同的数据采集标准；可以是相同的数据源；或是一个指定的地理或时间覆盖范 围。 3.11 数据质量定量子元素 数据质量定量元素的组成部分，用于描述质量定量元素某一方面。 3.12 数据质量值类型 记录数据质量结果的值的类型。 示例：“布尔型变量”、“百分比”、“比率”。 注：每个数据质量结果都要给出数据质量值类型。 3.13 数据质量值单位 记录数据质量结果的值的单位。 示例：“米”。 注：只在应用数据质量结果时，才给出数据质量值单位。
项目编号 INFO-115-C01 文档编号 TR-REC-063
中国科学院数据应用环境建设与服务
数据质量管理规范
（征求意见稿）
中国科学院数据应用环境建设与服务 项目组
2009 年 9 月
I
目次
1 范围 ................................................................................ 1 2 规范性引用文件 ...................................................................... 1 3 术语和定义 .......................................................................... 1 4 总则 ................................................................................ 3 4.1 数据质量管理 ...................................................................... 3 4.2 数据质量描述 ...................................................................... 4 4.3 数据质量评价 ...................................................................... 5 4.4 质量控制 .......................................................................... 6 5 数据质量 ............................................................................ 6 5.1 数据质量描述基本原理 .............................................................. 6 5.2 识别数据质量 ...................................................................... 8 5.3 数据质量评价过程 .................................................................. 9 5.4 数据质量评价方法 ................................................................. 10 5.5 数据质量控制 ..................................................................... 11 5.6 报告数据质量信息 ................................................................. 13 附 录 A （资料性附录）栅格数据质量评价实例 ......................................... 15 A.1 数据质量评价对象 ................................................................. 15 A.2 数据质量评价参数 ................................................................. 15 A.2.1 评价方法 ........................................................................ 15 A.2.2 评价参数及权重的确定 ............................................................ 15 A.3 数据质量评价参数的获取 ........................................................... 16 A.3.1 元数据信息获取 .................................................................. 16 A.3.2 利用 ArcCatalog 提取数据空间信息.................................................. 17 A.4 数据质量评价 ..................................................................... 18 A.4.1 评价参数汇总 .................................................................... 18 A.4.2 评价计算 ........................................................................ 18 A.5 结论 ............................................................................. 20
3.17 要素属性 要素的特征。 注：一个要素属性包括名称、数据类型和与之关联的值域等。一个要素实例的要素属性同样具有来
自该值域的属性值。 3.18
直接评价方法 以数据集内部检验单元检验为基础的数据集质量评价方法。 3.19 非直接评价方法 通过外部知识来评价质量的方法。 3.20 完全检查 检查质量范围内的所有个体。 3.21 检验单元 可被单独描述或考察的事物。
本规范适用于中国科学院数据应用环境建设和服务项目中数据质量管理。
2 规范性引用文件
下列规范性引用文件通过本部分的引用而成为本规范的条款。凡是注日期的引用文件，其随后所有 的修改（不包括勘误的内容）或修订版均不适用于本规范。但是，鼓励根据本规范达成协议的各方，研 究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本规范。