利用FME 实现数据质量检查

自动修复
SelfIntersectorInspect_Line
Demo2-微小面检查
检查内容
检查极小面积值的面要素。
转换器
AreaCalculator Tester
Demo2：\demo\微小面检 查\微小面检查.fmw
自定义转换器 SmallAreaInspect
Demo3-面压盖检查
Demo4-点面关系检查
点在面内
点要素不应该落入面要素的情况
点在面外
点要素应该落在面要素中而没有落入的情况
Demo4：\demo\点面关系检查\ 点面关系检查.fmw 转换器
PointOnAreaOverlayer
Demo4-点面关系检查
Demo5-图层命名检查
检查成果中是否存在非标准图层或缺少图层 Demo5：\demo\图层命名检查\图层命名检查.fmw 学习
属性数据质量检查
图层命名检查 属性结构检查 属性值域检查
Demo1-自相交检查
检查线的自相交 Demo1：\demo\自相交检查\ 自相交检查.fmw 转换器
GeometryValidator 自定义转换器
百度文库 SelfIntersectorInspect_Line
数据质量检查
2014.4
数据来源于生产；
生产数据时需建立统一的规定或规 范，使最终数据满足需求； 实际生产过程中，由于主观或客观 因素，不可避免存在数据错误或矛 盾，导致最终成果或多或少存在数 据质量问题。
一、数据质量检查的提出
为了控制数据质量，确保成果的正确性，在生产过程中或生
产完成后需要对数据进行质量检查，通过数据质量检查及时 发现数据中存在的问题。
二、常见数据质量问题
几何问题
线、面自相交 微小面 微短线 要素超出图幅的合理范围 导致 数据无法入库


拓扑分析有误
统计分析有误 ……
……
属性问题
必填属性为空 属性值超出规定的值域 ……
属性检查项，学会schema格式的应用。
其他数据格式是否有特殊处理？ 不同数据类型时，要考虑数据的特点。
五、模板的集成应用
单个模板进行合并
适合检查项固定且检查项数量较少的情况；
利用开发进行封装 CS质检系统
提供界面供其他人更方便 的使用质检
五、模板的集成应用
结合FME Server将模板转变为在线应用
核心——转换器
流程
数据格式， 数据内容
收集、分
析数据生 产标准 分析数据
分析检查 项
制作检查 模板
集成应用
模板结构
数据预处理
要素信息提取
功能检查模块
检查发生错误的要素
检查要素过滤
错误输出
定位错误发生的具体位置 错误要素输出 错误标示输出
培训内容
空间数据质量检查
自相交检查 微小面检查（微短线检查） 面压盖检查 点面关系检查（点在面内，点在面外）
FME Server结合开发还可以做在线的质检系统
特点
多格式支持
FME支持300多种格式，无数据格式限制的忧虑；
多数据类型支持
地形图、规划数据、国土数据、天地图数据等； 行业局限性小；
检查项可灵活扩展
灵活增加或删除检查项； 检查项独立，相互之间不受影响。
答疑/交流
检查面面之间是否压盖。
面相交检查 面重叠检查 面包含检查
Demo3：\demo\面压盖检查\面压 盖检查.fmw 转换器
AreaOnAreaOverlayer 自定义转换器
AreaOverlapDetect
面相交
面包含
自定义转换器——AreaOverlapDetect
属性命名正确性检查
Demo6-属性结构检查
Demo7-属性值域检查
检查要素指定属性的属性值是否在规定范围内。 Demo7：\demo\属性值域检查\属性值域检查.fmw 学习
AttributeDereferencer
Demo7-属性值域检查
扩展应用
待查数据格式为其他数据格式时，如何转变部分检查项的 处理？
三、数据质量检查手段
检查手段 优点 缺点
传统人工检查
可控性； 交互性好； 完成部分程序难以实现的 功能；
自动化； 高效率； 检查标准统一；
效率低； 检查结果依赖于检查人 员的经验；
数据质量检查软 件
支持的数据格式有限； 需求变化时，软件适应 性低。
四、使用FME进行数据质量检查
四、使用FME进行数据质量检查
Schema读模块 转换器
FeatureMerger
配置文件的使用
Demo5-图层命名检查
Demo6-属性结构检查
检查图层属性结构定义的正确性。
标准中定义的属性是否存在
Demo6：\demo\属性结构检查\属性结构检查.fmw 学习
Schema读模块的应用
扩展