国土资源多源异构数据整合应用实例探讨

• 其他新技术的应用
– 3D pdf展示三维数据 – 基于Google Earth的数据动态展示 – 多源数据的快速三维建立 – 应用案例：
• 3D Pdf数据展示 • Google earth • 点云、影像、矢量快速建模
MDB
（None-Spatial &Spatial）
……
技术特点如下：
支持空间数据的加载和迁移； 支持数据模型的重构和变换； 支持空间与非空间数据集成； 支持空间数据转换和变换； 支持坐标系统转换； 支持空间数据检查； 支持空间数据质量的保证与验证；
❖国土数据库更新维护模式
基于FME的数据库更新维护有两个模式：单机模式和在线模式
上下级交互检查
规则
接边检查
完整性
规范检 查
数据要素分类是否准确 逻辑性 数据现势性情况
属性
图形 空间数据要素完整性
属性字段结构
规则
规则
属性必填字段 值域、范围、规则检查 图属一致性检查
图形自身逻辑错误 图形间的拓扑关系
❖流程设计图-纠错
几何有效性纠错
• 线面自交差 • 线面伪节点 • 面重叠、线重叠 • 面缝隙 • ……
在线模式：
用户通过网络完成数据 的上传、检查、入库整 体操作。
检查结果可以下载，可 以查看，甚至定位。
入库操作可以自动完成 接边、要素分类分层、 重构等操作。
Intranet Or Internet
基
础 库提
取
基
提
础
取
库
提
取
基
础
库
中心 库
主动更新
基 础 基库 础 库基 础 库
提
中心
取
库
被动更新
文件级
支持海量空间数据的异构集成，支持实 时、自动实现空间数据的动态更新；
业务数据库 属性信息全量提取
字符集转换
更新监控表的更新 结果信息
数据仓库
借助中间表重新梳 理目标图层
根据业务逻辑关系 提取空间表记录
通过存储过程生成 变化内容
汇总变化情况到监 控表
提取监控表记录
• 应用案例——成都国土一张图
❖关键技术
标准语义集 合
数据管道 目标格式写服务
源语义模型 业务源空间数据
目标语义模型 指标数据
服务接口
数据ETL调用 服务 SOA
服务请求
❖空间ETL----国土监管指标的抽取
❖空间ETL----国土监管指标的抽取
• 数据交换和共享
国土资源数据 中心库
其它解决方案
FME Server服务 数据上传 数据下载 任务提交 数据流传输 OGC标准 邮件服务
❖源数据规则或规范
– 针对不同的数据建立不同的数据标准：例如，基础地理数据，土地 利用规划等，形成对不同数据标准的检查和验收规范
土地利用规划数据规范
– 数据检查细则
❖流程设计图
源数据
规范检查
未通过
数据纠错
通过
入库操作
数据库
❖流程设计图-检查
数国土数据库更新维护方案 • FME数据库支持
支持的常见数据库格式有：
Oracle （None-Spatial &Spatial）
MS Server （None-Spatial &Spatial）
DB2
（None-Spatial &Spatial）
ArcSDE （Raster &矢量）
Mysql （None-Spatial &Spatial）
• 1.国土数据建库质量检查方案 • 2.国土数据库更新维护方案 • 3.其它国土方案
❖建库准备
建库资源： 1. 源数据 2. 源数据规则或规范 3. 数据库 4. 数据库结构或建库规范 5. 软硬件环境
[ 北京安图数码科技发展有限公司 ]

❖源数据分析
1. 源数据采样分析 2. 数据库环境分析 3. 源数据规范与数据库规范的对比分析
数据库
数据库
全量更新
增量 包
数据 库
数据 库
增量更新
• 数据管理
– 增量数据的维护 – 历史数据的保存 – 数据仓库的ETL – 多源异构数据的汇交和集成 – 应用案例：
• 上海规划和国土局数据仓库建设 • 成都国土一张图数据仓库建设
• 应用案例——上海空间数据仓库建设
技术特点如下：
支持空间数据的加载和迁移； 支持数据模型的重构和变换； 支持空间与非空间数据集成； 支持空间数据转换和变换； 支持坐标系统转换； 支持空间数据检查； 支持空间数据质量的保证与验证；
数据检查与验证
整体性检查
完整性逻辑性
空间检查
属性检查
目文要坐 录件素标 结名分系 构称类统
元空字接 数间段边 据结结检
构构查
空空空 间间间 关比计 系较算
图 属属属自 属 性性性动 关 比计分修 系 较算隔正
国土数据建库质量检查方案
– 检查模板的定义
国土数据建库质量检查方案
❖方案内容
基于FME的数据建库有两个模式：单机模式和在线模式
➢ 数据分散、格式多样、通用性较差 ➢ 数据更新周期较差，数据现势性较差 ➢ 业务部门间分割严重，信息互通性较差
主要表现为：
• 数据质量 – 格式多样 – 坐标不统一 – 标准不统一
• 数据更新 – 更新周期长 – 联动更新不及时
• 数据共享与交换 – 业务数据库孤立存在 – 业务数据库之间缺乏数据交换与共享机制
图形的拓扑纠错
• 悬挂线 • 微小面处理 • 微短线处理 • 重复注记的叠加处理 • ……
❖流程设计图-入库
图属自动重构 图属 关系
数据字典自动关联 数据 字典
入库操 作
要素自动分类分层 要素 分类
要素 接边 要素自动接边
国土数据建库质量检查方案
• 空间数据检查与验证
FME Workbench组件提供了超过400个不同类型的转换器 。
国土资源多源异构数据整合 应用实例探讨
目录
• 1. 目前国土数据存在的问题 • 2. 国土多源异构数据整合的重要性 • 3. 国土数据整合的内容 • 4. 国土多源异构数据整合的解决方式 • 5. 基于FME的国土多源异构数据整合方案
当前国土资源信息化蓬勃发展，而各级国土资源信息化水 平参差不齐，导致国土数据面临很多问题：
图属关联
规划数据
坐标系是否一致 是
图属是否分离 是
图属合并
否
转换坐标系为目 标要求坐标系
重建数据库标准的关联关系
指定目标数据表入库 完成
• 应用案例——上海空间数据仓库建设
技术特点如下：
通过网络进行空间数据的实时分发； 支持分布式故障自动转移配置； 支持Oracle的西文到中文字符集转换； 对空间数据的服务提供日志记录； 提供实时空间数据交换服务；
单机模式：
FME定制检查项，用户 可以根据需要对所有的 检查项进行单项检查、 或者多项检查，另外为 每类检查我们设置了参 数控制。方便用户灵活 的控制检查的精度、范 围等信息。 用户可以实现数据的批 量入库操作，并在入库 前或者入库后完成数据 接边。
国土数据建库质量检查方案
– 应用案例：
• 南京地籍数据数据在线检查、变更 • 重庆/成都国土局测绘数据流程化变更
1. 数据变化监测 2. 异构集成 3. 空间ETL
❖数据变化监测
1. 基于商业数据库的现有工具 • Oracle CDC/Streaming • GoldenGate
2. 一般的触发器/存储过程 3. 全记录集比对
❖异构数据集成
❖异构数据集成
源格式读服务
语义转换引擎
空间 处理函数集 属性处理函数集