智慧城市公共数据共享交换平台建设方案

智慧城市公共数据共享交换平台建设方案

2018年3月

目录

1.项目概述 (5)

1.1.平台建设目标 (5)

1.2.总体需求分析 (6)

1.3.平台需求分析 (9)

2.平台建设思路 (9)

2.1.一套架构平台 (9)

2.2.两类构建框架 (10)

2.2.1.页面构建框架 (10)

2.2.2.安全构建框架 (10)

2.3.三种工具组件 (10)

2.3.1.日志组件 (10)

2.3.2.消息组件 (11)

2.3.3.单点登陆组件 (11)

2.4.四项基础服务 (11)

2.4.1.文件分布式存储服务 (11)

2.4.2.文档在线阅读服务 (11)

2.4.3.流媒体服务 (12)

2.4.4.任务调度服务 (12)

2.5.五个运行引擎 (12)

2.5.1.工作流引擎 (12)

2.5.2.数据接口引擎 (12)

2.5.3.报表引擎 (13)

2.5.4.全文检索引擎 (13)

2.5.5.权限分级引擎 (14)

3.平台总体设计 (14)

3.1.平台建设原则 (14)

3.2.平台架构设计 (15)

3.3.平台功能设计 (17)

3.3.1.数据采集 (19)

3.3.2.数据清洗加载 (20)

3.3.3.数据共享交换 (21)

3.3.4.资源目录管理 (23)

3.3.6.数据资源管理 (25)

3.3.7.目录管理与服务 (25)

3.3.8.资源统一调度 (27)

3.3.9.数据质量管理 (28)

3.3.10.运行监控管理 (29)

3.3.11.接口开发与服务 (29)

3.3.12.服务总线 (30)

3.3.13.云应用引擎 (30)

4.平台详细建设方案 (31)

4.1.数据采集 (31)

4.1.1.元数据管理 (33)

4.1.1.1.采集字段管理 (33)

4.1.1.2.采集目录资源库管理 (34)

4.1.1.3.数据源管理 (34)

4.1.2.数据采集管理 (34)

4.1.2.1.采集策略管理 (35)

4.1.2.2.采集任务管理 (36)

4.1.2.3.调度与监控 (37)

4.1.2.4.离线数据采集 (38)

4.1.3.日志管理 (38)

4.2.数据清洗加载 (39)

4.2.1.数据清洗 (39)

4.2.1.1.数据转换规则配置 (39)

4.2.1.2.数据转换 (40)

4.2.1.3.数据去赃 (40)

4.2.1.4.数据批量清洗 (41)

4.2.2.数据加载 (41)

4.2.3.日志管理 (41)

4.3.数据共享交换 (41)

4.3.1.交换桥接 (45)

4.3.2.前置交换 (46)

4.3.3.交换传输 (48)

4.3.4.交换管理 (48)

4.4.资源目录管理 (49)

4.4.1.专项资源目录库 (49)

4.4.3.资源目录管理 (50)

4.4.3.1.目录生产 (50)

4.4.3.2.目录管理 (50)

4.4.3.3.目录查询 (52)

4.4.4.编目管理 (53)

4.5.元数据管理 (54)

4.5.1.元数据定义 (56)

4.5.2.元数据存储 (56)

4.5.3.元数据查询 (57)

4.5.4.元数据维护 (57)

4.5.5.元数据检查 (57)

4.5.6.元数据分析 (58)

4.6.数据资源管理 (58)

4.6.1.模型管理 (59)

4.6.2.数据查询 (59)

4.6.3.同步和迁移 (59)

4.6.4.导入导出 (59)

4.6.5.计划任务 (60)

4.7.目录管理与服务 (60)

4.7.1.资源目录服务 (60)

4.7.2.目录共享统计分析 (61)

4.7.3.数据订阅 (61)

4.8.资源统一调度 (62)

4.8.1.任务调度配置 (62)

4.8.2.智能调度运行 (62)

4.8.3.资源控制 (63)

4.8.4.优先级管理评估 (63)

4.8.5.调度策略管理 (63)

4.8.6.调度全面监控 (64)

4.8.7.作业告警与错误反馈 (64)

4.8.8.调度变更 (64)

4.9.数据质量管理 (65)

4.9.1.数据质量控制 (65)

4.9.2.数据质量评估 (66)

4.9.2.1.自动化评估 (66)

4.9.3.数据稽核管理 (66)

4.10.运行监控管理 (67)

4.10.1.运行监控 (67)

4.10.2.数据采集过程监控 (68)

4.10.3.监控告警 (68)

4.10.4.日志管理 (69)

4.11.接口开发与服务 (69)

4.12.服务总线ESB (69)

4.12.1.权限校验 (70)

4.12.2.服务治理 (71)

4.12.3.协议转换 (71)

4.12.4.消息格式转换 (72)

4.12.5.服务路由 (74)

4.12.6.监控和运维 (75)

4.12.7.服务等级 (76)

4.12.8.日志管理 (76)

4.12.9.异常处理 (76)

4.13.云应用引擎 (77)