电子政务领域的大数据解决思路PPT课件

安 全
支撑
工作流引擎
KPI 仪表盘
ESB
即席查询 SOA
业务报告 Office集成
防
护
社管
体 数据
系 中心 卫生
环保
交通 教育 ……
数据集市 主题域数据库
ODS
采集、整合、服务、监管
建交委 公安局 规划局
图表展 监测警
卫 教
…
基础 设施
资源整合、虚拟化管理、按需分配
服务器
存储
网络
14 达梦大数据平台
问题分析 解决思路
统一数据标准，全过程元数据记录，……
数据标准 元数据仓库 自动获取 关系维护 版本管理 导入/导出 元数据应用
数据转换 工具
业务分析
数据仓库 业务主题
元数据
业务视图
22 达梦大数据平台——数据管理类（数据整合）
问题分析 解决思路
问题分析 解决思路
实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据 存储，为政府大数据项目提供基础支撑和保障
15 达梦大数据平台——数据存储类（DM7）
问题分析 解决思路
大型 通用 关系型 云数据库 安全 自主
DM7
联机分析处理 （列存库）
联机事务处理 （兼容 oracle）
安全保护
总结
2
3
目录页
1
ContentsPage
4
8 分布式数据中心架构
问题分析 解决思路 政府公共数据中心
教育 行业数据中心
卫生 行业数据中心
交通 行业数据中心 …
其他
交通监控系统
公交调度系统
停车引导系统 …
机动车 员管理
摄像头
GPS
ETC
传感器 …
9 逻辑库与物理库
资源检索
逻 辑 库
卫生
问题分析 解决思路
6 电子政务的大数据建设目标
问题分析 解决思路
（1）构建政务大数据处理的交换、整合、共享、分析与服务的软件平台 （2）建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系 （3）不断整合各类基础设施资源、数据资源，支撑大数据业务的持续发展
7
问题分析 解决思路
问题 分析
问解题决 分思析路
行业 实践
1
问题分析
电子政务领域的大数据解决
2
问题分析 解决思路
问题 分析
解决 思路
行业 实践
总结
2
3
目录页
1
ContentsPage
4
3
问题分析 解决思路
问题 分析
解决 思路
行业 实践
总结
2
3
目录页
1
ContentsPage
4
4 信息资源共享难
问题分析 解决思路
分析利用 程度低
信息孤岛现 象严重
数据安全缺 乏保障
发改委 建委 财政局 规划局
19 达梦大数据平台——数据交换类（DMHS）
问题分析 解决思路
达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高 步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后
1. 数据备份
2. OLAP\OLTP分离 3. 实时同步 4. 灾备
20 达梦大数据平台——数据交换类（请求服务引擎）
问题分析 解决思路
综合查询系统
资源目录系统
采用一致接口访问本 地、远程数据源
支持多级代理，适应 复杂网络部署
支持关系数据库、数 据文件、数据接口、 NoSql数据库
内存 闪存
硬盘 本地分级缓存
分布式查询处理
缓存管理 数据访问代理
全 局 数 据 字 会安 典 话全 管 管管 理 理理
TXT、EXCEL、XML
结构化数据库
分类 存储
元数据库
分布式文件库
数据管理
数据
数据仓库
数据 分析
接口
报表
查询 数据
11 相关技术
问题分析 解决思路
结非 构结 化构 大化 数数 据据 存存 储储
数数数
据据据
分一涉
散致密
不性不
规问能
范题落
问
地
题
问
题
数数数
据据据
标质安
准量全
不问性
一题问
致
题
12 “三张皮”变“一张皮”
问题分析 解决思路
支持异构数据源采集
✓ Oracle
✓ Sql Server ✓ DM dbms ✓ DB2 ✓ MySql ✓ Sybase ✓ Excel文件 ✓ 其它文件
✓ ……
支持多级单位间的数 据交换
交换管理
数据中心 达梦数据交换系统
… 前置交换库 前置交换库 前置交换库 前置交换库
… 业务信息库 业务信息库 业务信息库 业务信息库
分布式查询引擎
内存
闪存 硬盘
分级缓存
本地资源调度
缓冲库
基础库
本地物理库
远程资源调度
公安
教育
……
远程物理库
10 大数据生命周期
问题分析 解决思路
以数据流为主线，实现从数据采集、数据管理、数据服务到数据应用4个
数据库
数据文件 数据接口
抽取 报送
Web直报
非结构化 数据
异构数据源
数据采集
清洗 转换 汇集 规整 标准化 质量控制
大数据处理 （MPP数据库）
ODBC
JDBC
PL/SQL
OCI
PDO
ADO
统一接口
16 达梦大数据平台——数据存储类（MGBase）
问题分析 解决思路
面向列的分布式 NoSQL型数据库
构建于分布式文件系 统之上
适用于半结构化和非 结构化海量数据存储
数据 服务器
数据 服务器
Ma
列实例
17 达梦大数据平台——异构分布式查询
问题分析 解决思路
分布式请求服务引擎解决数据不能落地的远程数据访问问题
分布式请求服务引擎
穿透内外网 请求转发 远程服务代理 中心/分中心一体
化服务
…
内网
请求响应列表 请求响应协调器
请求响应服务器
外
任务池
请
比对 请求
交换 请求
查询 请求
内网请求服 务数据库
数据交换平台
21 达梦大数据平台——数据管理类（元数据管理）
和WebService等其 他数据源
关系型数据库
业务节点
业务节点 数据访问代理
非关系型
前置 数据访问代理
各类数据源
各类数据源
业务节点 数据访问代理
各类数据源
前置 数据访问代理
各类数据源
各类数据源
18 达梦大数据平台——数据交换类（DMETL）
问题分析 解决思路
解决不同单位、不同系统之间的数据采集、数据交换等要求。
面临的问题
缺乏统一资 源目录
缺乏统一数 据标准
信息共享难 度大
5 电子政务建设的问题
1
缺少总体 顶层规划
2
条块分割 纵强横弱
3IT资 源利
用率低
4
项目建设 运维成本
高
电子政务
问题分析 解决思路
1
标准不一、重复 式建设
2
各自为政、信息 同更难
3
基础设施利用率 有发挥
4
投资成本高、缺 、运维成本高、
署、开发）。
业务 业务 业务
应用 应用 应用
1
2
N
Βιβλιοθήκη Baidu资源 共享 应用1
资源 资源 共享 共享 应用2 应用N
数据 分析 应用1
大数据平台
业务库 OLTP
数据整合 共享数据
数据建模
共享库
三类数据资源
13 政务大数据应用架构
问题分析 解决思路
发改委
应用 平台
财政
建委
……
资源共享、业务协同、决策分析、信息门户、……
应用 领导驾驶舱