数据中心管理平台 - V3.0 方案稿
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
标准库篇
• 标准库（引用标准）
• 基础数据库结构-溯源-血统-元数据捕获
• 基础数据查看 & 自定义查询
• 高基表 • 对数据进行质量分析与监控
• 建设质量报告
• 建设历史库
数据查看
自定义查询
高基报表
历史查看
人事系统 待建填报
综合学工 OA系统
容量统计
范围检查 规则检查
质量分析
质
无事实
低粒度分 析事实 调度自定义
Web 服务 查 看 打印导出
ODS1
ODS2
….
历史库
数据中心管理平台- 质量分析与监控
• 要义：
数据中心信息集.代码集使用情况
数据中心Database – tablespace 分布. 地址分布. 空间使 用率. 性能参数
标准数据的物理空间使用情况分析
数据量分析 逐层钻取分析
数据饱和度.数据范围.数据规则分析
血统分析 影响分析 一致性分析 数据地图 实体差异分析
Extract
Transform
数据仓 库/集市
预处理库
Load
历史库
ODS
SDC
标准平台的标准引用也是溯源的一条路径
数据谱系：数据中心较有意思的元数据即数据谱系，或者称为逻辑数据映射，阐述数据元素从 原始数据源到最终数据仓库目标之间是如何转换的。 过程元数据：数据集结区表的加载过程的统计必须和数据仓库表加载的统计一起记录。尽管数 据集结区加载过程的信息不需要展示给最终用户，但是 ETL小组需要知道每个表中加载了多少记 录，每个过程成功或失败的统计结果。而数据刷新频度方面的信息对 ETL管理员和最终用户都是 有用的。
多表关联
ODS数据
历史数据
自定义
血统分析 影响分析 预处理库 ODS 历史库
数据地图 ……. 数 据 溯 源
元数据配置
数据中心管理平台- 高基表
• 要义：
提供高基表查询功能 高基表采用报表引擎
高基表将报表发布成web服务
高基表支持各类客户端的访问
数据中心管理平台-高基表 –结构图
教 师
学 生
其他
Runtime
基础数据库
分析库
……
历史库
版本管理 标准授权
…. 标准规范
信息 标准 管理 平台
数据中心管理平台- 数据结构 -数据溯源畅想
• 要义：
数据中心管理平台数据库分为系统库以及基础数据库 基础数据库划分为 共享库、业务库、采集库、分析库
基础数据库做逻辑区分，物理支持区分
溯源. 血统分析.元数据捕获（共享、业务、采集、分析）
数据中心管理平台-ODS/DW – 数据库结构
数据中心管理平台-质量分析-结构
wk.baidu.com
信息集使用 数据库使用
代码集使用 数据库参数
主 题
子 集
表
表
数据量统计
物理使用
ODS1
ODS2
ODS..
数据中心管理平台- 质量报告
• 要义：
展示数据中心建设进展 - 标准建设情况. 数据库建设情况
数据中心集成系统情况 集成了哪些业务系统 业务系统分别集成了
那些业务数据 数据中心的UC矩阵 从哪里来 到哪里去
数据中心管理平台-标准/基础数据库 架构图
数据中心管理平台标准/基础数据库
学 校 子 集
图 书 子 集
学 生 子 集
O A 子 集
… ..
..
..
..
..
..
..
..
数据 中心 库
共享标准
业务标准
分析标准
标准官方网 标准收藏 系统建模 模型监控
标准服务接口 WebService
控制台 系统管理
数据元 标准内容
数据中心的统计信息 –历史集成了多少数据 – 今年集成了多少数据-分
别是哪些 -数据有效性 范围 规则
信息集使用 数据库使用
代码集使用 数据库参数
主 题
子 集
表
表
数据量统计
物理使用
ODS..
ODS..
ODS..
数据中心管理平台- 历史库
• 要义：
数据中心管理平台-历史库
高基表 历史查询 数据仓库 …
量 报
告
日 期 维
财务系统
一卡通
UC矩阵
数据流向
日期维定义 调度引擎
其他.. 教务系统
流程
调度
监控
…
服务中心
数据交换引擎（ Extract-Transform-Load ）
共享标准 业务标准 采集标准 数据元 分析标准
标准库篇
•要义：
从标准平台引用信息标准
从标准平台官网直接获取并部署（物理表结构以及字典 表结构）
数据中心管理平台- 数据查看功能
• 要义：
提供对基础数据的查看（ODS） 提供对历史数据的查看（HDC)
提供自定义的查询
数据中心管理平台-数据查看 –结构图
基础数据查询
历史数据查询
自定义查询
Resultful / Service Center
学校
财务
教师
图书
教师
…
学校
财务
教师
图书
教师
…
日期 维度
• 标准库（引用标准）
• 基础数据库结构-溯源-血统-元数据捕获
• 基础数据查看 & 自定义查询
• 高基表 • 对数据进行质量分析与监控
• 建设质量报告
• 建设历史库
数据查看
自定义查询
高基报表
历史查看
人事系统 待建填报
综合学工 OA系统
容量统计
范围检查 规则检查
质量分析
质
无事实
低粒度分 析事实 调度自定义
Web 服务 查 看 打印导出
ODS1
ODS2
….
历史库
数据中心管理平台- 质量分析与监控
• 要义：
数据中心信息集.代码集使用情况
数据中心Database – tablespace 分布. 地址分布. 空间使 用率. 性能参数
标准数据的物理空间使用情况分析
数据量分析 逐层钻取分析
数据饱和度.数据范围.数据规则分析
血统分析 影响分析 一致性分析 数据地图 实体差异分析
Extract
Transform
数据仓 库/集市
预处理库
Load
历史库
ODS
SDC
标准平台的标准引用也是溯源的一条路径
数据谱系：数据中心较有意思的元数据即数据谱系，或者称为逻辑数据映射，阐述数据元素从 原始数据源到最终数据仓库目标之间是如何转换的。 过程元数据：数据集结区表的加载过程的统计必须和数据仓库表加载的统计一起记录。尽管数 据集结区加载过程的信息不需要展示给最终用户，但是 ETL小组需要知道每个表中加载了多少记 录，每个过程成功或失败的统计结果。而数据刷新频度方面的信息对 ETL管理员和最终用户都是 有用的。
多表关联
ODS数据
历史数据
自定义
血统分析 影响分析 预处理库 ODS 历史库
数据地图 ……. 数 据 溯 源
元数据配置
数据中心管理平台- 高基表
• 要义：
提供高基表查询功能 高基表采用报表引擎
高基表将报表发布成web服务
高基表支持各类客户端的访问
数据中心管理平台-高基表 –结构图
教 师
学 生
其他
Runtime
基础数据库
分析库
……
历史库
版本管理 标准授权
…. 标准规范
信息 标准 管理 平台
数据中心管理平台- 数据结构 -数据溯源畅想
• 要义：
数据中心管理平台数据库分为系统库以及基础数据库 基础数据库划分为 共享库、业务库、采集库、分析库
基础数据库做逻辑区分，物理支持区分
溯源. 血统分析.元数据捕获（共享、业务、采集、分析）
数据中心管理平台-ODS/DW – 数据库结构
数据中心管理平台-质量分析-结构
wk.baidu.com
信息集使用 数据库使用
代码集使用 数据库参数
主 题
子 集
表
表
数据量统计
物理使用
ODS1
ODS2
ODS..
数据中心管理平台- 质量报告
• 要义：
展示数据中心建设进展 - 标准建设情况. 数据库建设情况
数据中心集成系统情况 集成了哪些业务系统 业务系统分别集成了
那些业务数据 数据中心的UC矩阵 从哪里来 到哪里去
数据中心管理平台-标准/基础数据库 架构图
数据中心管理平台标准/基础数据库
学 校 子 集
图 书 子 集
学 生 子 集
O A 子 集
… ..
..
..
..
..
..
..
..
数据 中心 库
共享标准
业务标准
分析标准
标准官方网 标准收藏 系统建模 模型监控
标准服务接口 WebService
控制台 系统管理
数据元 标准内容
数据中心的统计信息 –历史集成了多少数据 – 今年集成了多少数据-分
别是哪些 -数据有效性 范围 规则
信息集使用 数据库使用
代码集使用 数据库参数
主 题
子 集
表
表
数据量统计
物理使用
ODS..
ODS..
ODS..
数据中心管理平台- 历史库
• 要义：
数据中心管理平台-历史库
高基表 历史查询 数据仓库 …
量 报
告
日 期 维
财务系统
一卡通
UC矩阵
数据流向
日期维定义 调度引擎
其他.. 教务系统
流程
调度
监控
…
服务中心
数据交换引擎（ Extract-Transform-Load ）
共享标准 业务标准 采集标准 数据元 分析标准
标准库篇
•要义：
从标准平台引用信息标准
从标准平台官网直接获取并部署（物理表结构以及字典 表结构）
数据中心管理平台- 数据查看功能
• 要义：
提供对基础数据的查看（ODS） 提供对历史数据的查看（HDC)
提供自定义的查询
数据中心管理平台-数据查看 –结构图
基础数据查询
历史数据查询
自定义查询
Resultful / Service Center
学校
财务
教师
图书
教师
…
学校
财务
教师
图书
教师
…
日期 维度