军队通用数据质量控制系统介绍

ZQY
© ZQY . All rights reserved.
54
1、数据生命周期管理
参照数据数据生命周期
自定义数据生命周期
ZQY
数据生命周期阶段管理
© ZQY . All rights reserved.
55
2、项目周期管理
项目周期阶段管理
ZQY
自定义项目周期
参照项目周期模板
项目环节管理
© ZQY . All rights reserved.
56
3、数据活动流程定义
数据活动流程定义
ZQY
数据活动管理
© ZQY . All rights reserved.
57
4、工作台展示
用户任务管理
ZQY
时间轴更改
数据血缘地图
任务书评审
© ZQY . All rights reserved.
58
5、安全管理
• 实现对角色信息的维护。一 个角色可拥有多个权限
自产 定品 义维 项护 目类
编制维护计划
审核维护计划
编写维护用例
应
用
审核维护用例
类
实施维护用例
发布维护报告
制定数据应用计划
归
审核数据应用计划
档
管
实施数据应用
理
发布数据应用结果
类
项目 周期 管 理
自定义周 期
制定归档计划 审核归档计划 实施归档计划 发布归档报告
活 动
数数 据据 建采 模集
数 据 稽 核
服
ETL引擎
务
及
数据采集
数据清洗
计
算
数据稽核
……
数据世系展示 元数据管理 数据活动管理
用户管理
角色管理
菜单管理
权限管理
系统日志管理
二次开发接口
数据建模
数据采集
数据稽核
数据清洗
工作流引擎 流程设计器 流程解析器
存
储
Oracle DB
设
备
Web服务器
Hadoop HDFS
分布式集群
…
ZQY
© ZQY . All rights reserved.
53
功能架构
Visualizatio n
从技术、组织、流程、制度等角度构建统一数据质量管控平台
应用服务
数据地图 问题管理
全文检索 稽核结果分析
血缘分析 流程工单
关联分析 质量评估考核
变更时间轴 工作流设计器
异常观察 工作流监控器
对外接口 ……
可 视
元数据管理
化
技术元数据
（
功能组件 数据质量配置管理
• 支持对系统操作进行认证和授权， 对安全要求高的系统和业务采用高 安全等级的认证手段。
ZQY
© ZQY . All rights reserved.
59
Thank you for your attention
See you on our next meeting
109
• 权限分为功能权限、数据权 限、业务权限
角色配置 权限管理
• 操作权限管理包括组织结构 管理、权限管理功能
•了解系统出现的异常运行状 态、以及系统产品实例对系 统的使用情况 •帮助操作人员确定异常原因 和异常位置，以便及时纠正 问题
日志管理
系统安全
• 系统提供系统安全运行提供支持， 避免人为或其它因素对系统的破坏
规范化管理 视图化管理 流程化治理 平台化管理
© ZQY . All rights reserved.
51
需求分析
数
据
生
规划
获取
命
周
期
项
目
项 目
生类
命
周
期
项目立项 项目计划 项目监控 风险管理 需求管理 详细设计 实施计划 质量保证
结项管理
加工处理
处理/ 分析
存储
维护应用
维护
应用
归档/ 报废
数 据周期 管 理
军队通用数据质量控制系统
项目背景
数据管理与应用过程中遇到的困难
数据如何规划、如何管理、如何应用?
ZQY
• 各类数据多依赖任务数、据个管人理松与散应放用置中；存在的问题: • 较好的典型管理状态不过为“入库可查询”，格式多样、形式多样、粒度
不一、各自独立，无基本 统一视图，缺少更深管理的依托平台； • 面对具体的数据应用，没有治理手段，无统一规范的治理流程。
规则配置
业务元数据
管理元数据
数据质量执行管理 规则引擎
企业数据集成服务
抽取
转换
数据监控 采集监控
加载
调度
加工监控
任务配置
任务调度
稽核监控
Biblioteka Baidu
地图监控
）
数据基础管理
目录管理
版本管理
流程管理
权限管理
缓存管理
导入导出管理
数据采集与存储
Oracle
DB2
MySql
GreenPlum
……
集中化（Centralisation） 常态化（Routinization） 制度化（Institutionalization）
数 据 清 洗
数 据 过 滤
数 据 导 出
数 据 入 库
数 据 迁 移
数 据 拷 贝
数 据 销 毁
数 据 归 档
数 据 自 定 义
活动
管
理
BONC ETL 其它工具
ZQY
© ZQY . All rights reserved.
52
总体架构
应
数据 治理
用
流程
管理
数据周期定义 项目周期定义 数据活动定义