元数据管理与数据质量监控
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理-SQL脚本元数据
• 基本操作
– 编辑 – 删除
• 工作桌面支持
– 用UltraEdit 打开脚本文件和日志文件
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量监控-SQL脚本监控
• 告警条件
错误关键字、过滤关键字
• 超时设置
超时时长
• 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据的类型
五大类元数据
管理型
Server Application ftp telnet „„
业务
指标 维度 纬表 字典基本表 字典数据表
操作型
ETL 报表 数据接口 接口文件
数据库
VSS文档
数据库 表 视图物化视图 存储过程 字段 „„
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理-数据字典
• 基本操作
– 浏览 – 增加 – 编辑 – 删除
Beijing Stats Data Mining Co. Ltd.
表空间监控结果
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量监控-表监控
• 表选择 • 任务调度
Beijing Stats Data Mining Co. Ltd.
数据质量监控-表空间监控
• 功能描述
监控数据库表空间使用量是否超过指定的限额或百分比。
• 作用
提前获得表空间不足的信息，以便及时处理，防止由于空 间不足引起的异常发生。
• 告警条件
– 可用空间小于N兆 – 使用率超过M% – 告警责任人
• 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
血统分析
• 功能描述：通过对元数据关系的回溯，以图形方式展现指定元数据 的数据血统和加工过程。 • 作用：通过该功能，业务人员可以清楚的了解指标等关键数据的来 龙去脉。
探测出检查对象的数据模式，方便做数据分析，并能根据探出的数 据模式自动生成数据规则表达式，产生数据校验规则。
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
任务调度中心
任务中心
• • • • 浏览任务 暂停任务 重启任务 删除任务
wenku.baidu.com日志中心
• 结果信息 • 调度日志 • 调度成功 • 调度失败 • 正在运行
Beijing Stats Data Mining Co. Ltd.
数据质量监控-数据剖析
• 数据集维护
– 规则维护
• • • • • 标准探测 模式探测 分布探测 日期探测 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
• 功能描述
监控某个生产流程环节，查看该环节的质量指标是否符合 要求。
• 作用
保证数据在生产过程的某个生产环节的正确性和一致性。
• 规则维护
• 定义SQL • 告警条件 • 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
系统管理
• 元数据添加、变化日志、类别、属性、属性类别的维护 • 权限管理：用户及其权限管理
工作区
• 个人文件夹：存储个人关注的对象 • 公共文件夹：存储公共对象，达到资源共享
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理-业务元数据
• 增加步骤
– 添加对象类别，例如：“统计周期” – 添加对象属性类别，例如：“字符型” – 添加对象属性，例如：“描述” – 新增一个具体的元数据，例如：“月”
数据库
管理 业务 数据字典 报表 脚本
质量点监控
数据剖析 数据检查 数据对比 数据指标 数据库监控 表监控 表空间监控 SQL脚本监控
质量点监控
数据剖析 数据检查 数据对比 数据指标 表空间监控 SQL脚本监控
任务中心
日志中心
元数据维护
权限管理
个人文件夹
公共文件夹
Beijing Stats Data Mining Co. Ltd.
完备性
数据 质量
重复性
合规性
哪些数据是以非 标准格式存储的？
关键数据是否及 时传送到目标应 用？
及时性
一致性
哪些数据记录时 重复的记录？
哪些数据值提供 了冲突信息？
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理
• 对各种元数据实施统一管理 包括增、删、改、查、预览等操作。
数据质量监控
• 基于元数据做各种分析和监控 数据：质量点监控、数据剖析，数据检查等 数据库：表空间监控、数据库监控、表监控 ETL：SQL脚本监控
结果管理
• 展示数据质量管理中各种监控和分析的行结果
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
任务调度管理
• 展示各类监控或任务状态，可停止、暂停、重启监控和任务 • 展示各种监控或任务执行的日志、结果信息
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理
1.数据库元数据 2.管理型元数据 3.业务元数据 4.数据字典元数据 5.脚本元数据
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量监控-数据指标
• 数据集维护
– 规则维护
• • • • 统计周期 度量设定 告警条件 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
• 表
– – – – – – 存在性实时查询 字段备注查询 字段备注保存 表数据预览 影响分析 血统分析
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
影响分析
• 功能描述：通过分析元数据之间的关系，以图形 方式直观展现指定实体对全局的影响，如某数据 库表的变更将影响到哪些ETL、数据库表等。 • 作用：通过影响分析，技术人员可掌握各程序、 数据之间的关系和相互影响，更好确定系统变更 所涉及的范围，避免遗漏和误操作，从而降低维 护人员的工作量和出错的机率。
• 工作桌面支持
– 自动登录netterm – 自动登录plsql
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
Beijing Stats Data Mining Co. Ltd.
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理-数据库元数据
• 基本操作
– 增、删、改、查 – 加入到“个人文件夹” – 加入到“公共文件夹”
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量六大评估标准
准确性
那些数据根本 就不存在？
哪些数据不能正确 描述对象的属性或 已经过期？
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理-管理型元数据
• 基本操作
– 编辑、删除 – 加入到“个人文件夹” – 加入到“公共文件夹”
元数据管理 & 数据质量监控
北京瑞斯泰得数据技术开发有限公司
项目背景
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
功能概览
元数据管理与数据质量监控平台 元数据管理 数据质量监控 结果管理 任务调度管理 系统管理 工作区
数据质量监控
质量点监控
数据剖析
数据指标
表空间监控
表监控
SQL脚本监控
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量监控-质量点监控
元数据管理-SQL脚本元数据
• 基本操作
– 编辑 – 删除
• 工作桌面支持
– 用UltraEdit 打开脚本文件和日志文件
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量监控-SQL脚本监控
• 告警条件
错误关键字、过滤关键字
• 超时设置
超时时长
• 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据的类型
五大类元数据
管理型
Server Application ftp telnet „„
业务
指标 维度 纬表 字典基本表 字典数据表
操作型
ETL 报表 数据接口 接口文件
数据库
VSS文档
数据库 表 视图物化视图 存储过程 字段 „„
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理-数据字典
• 基本操作
– 浏览 – 增加 – 编辑 – 删除
Beijing Stats Data Mining Co. Ltd.
表空间监控结果
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量监控-表监控
• 表选择 • 任务调度
Beijing Stats Data Mining Co. Ltd.
数据质量监控-表空间监控
• 功能描述
监控数据库表空间使用量是否超过指定的限额或百分比。
• 作用
提前获得表空间不足的信息，以便及时处理，防止由于空 间不足引起的异常发生。
• 告警条件
– 可用空间小于N兆 – 使用率超过M% – 告警责任人
• 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
血统分析
• 功能描述：通过对元数据关系的回溯，以图形方式展现指定元数据 的数据血统和加工过程。 • 作用：通过该功能，业务人员可以清楚的了解指标等关键数据的来 龙去脉。
探测出检查对象的数据模式，方便做数据分析，并能根据探出的数 据模式自动生成数据规则表达式，产生数据校验规则。
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
任务调度中心
任务中心
• • • • 浏览任务 暂停任务 重启任务 删除任务
wenku.baidu.com日志中心
• 结果信息 • 调度日志 • 调度成功 • 调度失败 • 正在运行
Beijing Stats Data Mining Co. Ltd.
数据质量监控-数据剖析
• 数据集维护
– 规则维护
• • • • • 标准探测 模式探测 分布探测 日期探测 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
• 功能描述
监控某个生产流程环节，查看该环节的质量指标是否符合 要求。
• 作用
保证数据在生产过程的某个生产环节的正确性和一致性。
• 规则维护
• 定义SQL • 告警条件 • 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
系统管理
• 元数据添加、变化日志、类别、属性、属性类别的维护 • 权限管理：用户及其权限管理
工作区
• 个人文件夹：存储个人关注的对象 • 公共文件夹：存储公共对象，达到资源共享
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理-业务元数据
• 增加步骤
– 添加对象类别，例如：“统计周期” – 添加对象属性类别，例如：“字符型” – 添加对象属性，例如：“描述” – 新增一个具体的元数据，例如：“月”
数据库
管理 业务 数据字典 报表 脚本
质量点监控
数据剖析 数据检查 数据对比 数据指标 数据库监控 表监控 表空间监控 SQL脚本监控
质量点监控
数据剖析 数据检查 数据对比 数据指标 表空间监控 SQL脚本监控
任务中心
日志中心
元数据维护
权限管理
个人文件夹
公共文件夹
Beijing Stats Data Mining Co. Ltd.
完备性
数据 质量
重复性
合规性
哪些数据是以非 标准格式存储的？
关键数据是否及 时传送到目标应 用？
及时性
一致性
哪些数据记录时 重复的记录？
哪些数据值提供 了冲突信息？
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理
• 对各种元数据实施统一管理 包括增、删、改、查、预览等操作。
数据质量监控
• 基于元数据做各种分析和监控 数据：质量点监控、数据剖析，数据检查等 数据库：表空间监控、数据库监控、表监控 ETL：SQL脚本监控
结果管理
• 展示数据质量管理中各种监控和分析的行结果
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
任务调度管理
• 展示各类监控或任务状态，可停止、暂停、重启监控和任务 • 展示各种监控或任务执行的日志、结果信息
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理
1.数据库元数据 2.管理型元数据 3.业务元数据 4.数据字典元数据 5.脚本元数据
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量监控-数据指标
• 数据集维护
– 规则维护
• • • • 统计周期 度量设定 告警条件 任务调度
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
• 表
– – – – – – 存在性实时查询 字段备注查询 字段备注保存 表数据预览 影响分析 血统分析
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
影响分析
• 功能描述：通过分析元数据之间的关系，以图形 方式直观展现指定实体对全局的影响，如某数据 库表的变更将影响到哪些ETL、数据库表等。 • 作用：通过影响分析，技术人员可掌握各程序、 数据之间的关系和相互影响，更好确定系统变更 所涉及的范围，避免遗漏和误操作，从而降低维 护人员的工作量和出错的机率。
• 工作桌面支持
– 自动登录netterm – 自动登录plsql
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
Beijing Stats Data Mining Co. Ltd.
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理-数据库元数据
• 基本操作
– 增、删、改、查 – 加入到“个人文件夹” – 加入到“公共文件夹”
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量六大评估标准
准确性
那些数据根本 就不存在？
哪些数据不能正确 描述对象的属性或 已经过期？
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
元数据管理-管理型元数据
• 基本操作
– 编辑、删除 – 加入到“个人文件夹” – 加入到“公共文件夹”
元数据管理 & 数据质量监控
北京瑞斯泰得数据技术开发有限公司
项目背景
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
功能概览
元数据管理与数据质量监控平台 元数据管理 数据质量监控 结果管理 任务调度管理 系统管理 工作区
数据质量监控
质量点监控
数据剖析
数据指标
表空间监控
表监控
SQL脚本监控
Beijing Stats Data Mining Co. Ltd.
■Beijing (8610)51722052 ■ Shanghai (8621)53060345 ■Guangzhou (8620)38240385
数据质量监控-质量点监控