NGBASS30规范培训-技术规范-元数据管理分册-张韬

? 经营分析系统的发展对提出元数 据管理模块提出新的要求，需要增 强元模型管理、元数据获取能力和 对外服务能基础能力，以更好支持 经分建设和应用。
修订目标和思路
修订目标
? 建立经营分析系统核心元模型，规范数据处理过程的结构化描述 ? 实现两级经营分析系统元数据互通，促进重点接口数据处理过程规范化 ? 为经营分析系统基础技术模块提供支撑，扩充元数据服务接口 ? 服务经营分析系统数据质量管理子系统，为源系统联动机制提供基础支撑
二期建设：SQL脚本解析
日志规范要求细化
运行日志的输出形式： ?日志文件 ?日志表
日志内容中要求包含： ?提交到数据库执行的SQL脚 本 ?创建数据库链接的相关参数 ?文件导入导出操作
不要求包含游标操作信息
二期建设：SQL脚本解析
脚本程序描述和 SQL片段描述
数据转换处理单元描述
?脚本程序： TransformationTask ?SQL片段： TransformationMap
目录
1 本期规范修订目的 2 元数据管理体系架构 3 本期规范新增与主要修订内容 4 附件说明
元数据管理模块在经营分析系统中的定位
本期修订内容
本期 新增内容
? 经营分析系统核心元模型 ? 两级经分元数据互通 ? 维表库管理 ? 接口管理 ? 数据地图展现 ? 数据封装元数据 ? 客户隐私信息元数据
关系代数操作及其明细的描述
?SELECT / COMBINATION / INSERTALL / MERGE / RENAME ?投影操作/交并差操作/改名操作
?CREATE_SELECT句型 ?INSERT_SELECT句型 ?INSERT_ALL句型 ?UPDATE_SELECT句型 ?MERGE句型 ?RENAME句型
修订思路
? 以CWM 为基础面向经营分析系统建设和管理需要进行元模型细化和扩展， 针对关键元数据对象建立核心元模型，实现两级元数据互通 ? 增强SQL脚本解析，提升数据处理逻辑过程的展现能力 ? 建立维表库管理、接口管理机制，支撑数据质量的源系统协同机制 ? 提供数据封装和数据地图访问服务接口，增强元数据对外服务能力
?简单Select子句 ?复杂Select子句
?投影操作中嵌套SELECT子句 ?FROM子句中嵌套SELECT子句 ?交并差操作
二期建设：SQL脚本解析
SQL 脚本上下文信息处理
要求能够处理如下上下文相关类型：
?改变数据库连接 ?临时表的处理 ?命名空间的处理 ?SQL脚本循环执行
多路径和信息丢失问题处理
派生
新增：数据封装元数据
? 数据封装元数据主要包括数据封装服务开发生成的逻辑模型，以及逻辑模型与数据仓库 集市物理模型的映射关系。
? 数据封装元数据包括四类：逻辑模型实体、逻辑模型字段、映射关系组、映射关系
/数据
逻辑模型实体元模型 映射关系元模型
?逻辑对象名称 ?逻辑对象描述
逻辑模型字段元模型
?字段名称 ?字段描述 ?字段类型 ?字段长度 ?是否为 PK ?是否关联字段
?经过NG1-BASS2.0元数据管理模 块的建设，各省在元数据管理和应 用方面积累了一些具有推广价值的 经验，同时也发现了一些存在问题
? 一级经营分析系统数据质量依赖于 省级经营分析系统上传的接口数据质量， 需要加强两级经营分析系统的数据理解 一致性和重点接口的数据处理过程规范 性；
修订背景
? 为提升经分系统数据质量，需 要建立经分与数据源系统的协同 管理机制；
?关系组标识 ?关系标识 ?源对象 ?目标对象 ?关系类型 ?是否主关联
新增：经营分析系统核心元模型
? CWM作为数据仓库领域的元模型标准，在元数据的集中管理、元数据互操作和元数据交换方 面发挥重要作用。但是 CWM 作为一个国际性、厂商无关、平台无关的规范，本身只提供一个 公共的元模型框架，将数据仓库领域的公共特性纳入元模型中，而不追求对物理实现的精确 定义。
? 经营分析系统核心元模型以 CWM 元模型为基础扩展而成，是面向两级经营分析系统元数据互 通的实际需要对关键元数据对象进行精确定义的元模型规范。
问题自动处理能力： ?将脚本多次运行日志自动合并 ?对导入导出命令自动解析 ?export/import/unload/load
辅助人工处理能力： ?游标处理，可提供告警功能 ?手工补充相关的元数据。
3.2 元数据存储层
? 元数据存储新增内容包括： ? 经营分析系统核心元模型 ? 数据封装元数据
? 增强内容包括： ? 维度元数据的存储：对维度元数据的属性要求进行细化，支撑维表库管理应用 ? 数据源接口元数据的存储：对接口元数据的属性要求进行细化，支撑接口管理应用
中国移动省级NG2-BASS3.0 规范培训 --元数据管理分册
2020年3月10日星期二
目录
1 本期规范修订目的 2 元数据管理体系架构 3 本期规范新增与主要修订内容 4 附件说明
修订背景
实现两级经分元数据信息互通，保障一、二经指标口径一致，使各省上报重点 一经接口的真实汇总过程透明化，在发生数据质量问题时两级系统有共同的沟 通平台，并防范部分省公司干扰指标真实性。
本期 修改 内容
? 元数据变更管理 ? 数据源接口元数据 ? 维度数据 ? 辅助安全管理
二期建设 内容
? 元数据服务接口（二期） ? SQL脚本自动解析（二期）
目录
1 本期规范修订目的 2 元数据管理体系架构 3 本期规范新增与主要修订内容 4 附件说明
3.1 元数据获取层
? 元数据获取新增 SQL解析二期内容建设 在原有 SQL脚本自动解析一期建设基础上，规范数据处理元数据的结构化描述、细化描述粒 度、丰富解析效果展现层次，对 SQL解析中的关键问题提出处理方法要求： ? 数据处理过程元数据的生成 ? SQL脚本对象结构化描述 ? 以ClassifierMap 对象描述 SQL脚本的数据转换处理逻辑 ? 以RelationalOperator 对象描述 SELECT 子句的关系代数操作 ? 以FeatureMap 对象细化描述 SQL脚本的关系操作 ? 数据处理过程日志规范要求 ? SQL脚本的上下文关系处理要求 ? 多路径问题和信息丢失问题处理要求