元数据管理系统设计与实现
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
河北广电网络专栏 ●
NGBLab 实验室技术专栏 ●
运维管理 ●
节目制播 ●
实践应用 ●
行业动态 ●
元数据管理系统设计与实现
潘峰 国家新闻出版广电总局无线电台管理局
摘要：本文介绍了元数据管理系统的项目需求和系统架构，以及对其内部元数据操作、编码管理、血缘关系、 任务网络图、安全监控相关模块的功能设计进行了详细的说明。
模块
元数据操作模块
编码管理模块 业务血缘关系模块
任务网络图模块 数据加载安全监控
表 1 系统功能模块说明
功能说明 （1）可以查询大数据中心底层数据表的相关信息，文件以树状 结构展示 （2）元数据信息分类处理 （3）提供元数据表结构变更、查询、新增、删除等操作 （4）提供元数据备注信息，描述信息的新增修改，包括本数据 的来源信息 对全局统一的编码进行管理： （1）提供相关增、改、删、查操作 （2）提供下发上线和撤回交互 展示业务模块和业务表之间的血缘关系 展示数据流加载流程，并提供数据流加载状态展示 对数据流的加载进行监控，内部提供相关运行日志、错误日志、 执行状态等
3.3 业务血缘关系
业务血缘关系作为元数据项的展 示页面，其可以清晰的看出数据业务 表与业务系统的关系。
如图 5 所示，左侧为全局血缘关 系图，右侧为单一集市血缘归属，在 右侧图中我们可以清晰的了解到运行 监控主题下有台站信息、调度令信息、 节目源信息等 13 张业务表。
3.4 任务网络图及数据安全监控
3.5 数据安全监控
数据安全监控提供三个模块，分 别是任务程序列表、运行状态和运行 记录。通过任务列表我们可以找到平
4 结束语
本文针对我单位实际元数据整理 需求，针对于元数据操作、编码管理、
台上任意一个任务程序，无论其是线 血缘关系、任务网络图以及安全监控
图 2 元数据操作功能架构 图 3 编码管理功能架构
116 《有线电视技术》 2016 年第 2 期 总第 b 实验室技术专栏 ●
运维管理 ●
节目制播 ●
实践应用 ●
行业动态 ●
图 4 编码管理模块流程
图 5 血缘关系 图 7 状态颜色
图 6 任务网络图
图 8 数据安全监控功能框架
任 务 网 络 图 采 用 原 子 爆 炸 样 式， 以雪花型由内向外发散，箭头指向为数 据流方向，箭头指向的任务依赖于源头 任务，源头任务执行失败或者未执行， 其下游任务不会执行，如图 6 所示。
任务执行中有时会有等待调度、等
待执行、执行中、执行完成、任务停止 解到某个任务节点的开始时间、结束 中五中状态，不同的状态下调度节点会 时间、执行结果等信息，其功能框架 显示不同的颜色，颜色对应如图 7 所示。 图如图 8 所示。
何在不投入大批人力物力的基础上， 理清全局信息系统数据源、目标定义、 转换规则等关键数据，实现对记录存 储位置、历史数据、资源查找、文件 记录等数据属性的有效管理是我们面 临的巨大挑战。
2 项目需求和系统架构设计
2.1 项目需求
（4）全局统一编码修改、编码下 发模块；
（5）数 据 加 载 流 程 的 任 务 网 络 图；
3.2 编码管理
编码管理模块是针对于全局统一 编码管理的功能模块，其内部分为编 码修改和规范编码两部分，功能架构 图如图 3 所示。
编码管理模块所有有关的编码变 更修改都在编码修改功能模块下进行。 一旦编码下发后，则不能对编码进行 任何修改。如果想进行相关修改，可 以触发撤销功能，编码会自动从规范 编码模块返回到编码修改模块，用户 可根据自身的业务场景进行修改，然 后下发编码，具体操作流程如图 4 所示。
图 1 系统架构图
115
技术前沿 ●
广电网络 ●
数字电视 ●
广达新网专栏 ●
东方有线专栏 ●
歌华有线专栏 ●
●
映到系统中，把最新的编码和主题数 据完成更新并供其他系统使用。
3 系统功能模块设计
元数据管理系统主要分为五大模 块，其分别是：元数据操作模块、编 码管理模块、业务血缘关系模块、任 务网络图、数据加载安全监控模块， 具体信息如表 1 所示。
的对应关系及转换规则都要存储在元
数据管理系统中。另一方面，在数据集
市建设中，当建设主题数量增多时很容
易形成数据“蜘蛛网”现象，而元数据
管理是解决“蜘蛛网”的关键。
目前，很多建设大数据管理平台
的单位面临着当前多个应用系统都产
生业务数据和分析数据，其接入数据
中心后出现大批数据歧义、表关系歧
义、主题歧义现象等问题。因此，如
（6）数据加载的安全监控； （7）可视化方式提供元数据分析 展现数据清晰流程，业务血缘关系。
2.2 系统架构设计
如图 1 所示，元数据管理系统通
元数据管理是数据管理与数据分
（1）元数据项的创建、更新、删 过统一的元数据管理 API 和数据中心
析的基础。理清数据分析中数据的来源 除、查询；
交互，保证元数据和数据的正常更新，
关键词：元数据 编码管理 树状结构 任务网络 分类管理
1 概述
随着数据中心、大数据管理平台 的构建，其会涉及到多个网端业务数 据以及多个业务系统的数据接入。数 据中心的数据库表数量、数据量都非 常庞大，而其表之间的关系更是错综 复杂。很多单位由于前期字段定义模 糊、字段关系不清晰，致使数据大规 模紊乱，全局共享和使用非常困难。
与去向关系，对于数据分析非常重要。
（2）元数据树状结构管理；
数据中心的数据处理任务能正常运行，
元数据管理是进行数据集成所必需的，
（3）元数据分类、元数据模糊搜 并在数据结构、编码、数据来源发生
一方面，数据集成时从各个数据源中抽 索；
变化时，能够将变化的元数据及时反
取的数据要按照一定的模式存入数据
集市中，这些数据源与数据集市中数据
3.1 元数据操作模块
元数据操作模块采用触发交互的 方式，局中心大数据接入各个系统的
实 践 数据表，按照接入系统进行主题区分， 应 系统提供树状目录结构管理功能，用 用 户可以根据自己的业务创建文件对相
应数据表进行管理，也可以根据本身 业务需要创建业务表，以及对业务表 进行删除、修改操作。
针对于数据表，用户可以点击触 发查看其内部元数据信息，通过元数 据信心用户可以清晰地了解到此张数 据表的系统来源、字段来源、字段含 义等信息，并可以根据自身业务场景 对相关业务字段信息进行修改。
NGBLab 实验室技术专栏 ●
运维管理 ●
节目制播 ●
实践应用 ●
行业动态 ●
元数据管理系统设计与实现
潘峰 国家新闻出版广电总局无线电台管理局
摘要：本文介绍了元数据管理系统的项目需求和系统架构，以及对其内部元数据操作、编码管理、血缘关系、 任务网络图、安全监控相关模块的功能设计进行了详细的说明。
模块
元数据操作模块
编码管理模块 业务血缘关系模块
任务网络图模块 数据加载安全监控
表 1 系统功能模块说明
功能说明 （1）可以查询大数据中心底层数据表的相关信息，文件以树状 结构展示 （2）元数据信息分类处理 （3）提供元数据表结构变更、查询、新增、删除等操作 （4）提供元数据备注信息，描述信息的新增修改，包括本数据 的来源信息 对全局统一的编码进行管理： （1）提供相关增、改、删、查操作 （2）提供下发上线和撤回交互 展示业务模块和业务表之间的血缘关系 展示数据流加载流程，并提供数据流加载状态展示 对数据流的加载进行监控，内部提供相关运行日志、错误日志、 执行状态等
3.3 业务血缘关系
业务血缘关系作为元数据项的展 示页面，其可以清晰的看出数据业务 表与业务系统的关系。
如图 5 所示，左侧为全局血缘关 系图，右侧为单一集市血缘归属，在 右侧图中我们可以清晰的了解到运行 监控主题下有台站信息、调度令信息、 节目源信息等 13 张业务表。
3.4 任务网络图及数据安全监控
3.5 数据安全监控
数据安全监控提供三个模块，分 别是任务程序列表、运行状态和运行 记录。通过任务列表我们可以找到平
4 结束语
本文针对我单位实际元数据整理 需求，针对于元数据操作、编码管理、
台上任意一个任务程序，无论其是线 血缘关系、任务网络图以及安全监控
图 2 元数据操作功能架构 图 3 编码管理功能架构
116 《有线电视技术》 2016 年第 2 期 总第 b 实验室技术专栏 ●
运维管理 ●
节目制播 ●
实践应用 ●
行业动态 ●
图 4 编码管理模块流程
图 5 血缘关系 图 7 状态颜色
图 6 任务网络图
图 8 数据安全监控功能框架
任 务 网 络 图 采 用 原 子 爆 炸 样 式， 以雪花型由内向外发散，箭头指向为数 据流方向，箭头指向的任务依赖于源头 任务，源头任务执行失败或者未执行， 其下游任务不会执行，如图 6 所示。
任务执行中有时会有等待调度、等
待执行、执行中、执行完成、任务停止 解到某个任务节点的开始时间、结束 中五中状态，不同的状态下调度节点会 时间、执行结果等信息，其功能框架 显示不同的颜色，颜色对应如图 7 所示。 图如图 8 所示。
何在不投入大批人力物力的基础上， 理清全局信息系统数据源、目标定义、 转换规则等关键数据，实现对记录存 储位置、历史数据、资源查找、文件 记录等数据属性的有效管理是我们面 临的巨大挑战。
2 项目需求和系统架构设计
2.1 项目需求
（4）全局统一编码修改、编码下 发模块；
（5）数 据 加 载 流 程 的 任 务 网 络 图；
3.2 编码管理
编码管理模块是针对于全局统一 编码管理的功能模块，其内部分为编 码修改和规范编码两部分，功能架构 图如图 3 所示。
编码管理模块所有有关的编码变 更修改都在编码修改功能模块下进行。 一旦编码下发后，则不能对编码进行 任何修改。如果想进行相关修改，可 以触发撤销功能，编码会自动从规范 编码模块返回到编码修改模块，用户 可根据自身的业务场景进行修改，然 后下发编码，具体操作流程如图 4 所示。
图 1 系统架构图
115
技术前沿 ●
广电网络 ●
数字电视 ●
广达新网专栏 ●
东方有线专栏 ●
歌华有线专栏 ●
●
映到系统中，把最新的编码和主题数 据完成更新并供其他系统使用。
3 系统功能模块设计
元数据管理系统主要分为五大模 块，其分别是：元数据操作模块、编 码管理模块、业务血缘关系模块、任 务网络图、数据加载安全监控模块， 具体信息如表 1 所示。
的对应关系及转换规则都要存储在元
数据管理系统中。另一方面，在数据集
市建设中，当建设主题数量增多时很容
易形成数据“蜘蛛网”现象，而元数据
管理是解决“蜘蛛网”的关键。
目前，很多建设大数据管理平台
的单位面临着当前多个应用系统都产
生业务数据和分析数据，其接入数据
中心后出现大批数据歧义、表关系歧
义、主题歧义现象等问题。因此，如
（6）数据加载的安全监控； （7）可视化方式提供元数据分析 展现数据清晰流程，业务血缘关系。
2.2 系统架构设计
如图 1 所示，元数据管理系统通
元数据管理是数据管理与数据分
（1）元数据项的创建、更新、删 过统一的元数据管理 API 和数据中心
析的基础。理清数据分析中数据的来源 除、查询；
交互，保证元数据和数据的正常更新，
关键词：元数据 编码管理 树状结构 任务网络 分类管理
1 概述
随着数据中心、大数据管理平台 的构建，其会涉及到多个网端业务数 据以及多个业务系统的数据接入。数 据中心的数据库表数量、数据量都非 常庞大，而其表之间的关系更是错综 复杂。很多单位由于前期字段定义模 糊、字段关系不清晰，致使数据大规 模紊乱，全局共享和使用非常困难。
与去向关系，对于数据分析非常重要。
（2）元数据树状结构管理；
数据中心的数据处理任务能正常运行，
元数据管理是进行数据集成所必需的，
（3）元数据分类、元数据模糊搜 并在数据结构、编码、数据来源发生
一方面，数据集成时从各个数据源中抽 索；
变化时，能够将变化的元数据及时反
取的数据要按照一定的模式存入数据
集市中，这些数据源与数据集市中数据
3.1 元数据操作模块
元数据操作模块采用触发交互的 方式，局中心大数据接入各个系统的
实 践 数据表，按照接入系统进行主题区分， 应 系统提供树状目录结构管理功能，用 用 户可以根据自己的业务创建文件对相
应数据表进行管理，也可以根据本身 业务需要创建业务表，以及对业务表 进行删除、修改操作。
针对于数据表，用户可以点击触 发查看其内部元数据信息，通过元数 据信心用户可以清晰地了解到此张数 据表的系统来源、字段来源、字段含 义等信息，并可以根据自身业务场景 对相关业务字段信息进行修改。