北明数据融合与治理平台V1

北明数据融合与治理平台V1.0

操作手册

项目名称：北明数据融合与治理平台V1.0

承建单位：北明软件有限公司

目录

前言 (3)

关于本手册 (3)

预期读者 (3)

前提和假设 (3)

定义 (4)

系统概述 (5)

系统权限 (5)

2.1.1用户权限 (5)

2.1.2菜单权限 (5)

2.1.3数据权限 (5)

系统登录 (5)

平台操作说明 (7)

数据采集平台操作说明 (7)

3.1.1数据源管理 (7)

3.1.2结构化数据采集工具 (10)

3.1.3大数据采集工具 (22)

3.1.4爬虫数据采集工具 (29)

3.1.5数据采集自动化服务工具 (37)

数据处理平台操作说明 (39)

3.2.1调度管理 (39)

3.2.2引擎管理 (43)

3.2.3数据清洗转换 (45)

3.2.4数据脱敏处理 (47)

3.2.5服务器管理 (49)

资源目录管理系统操作说明 (51)

3.2.1元数据管理 (51)

3.2.2基础管理 (56)

3.2.3目录管理 (61)

3.2.4资源服务注册 (77)

数据共享交换平台操作说明 (79)

3.3.1交换节点管理 (81)

3.3.2交换任务管理 (87)

3.3.3交换监控 (88)

数据治理平台操作说明 (89)

3.4.1数据标准管理 (89)

3.4.2治理指标管理 (90)

3.4.3数据资产管理 (91)

3.4.4数据治理规则应用 (92)

3.4.5治理调度配置工具 (93)

3.4.6治理分析统计 (94)

3.4.7治理知识管理 (95)

前言

关于本手册

本手册将本系统实施步骤一步步进行详细阐述，由浅入深讲述系统实施时所有注意事项，并对本系统的主要功能及操作方法作以全面介绍，使您在使用过程中遇到问题时，能通过查阅本用户手册而得到轻松解决，深入浅出地了解该系统，并能灵活、有效地应用该系统，提升管理。

本手册主要包括以下内容：

1．系统功能概述和特点；

2．系统运行的软硬件环境

3．如何使用本系统页面中的各个功能；

4．如何对本系统进行设置；

5．常见问题及处理；

6．本系统的操作流程讲解。

还要提醒您注意的是，本手册中的页面图片只是列举的实例，可能与您在实际操作时略有不同，但并无大碍，相信您能够灵活地应用本系统解决实际问题。

预期读者

本手册的主要对象是具体的实施操作人员，为他们提供实施操作方面的指引，帮助实施人员熟练操作本系统的各项功能，来完成日常的业务工作。本手册以新办业务作为实例，讲解了系统的通用的操作流程和方式，其它业务与新办业务的操作方式基本一致，可以参照操作。

前提和假设

假设您具有基本的计算机操作经验和知识，并假设您对本系统涉及的业务领域有整体的了解。如果您没有使用过本系统，我们建议您接受一次或者更多的本系统的培训课程。

定义无

系统概述

系统权限

2.1.1 用户权限

在部门下创建用户名，由统一权限系统控制，不同部门的用户可以分配不同的权限。2.1.2 菜单权限

系统的菜单权限由统一权限系统控制，不同权限用户登录该系统展示不用的菜单列表。

2.1.3 数据权限

本次所有功能菜单根据是否需要权限控制；

具体数据权限规则：受统一权限控制中心用户的关联部门相关

系统登录

1. 在浏览器的地址栏中输入：http://h:p/portal，进入单点登陆系统，统一身份认证管

理系统的如下登录页面：

2. 输入用户账号与密码和验证码，点击【登录】按钮，进入系统的如下主界面（不

同的用户登录根据不同的权限设置，显示的菜单会不同）：

平台操作说明

数据采集平台操作说明

数据采集是针对不同的数据源，配置发布不同的数据采集任务。

3.1.1 数据源管理

该模块对各种数据库进行统一管理储存，包括关系型数据库和非关系型数据库，提供查看、新建、编辑、删除和库表管理功能。

1．界面按钮

1）新增：新增数据库配置信息，ip地址和所属部门是完成前两步之后得来的。

如果数据库类型选择的是phoenix，则需要选择是否通过安全认证

选择了安全认证填写其他配置信息和上传认证文件。

2）编辑数据库配置信息

3）库表管理

①查看表字段

4）查看

将数据库名作为超链接可查看数据库连接基本信息

5）查询

查询条件：所属部门、数据库名

模糊查询，可重置

6）删除：删除数据库配置信息

3.1.2 结构化数据采集工具

结构化数据数据采集任务模块可以新建，编辑，删除，发布，监视一个采集任务。配置结构化数据数据采集任务可以将关数据库数据采集到传统其他关系数据库、文件、以及大数据平台。

1.结构化数据数据采集界面：包括查询条件以及采集任务列表

2.界面按钮：

1）查询：根据所选查询条件查询证照

2）重置：将查询条件均置为默认值

3）新增：会跳出一个数据库采集任务的配置流程，配置流程主要包括：基本属性、采集配置、数据存储/传输、数据加工四个步骤，如下

基本属性：填写服务的基本信息，描述这个服务的作用，选择对应的部署结点。配置交换频率，可选择周期执行、定时执行、手工执行；配置是否启用日志记录；配置是否启用数据质量检查。

这里第一步骤填写完整点击下一步，如果没有弹出报错提示，则数据已经存储到数据库，可以在界面查看、编辑。