数据中间层结构图

数据中间层功能简介

简介

曙光数据中间层分为分析平台、存储平台、监控平台，为所有应用的支撑中心，整个中间层可以实现集群资源调度，分配，以实现计算资源最大化，集群利用最大化。

中间层结构图

分析平台

结构图

分析平台

简介

分析平台内含大量分析任务功能，如常用ETL工具，智能分析工具，可以完成用户对数据常用的各种操作，底层实现方式多样化，可以实现spark内存是计算迭代和mapreduce编程处理。

运行流程

作业包

简介

作业包为各种分析作业的存放目录，包含各种分析功能jar，包括常见的关联作业，去重作业等，以一个个独立项目形式存在，每个项目可以完好的衔接。

结构图

包含作业包

任务解析组件

简介

任务解析组件主要是将用户相关操作映射成树状结构，并将对应的配置生成操作—xml 文件之间的映射。

功能列表

调度中心

简介

调度中心任务为分析平台的核心组件，包括解析组件，驱动组件，对外开放组件，可以分析不同的任务并转换为作业形式，完成各种分析功能。

存储查询平台

结构展示图

存储查询平台

简介

存储平台目的是为了将各种分析后的数据进行统一管理，提供表适配，数据入库，查询等一系列数据管理功能。

表适配

类型

表适配分为hbase表适配，hive表适配

功能图

流程图

查询组件功能图

查询类型

自动化入库

简介

自动化入库用处为：根据目录将新增的用户数据存入对应的hbase表中交互流程

开放接口

功能图

监控平台

结构展示图

监控平台

简介

监控平台主要用于监控作业状况、集群资源、数据资源等，并提供报警服务功能。作业监控

简介

作业监控为监督集群运行的任务，并提供借口给予外部服务调用展示

结构图

功能

数据监控

简介

数据监控包括对数据入数据中心及对数据一系列操作的记录，其中包括部分：

1.数据入库监控（包括入库条数，入库错误比对等）

2.数据入库操作监控（包括数据存储目录，数据权限，数据操作记录）

功能

报警系统

简介

报警系统，主要作为发送平台，包括邮件发送，短信提示等

功能结构图

功能