广西统一采集平台培训文档

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

广西统一采集平台培训文档

1 业务目标

本期平台业务建设目标如下:

1. 统一共享:

一次采集,多处使用;

实现灵活,精准的数据订阅;

实现高效,及时的数据分发;

实现安全可靠的数据共享;

统一北向接口协议(数据模型);

被管理能力:数据状态查询,指标算法查询,北向接口共享日志查询。

2. 统一管理:

集中统一的配置管理及采集策略;

直观可控的自管理(系统健康管理、任务调度管理);

透明可追踪的数据质量管理。

3. 统一适配:

按照统一的协议和方式接入不同的适配器,实现各专业各类数据的统一采集;

适配器遵循统一的规范。

之间通过标准接口进行交互,能更好地实现系统的可扩展性。统一采集平台功能

数据处理层接收采集任务,主动调用相应采集适配器从设备侧获取数据,对数据进行解析、归一化,并根据需要进行KPI指标计算。原始数据、归一化数据、KPI指标均可以推送到数据共享层,可以文件、数据库、消息等方式进行传送和保存。可以有选择地提供告警数据过滤能力。支持采集适配器的灵活扩展以支持不同设备的数据接入。

3. 采集调度

接收订阅策略,根据策略和当前时间实例化成采集任务,根据各采集节点的运行环境和资源空闲情况进行判断,能够选择合适的采集节点,并把任务下发;能够接收采集节点反馈的任务执行情况,并监控各采集节点运行状态;根据任务的采集结果分析数据是否完整,能够根据设定的策略触发数据的补采。

4. 数据共享

接收外部系统发送的数据订阅请求,根据设定的数据订阅权限判断该订阅请求是否合理并作出响应。

数据准备好后,给订阅该数据的外部系统发送通知消息以及数据的访问方法,外部系统主动获取数据,对同一份数据的不同订阅者分别发送通知。

5. 系统自身管理

包括对统一采集平台自身的管理,把适配器注册到平台中,设置访问设备的信息,对统一采集平台中任务执行情况、数据共享情况的监控,设定各外部应用系统对数据订阅的权限,支持通过统一采集平台直接完成外部系统对数据的订阅。

6. 管理接口

统一采集平台对外提供可管理性,包括:通过指标算法双向交换接口实现业务逻辑的可装载和可管控,通过数据质量报告接口实现数据质量状态的可管控,通过自身告警转发接口实现自身工作状态的可管控,通过实现到安全管理平台的接口,实现采集安全策略的可管控。

2.3 运行环境

1、网络拓扑

2、服务器硬件配置

3、支持软件JDK1.6

dc_perl

informix客户端

mq客户端

3 软件部署

3.1 核心管理服务器

目前核心管理服务器主要运行了以下程序模块:

GcpServerCore:核心控制程序,负责对整个采集流程的监控,其它所有模块都要与其通信,为整个系统的大脑

hsqldb:数据库模块,上层各项配置存储在改数据库中,包括用户信息、适配器信息、采集单元信息、采集策略等等

web_server:上层web模块

GNDP:话务北向入库模块,从GcpServerCore接受消息,完成话务数据入库TMnorthAdapter:传输北向接口,传输app与核心控制程序的通信通道,负责消息的传送以及采集策略转换等

pcm_loader_v5.pl:处理话务有性能无资源的网元信息,与三期采集的pcm_loader.pl对应,新增了实时消息上报功能

pub2cm:资源采集模块,与三期完全一致,程序及相关配置来源于三期采集系统

GcpMonitor:系统自身监控模块,与GcpTool配合使用

GcpTool:负责系统监控,该功能与GcpMonitor配合使用;负责日志清理、系统备份

ShellAgent:代理模块,负责外部模块调用,解决java外部调用问题,如话务入库执行dbaccess、perl解析程序调用

AlarmSender:告警转发模块,将告警转发至告警监控系统

3.2 采集服务器

采集机只需部署采集模块及ShellAgent代理:

GcpCollector:采集功能模块,完成数据采集,并生成数据文件,所有专业网管数据采集通用;采集模块集成了一个内存数据库(hsqldb),用于采集过程计算指标,相当于三期采集的dc_mysql

ShellAgent:代理模块,负责外部模块调用,解决java外部调用问题,如话务入库执行dbaccess、perl解析程序调用

3.3 程序目录说明

3.3.1核心平台(GcpServerCore)目录结构

/backup 备份目录

/cfg 配置文件目录

/cmd 各命令目录

/data 包含adaptors,filedata,meta_files,org_meta_files四个文件夹和一个tout.dat文件,syncData 、transformXml_temp 、xmlData、adaptor_temp同步元数据时临时目录

/lib 存放核心平台用到的文件包

/log 日志目录

3.3.2采集机(GcpCollector)目录结构

/cache 临时缓存信息

/cfg 配置文件目录,其中包括tools 、dev这两个文件夹及clean.xml、gcp.cfg.xml,用于配置

/cmd 存放用于执行采集机的各命令

/data 包含share,temp,collectors,filedata,ftpCache,datasource六个文件夹和一个CMDATA.dat文件

/lib 采集机用到的文件包

/log 临时文件日志、采集机日志gcp.log、出错日志error.log

/temp 临时文件夹

相关文档
最新文档