广西统一采集平台培训文档

广西统一采集平台培训文档1 业务目标本期平台业务建设目标如下：1. 统一共享：一次采集，多处使用；实现灵活，精准的数据订阅；实现高效，及时的数据分发；实现安全可靠的数据共享；统一北向接口协议(数据模型)；被管理能力：数据状态查询，指标算法查询，北向接口共享日志查询。

2. 统一管理：集中统一的配置管理及采集策略；直观可控的自管理（系统健康管理、任务调度管理）；透明可追踪的数据质量管理。

3. 统一适配：按照统一的协议和方式接入不同的适配器，实现各专业各类数据的统一采集；适配器遵循统一的规范。

之间通过标准接口进行交互，能更好地实现系统的可扩展性。

统一采集平台功能数据处理层接收采集任务，主动调用相应采集适配器从设备侧获取数据，对数据进行解析、归一化，并根据需要进行KPI指标计算。

原始数据、归一化数据、KPI指标均可以推送到数据共享层，可以文件、数据库、消息等方式进行传送和保存。

可以有选择地提供告警数据过滤能力。

支持采集适配器的灵活扩展以支持不同设备的数据接入。

3. 采集调度接收订阅策略，根据策略和当前时间实例化成采集任务，根据各采集节点的运行环境和资源空闲情况进行判断，能够选择合适的采集节点，并把任务下发；能够接收采集节点反馈的任务执行情况，并监控各采集节点运行状态；根据任务的采集结果分析数据是否完整，能够根据设定的策略触发数据的补采。

4. 数据共享接收外部系统发送的数据订阅请求，根据设定的数据订阅权限判断该订阅请求是否合理并作出响应。

数据准备好后，给订阅该数据的外部系统发送通知消息以及数据的访问方法，外部系统主动获取数据，对同一份数据的不同订阅者分别发送通知。

5. 系统自身管理包括对统一采集平台自身的管理，把适配器注册到平台中，设置访问设备的信息，对统一采集平台中任务执行情况、数据共享情况的监控，设定各外部应用系统对数据订阅的权限，支持通过统一采集平台直接完成外部系统对数据的订阅。

6. 管理接口统一采集平台对外提供可管理性，包括：通过指标算法双向交换接口实现业务逻辑的可装载和可管控，通过数据质量报告接口实现数据质量状态的可管控，通过自身告警转发接口实现自身工作状态的可管控，通过实现到安全管理平台的接口，实现采集安全策略的可管控。

2.3 运行环境1、网络拓扑2、服务器硬件配置3、支持软件JDK1.6dc_perlinformix客户端mq客户端3 软件部署3.1 核心管理服务器目前核心管理服务器主要运行了以下程序模块：GcpServerCore：核心控制程序，负责对整个采集流程的监控，其它所有模块都要与其通信，为整个系统的大脑hsqldb：数据库模块，上层各项配置存储在改数据库中，包括用户信息、适配器信息、采集单元信息、采集策略等等web_server：上层web模块GNDP：话务北向入库模块，从GcpServerCore接受消息，完成话务数据入库TMnorthAdapter：传输北向接口，传输app与核心控制程序的通信通道，负责消息的传送以及采集策略转换等pcm_loader_v5.pl：处理话务有性能无资源的网元信息，与三期采集的pcm_loader.pl对应，新增了实时消息上报功能pub2cm：资源采集模块，与三期完全一致，程序及相关配置来源于三期采集系统GcpMonitor：系统自身监控模块，与GcpTool配合使用GcpTool：负责系统监控，该功能与GcpMonitor配合使用；负责日志清理、系统备份ShellAgent：代理模块，负责外部模块调用，解决java外部调用问题，如话务入库执行dbaccess、perl解析程序调用AlarmSender：告警转发模块，将告警转发至告警监控系统3.2 采集服务器采集机只需部署采集模块及ShellAgent代理：GcpCollector：采集功能模块，完成数据采集，并生成数据文件，所有专业网管数据采集通用；采集模块集成了一个内存数据库（hsqldb），用于采集过程计算指标，相当于三期采集的dc_mysqlShellAgent：代理模块，负责外部模块调用，解决java外部调用问题，如话务入库执行dbaccess、perl解析程序调用3.3 程序目录说明3.3.1核心平台(GcpServerCore)目录结构/backup 备份目录/cfg 配置文件目录/cmd 各命令目录/data 包含adaptors,filedata,meta_files,org_meta_files四个文件夹和一个tout.dat文件，syncData 、transformXml_temp 、xmlData、adaptor_temp同步元数据时临时目录/lib 存放核心平台用到的文件包/log 日志目录3.3.2采集机(GcpCollector)目录结构/cache 临时缓存信息/cfg 配置文件目录，其中包括tools 、dev这两个文件夹及clean.xml、gcp.cfg.xml，用于配置/cmd 存放用于执行采集机的各命令/data 包含share,temp,collectors,filedata,ftpCache,datasource六个文件夹和一个CMDATA.dat文件/lib 采集机用到的文件包/log 临时文件日志、采集机日志gcp.log、出错日志error.log/temp 临时文件夹3.3.3采集平台(webserver)目录结构/bin 程序目录/ conf 配置文件目录/ lib java类库/ logs 日志目录/temp 临时文件/ webapps GCP6.1、ROOT 和reports三个文件夹/ work catalina所在的目录Running.txt 运行说明LICENSE、NOTICE、RELEASE-NOTES Tomcat的文件3.3.4Shell代理(ShellAgent)目录结构/bin 程序目录/log 日志/ShellCmd 需要执行的命令/ShellResult 命令执行结果3.3.5 话务北向（GNDP）目录结构/lib java类库/cfg配置文件目录/log日志目录/cmd程序目录/record入库消息目录/data入库数据文件存放目录，其子目录中存在数据文件（csv）、数据文件字段说明（xml）、入库SQL语句（load.sql）、入库SQL执行输出（loadsql.out，可以定位入库情况及报错信息）3.4 程序配置说明各个模块的配置参考附件：GCP-V6.15部署简要说明文档_V1.0.doc4 软件启停说明4.1 系统停止按如下顺序停止：1、停止所有采集机采集进程（采集的采集进程可单独重启）/opt/Gcp/GcpCollector/cmd/stop.sh2、核心服务器停止自身监控程序/opt/Gcp/GcpMonitor/cmd/stop.sh3、核心服务器停止话务北向接口程序/opt/Gcp/GNDP/cmd/stop.sh4、核心服务器停止传输北向接口程序/opt/Gcp/TMnorthAdapter/bin/shutdown.sh执行完脚本之后，”ps –ef|grep TMnorthAdapter”查看进程是否还存在，如存在则直接用kill杀掉5、核心服务器停止pcm_loader进程ps -ef | grep pcm_loader_v5|grep -v grep|awk '{print $2}'|xargs -i kill -9 {}6、核心服务器停止web服务/opt/Gcp/web_server/bin/shutdown.sh执行完脚本之后，”ps –ef|grep web_server”查看进程是否还存在，如存在则直接用kill杀掉7、核心服务器停止核心服务/opt/Gcp/GcpServerCore/cmd/stop.sh8、核心服务器停止hsqldbps -ef|grep hsqldb.server|grep -v grep|awk '{print $2}'|xargs -i kill -9 {}9、执行“ps –ef|grep gcp|grep –v grep”查看是否还有gcp账号的进程，如有的话直接杀掉4.2 系统启动1、核心服务器启动hsqldb/opt/Gcp/hsqldb2.0/bin/start.sh2、核心服务器启动核心服务/opt/Gcp/GcpServerCore/cmd/start.sh3、核心服务器启动话务北向入库接口/opt/Gcp/GNDP/cmd/start.sh4、核心服务器启动传输北向接口/opt/Gcp/TMnorthAdapter/bin/startup.sh5、核心服务器启动pcm_loader进程cd/opt/Gcp/BOCO.DAL/NPM/common/mbin/north_adaptorperl pcm_loader_v5.pl6、采集机启动采集进程/opt/Gcp/GcpCollector/cmd/start.sh7、核心服务器web服务启动/opt/Gcp/web_server/bin/startup.sh5 话务采集完整接入流程一个完整的话务采集接入流程主要包括适配器开发（网元版本一致的可以利用已有的采集适配器）、适配器注册、采集单元配置、数据消费者授权、采集策略配置五个步骤。

5.1 采集适配器开发5.1.1 完整适配器信息目前话务采集接口类型主要有DB(数据库接口)、FILE（文件接口）、MML（指令接口），其中MML多数是由一个定时任务向网元发送指令，将报文存储到文本文件中，然后采集程序获取该报文文件进行解析，例如SSA、STP等，所以对于统一而言MML方式也可以归为文件采集。

数据库接口的适配器应包含如下信息：利用perl解析的文件接口适配器应包含如下信息：利用java解析的文件接口适配器应包含如下信息：。