1后台数据采集流程_乌丹
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
对CPP采集流程的总结
以上内容总结:
后台采集程序(JAVA)通过反射(Reflection) 机制,动态调整采集流程所用到配置文件和代码,实现 使用同一套程序,在不同场景(conf、para、perf、 mr等)下的采集流程。而任务流配置文件和任务配置 文件,就是对该流程的承载。
需要解决的问题
是否可以回答以下问题:
后台数据采集流程
北京市天元网络技术股份有限公司
2013 年 04 月
培训目标
培训目标
基于任务流的CPP采集流程 G-MR的采集流程 W-MR的采集流程 汇总程序的采集流程
需要解决的问题
问题:
什么是后台?
采集的载体是什么? 采集的东西是什么? 采集后有什么用? 采集的流程是什么?
网优平台后台采集相关服务器拓扑图
任务配置文件
配置文件路径/usr2/wrnop/gap/bin/perf/nsn/conf
配置文件的内容
性能采集任务流配置文件的计算 公共表入库
配置文件的内容
采集任务配置文件的内容
对应任务流配置文 件中的cfgFile 对应任务流配置文件 中的cfgId
总结
描述以下流程
基于任务流的CPP采集流程 G-MR的采集流程 W-MR的采集流程 汇总程序的采集流程
课后作业
作业
描述4类采集的采集流程
什么是后台?
采集的载体是什么?
采集的东西是什么? 采集后有什么用? 采集的流程是什么?
G-MR采集流程
获取原始文件,解 析后生成mid文件
把mid文件转换成 raw文件 把raw文件转移到 汇总服务器上
将raw文件解析入 库
W-MR采集流程
获取原始文件,解 析后生成dat文件
将dat文件合并后 通过DLP入到IEE中
将IEE中的原始数 据汇总到汇总表中
汇总程序流程
MSCNET汇总任务流配置文件
配置文件路径: /usr2/wrnop/gap/bin/stat/commonTable/conf/taskFlowEngineForCommonTa bStat.xml
汇总采集流程
忙时汇总配置文件
配置文件路径:/usr2/grnop/gap/bin/stat/busyHour/conf/busyHour.xml
后台采集程序的几种结构
后台采集程序按照流程的不同,主要分为以下几种结构
CONF/PARA/PERF数据采集 G-MR数据采集 W-MR数据采集 汇总采集
CPP采集程序流程
后台采集程序,通过读取任务流配置文件中配置的节点 顺序,调用相应的代码及任务配置文件,完成采集流程
任务流配置文件