数据采集方法及系统与制作流程
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
本技术公开了一种数据采集方法及系统，通过采集目标软件的行为数据，调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表将行为数据写入Kafka系统，通过流式计算从Kafka系统中抽取行为数据，并进行储存。本技术在采集新数据类型的行为数据时，将配置预设配置表中行为数据的数据类型相应修改成目标软件的行为数据所属数据类型，并配置好目标软件的行为数据所属数据类型相对应的Topic类及数据存储路径的对应关系，即可实现对目标软件的行为数据的采集，不再需要开发数据接口和修改程序代码，大幅缩短数据采集周期。
权利要求书
1.一种数据采集方法，其特征在于，包括：
采集目标软件的行为数据；
调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；
根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储
存。
2.根据权利要求1所述的数据采集方法，其特征在于，所述采集目标软件的行为数据，包括：
通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。
3.根据权利要求1所述的数据采集方法，其特征在于，所述预设配置表的建立过程，包括：
根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；
根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。
4.根据权利要求2所述的数据采集方法，其特征在于，所述根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统，包括：
调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。
5.根据权利要求1所述的数据采集方法，其特征在于，所述根据所述预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，包括：
根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。
6.一种数据采集系统，其特征在于，包括：
采集单元，用于采集目标软件的行为数据；
写入单元，用于调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；
抽取单元，用于根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic 类的行为数据进行储存。
7.根据权利要求6所述的数据采集系统，其特征在于，所述采集单元，用于通过软件开发工具包SDK采集目标软件的行为数据，并将所述目标软件的行为数据转换为JSON报文的格式。
8.根据权利要求6所述的数据采集系统，其特征在于，还包括：
设置单元，用于根据行为数据的数据类型进行分类，在Kafka系统中为每一种数据类型设置一个Topic类，以及设置每一种类型的行为数据的数据存储路径；
建立单元，用于根据相对应的行为数据的数据类型、Topic类和数据存储路径建立所述预设配置表。
9.根据权利要求7所述的数据采集系统，其特征在于，所述写入单元，用于调用J2SE服务将所述JSON报文拆分成至少一条行为数据，并根据所述预设配置表中行为数据的数据类型与Topic类的对应关系将拆分出的行为数据逐条写入所述Kafka系统，并将拆分出的行为数据逐条与所述Kafka系统的Topic类对应。
10.根据权利要求6所述的数据采集系统，其特征在于，所述抽取单元，用于根据所述预设配置表中Topic类和数据存储路径的对应关系，通过流式计算从Kafka系统以固定时间间隔抽取
属于同一Topic类的行为数据，并根据所述数据存储路径进行储存。
技术说明书
数据采集方法及系统
技术领域
本技术涉及数据处理技术领域，具体为一种数据采集方法及系统。
背景技术
通过大数据来指导运营策略、改善用户体验，同时也通过对数据半自动或者自动分析，来快速定位被监控系统的问题，是目前进行流量精细化运营的主要手段。其中，针对手机软件(Application，APP)，一般通过对APP进行数据采集，来获取后续分析用的大数据。
现有的数据采集方法，是对不同数据类型的目标数据开发相对应的数据接口，通过该数据接口进行目标数据的采集。然而从采集需求的提出到开发、测试、投产一般需要至少3个月的时间。目前的app中需要采集的数据类型多、范围广、埋点难度高、需求大，按照现有采集方法，需要消耗大量的时间成本和金钱成本。
技术内容
本技术提供了一种数据采集方法及系统，可以解决现有技术中由于需要对不同数据类型的目标数据开发相对应的数据接口进行数据采集，导致数据采集会消耗大量的时间成本和金钱成本的问题。