一种数据流处理方法及系统_CN109857558A
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910048043 .X
(22)申请日 2019 .01 .18
(71)申请人 苏宁易购集团股份有限公司 地址 210000 江苏省南京市玄武区苏宁大 道1号
(72)发明人 郭业俊 李浩 王志强 孙迁
(74)专利代理机构 北京市万慧达律师事务所 11111
2
CN 109857558 A
权 利 要 求 书
2/2 页
Flume服务进行执行。 7 .根据权利要求6所述的系统，其特征在于，所述ZooKeeper集群具体用于： 接收所述Master节点基于预设触发事件发起的主节点选举请求，并在选举成功后使得
所述Master节点作为主节点，其中，所述预设触发事件为如下事件之一： 所述Master节点被启动； 作为主节点的当前Master节点发生故障。 8 .根据权利要求6所述的系统，其特征在于，所述主节点具体用于： 根据所述多个Worker节点各自上报的主机运行状态信息，确定所述多个Worker节点中
主机运行状态最佳的目标Worker节点； 生成指示将所述任务调度至所述目标Worker节点的配置信息。 9 .根据权利要求6所述的Worker节点各自上报的主机运行状态信息和任务执行状
态信息，对所述任务的配置信息进行调整； 其中 ，调整后的 所述任务的 配置信息指示对处于空闲状态的 任务进行缩容处理 ，并对
代理人 张慧娟
(51)Int .Cl . G06F 9/50(2006 .01)
(10)申请公布号 CN 109857558 A (43)申请公布日 2019.06.07
( 54 )发明 名称 一种数据流处理方法及系统
( 57 )摘要 本发明公开了一种数据流处理方法及系统 ，
属于大数据处理领域，方法包括：由Zookeeper集 群确定若干Master节点中的一个作为主节点；由 主节点提供对外接口以接收业务的上线请求，并 为业务分配任务；由主节点根据多个Worker节点 各自上报的当前状态信息，生成任务的配置信息 并写入ZooKeeper集群中 ，配置信息包括指示被 调度以执行任务的Worker节点的信息；Worker节 点若监听到ZooKeeper集群中存在调度给自己的 任务，则启动Flume服务进行执行。本发明实施例 能够实现Master节点和Worker节点的高可用性， 提升Flume服务的 可 用性 ，避免资源使 用不均和 浪费的问 题 ；并且 ，能 够极大地简化业务上下线 操作，降低业务之间的相互影响。
和处于堆积状态的任务进行扩容处理；以及 将主机负载处于过载状态的Worker节点上的任务迁移到主机负载处于空闲状态的
Worker节点上进行执行。 10 .根据权利要求6至9任一项所述的系统，其特征在于，所述主节点具体还用于： 通过所述对外接口接收对所述业务的下线请求；以及 将所述业务的下线信息和为所述业务分配的任务的下线信息写入到所述ZooKeeper集
权利要求书2页 说明书7页 附图1页
CN 109857558 A
CN 109857558 A
权 利 要 求 书
1/2 页
1 .一种数据流处理方法，其特征在于，所述方法包括： 由Zookeeper集群确定若干Master节点中的一个作为主节点； 由所述主节点提供对外接口以接收业务的上线请求，并为所述业务分配任务；以及 根据多个Worker节点各自上报的主机运行状态信息，生成所述任务的配置信息并写入 所述ZooKeeper集群中 ，所述配置信息包括指示被调度以 执行所述任务的Worker节点的 信 息； 所述Worker节点若监听到所述ZooKeeper集群中存在调度给自己的任务，则启动Flume 服务进行执行。 2 .根据权利要求1所述的方法，其特征在于，所述由Zookeeper集群确定若干Master节 点中的一个作为主节点包括： 所述ZooKeeper集群接收所述Master节点基于预设触发事件发起的 主节点选举请求 ， 并在选举成功后使得所述Master节点作为主节点 ，其中 ，所述预设触发事件为如下事件之 一： 所述Master节点被启动； 作为主节点的当前Master节点发生故障。 3 .根据权利要求1所述的方法，其特征在于，所述根据多个Worker节点各自上报的主机 运行状态信息，生成所述任务的配置信息包括： 根据所述多个Worker节点各自上报的主机运行状态信息，确定所述多个Worker节点中 主机运行状态最佳的目标Worker节点； 生成指示将所述任务调度至所述目标Worker节点的配置信息。 4 .根据权利要求1所述的方法，其特征在于，所述方法还包括： 由所述主节点根据所述多个Worker节点各自上报的主机运行状态信息和任务执行状 态信息，对所述任务的配置信息进行调整； 其中 ，调整后的 所述任务的 配置信息指示对处于空闲状态的 任务进行缩容处理 ，并对 和处于堆积状态的任务进行扩容处理；以及 将主机负载处于过载状态的Worker节点上的任务迁移到主机负载处于空闲状态的 Worker节点上进行执行。 5 .根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括： 所述主节点通过所述对外接口接收对所述业务的下线请求；以及 将所述业务的下线信息和为所述业务分配的任务的下线信息写入到所述ZooKeeper集 群中，以使执行所述任务的Worker节点停止Flume服务。 6 .一种数据流处理系统，其特征在于，所述系统包括Zookeeper集群、若干Master节点 和多个Worker节点，其中： 所述Zookeeper集群，用于确定若干Master节点中的一个作为主节点； 所述主节点，用于提供对外接口以接收业务的上线请求，并为所述业务分配任务； 所述主节点 ，还 用于根据多个Worker节点各自 上报的 当前状态信息 ，生成所述任务的 配置信息并写入所述ZooKeeper集群中 ，所述配置信息包括指示被调度以 执行所述任务的 Worker节点的信息； 所述Worker节点，用于若监听到所述ZooKeeper集群中存在调度给自己的任务，则启动
( 12 )发明专利申请
(21)申请号 201910048043 .X
(22)申请日 2019 .01 .18
(71)申请人 苏宁易购集团股份有限公司 地址 210000 江苏省南京市玄武区苏宁大 道1号
(72)发明人 郭业俊 李浩 王志强 孙迁
(74)专利代理机构 北京市万慧达律师事务所 11111
2
CN 109857558 A
权 利 要 求 书
2/2 页
Flume服务进行执行。 7 .根据权利要求6所述的系统，其特征在于，所述ZooKeeper集群具体用于： 接收所述Master节点基于预设触发事件发起的主节点选举请求，并在选举成功后使得
所述Master节点作为主节点，其中，所述预设触发事件为如下事件之一： 所述Master节点被启动； 作为主节点的当前Master节点发生故障。 8 .根据权利要求6所述的系统，其特征在于，所述主节点具体用于： 根据所述多个Worker节点各自上报的主机运行状态信息，确定所述多个Worker节点中
主机运行状态最佳的目标Worker节点； 生成指示将所述任务调度至所述目标Worker节点的配置信息。 9 .根据权利要求6所述的Worker节点各自上报的主机运行状态信息和任务执行状
态信息，对所述任务的配置信息进行调整； 其中 ，调整后的 所述任务的 配置信息指示对处于空闲状态的 任务进行缩容处理 ，并对
代理人 张慧娟
(51)Int .Cl . G06F 9/50(2006 .01)
(10)申请公布号 CN 109857558 A (43)申请公布日 2019.06.07
( 54 )发明 名称 一种数据流处理方法及系统
( 57 )摘要 本发明公开了一种数据流处理方法及系统 ，
属于大数据处理领域，方法包括：由Zookeeper集 群确定若干Master节点中的一个作为主节点；由 主节点提供对外接口以接收业务的上线请求，并 为业务分配任务；由主节点根据多个Worker节点 各自上报的当前状态信息，生成任务的配置信息 并写入ZooKeeper集群中 ，配置信息包括指示被 调度以执行任务的Worker节点的信息；Worker节 点若监听到ZooKeeper集群中存在调度给自己的 任务，则启动Flume服务进行执行。本发明实施例 能够实现Master节点和Worker节点的高可用性， 提升Flume服务的 可 用性 ，避免资源使 用不均和 浪费的问 题 ；并且 ，能 够极大地简化业务上下线 操作，降低业务之间的相互影响。
和处于堆积状态的任务进行扩容处理；以及 将主机负载处于过载状态的Worker节点上的任务迁移到主机负载处于空闲状态的
Worker节点上进行执行。 10 .根据权利要求6至9任一项所述的系统，其特征在于，所述主节点具体还用于： 通过所述对外接口接收对所述业务的下线请求；以及 将所述业务的下线信息和为所述业务分配的任务的下线信息写入到所述ZooKeeper集
权利要求书2页 说明书7页 附图1页
CN 109857558 A
CN 109857558 A
权 利 要 求 书
1/2 页
1 .一种数据流处理方法，其特征在于，所述方法包括： 由Zookeeper集群确定若干Master节点中的一个作为主节点； 由所述主节点提供对外接口以接收业务的上线请求，并为所述业务分配任务；以及 根据多个Worker节点各自上报的主机运行状态信息，生成所述任务的配置信息并写入 所述ZooKeeper集群中 ，所述配置信息包括指示被调度以 执行所述任务的Worker节点的 信 息； 所述Worker节点若监听到所述ZooKeeper集群中存在调度给自己的任务，则启动Flume 服务进行执行。 2 .根据权利要求1所述的方法，其特征在于，所述由Zookeeper集群确定若干Master节 点中的一个作为主节点包括： 所述ZooKeeper集群接收所述Master节点基于预设触发事件发起的 主节点选举请求 ， 并在选举成功后使得所述Master节点作为主节点 ，其中 ，所述预设触发事件为如下事件之 一： 所述Master节点被启动； 作为主节点的当前Master节点发生故障。 3 .根据权利要求1所述的方法，其特征在于，所述根据多个Worker节点各自上报的主机 运行状态信息，生成所述任务的配置信息包括： 根据所述多个Worker节点各自上报的主机运行状态信息，确定所述多个Worker节点中 主机运行状态最佳的目标Worker节点； 生成指示将所述任务调度至所述目标Worker节点的配置信息。 4 .根据权利要求1所述的方法，其特征在于，所述方法还包括： 由所述主节点根据所述多个Worker节点各自上报的主机运行状态信息和任务执行状 态信息，对所述任务的配置信息进行调整； 其中 ，调整后的 所述任务的 配置信息指示对处于空闲状态的 任务进行缩容处理 ，并对 和处于堆积状态的任务进行扩容处理；以及 将主机负载处于过载状态的Worker节点上的任务迁移到主机负载处于空闲状态的 Worker节点上进行执行。 5 .根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括： 所述主节点通过所述对外接口接收对所述业务的下线请求；以及 将所述业务的下线信息和为所述业务分配的任务的下线信息写入到所述ZooKeeper集 群中，以使执行所述任务的Worker节点停止Flume服务。 6 .一种数据流处理系统，其特征在于，所述系统包括Zookeeper集群、若干Master节点 和多个Worker节点，其中： 所述Zookeeper集群，用于确定若干Master节点中的一个作为主节点； 所述主节点，用于提供对外接口以接收业务的上线请求，并为所述业务分配任务； 所述主节点 ，还 用于根据多个Worker节点各自 上报的 当前状态信息 ，生成所述任务的 配置信息并写入所述ZooKeeper集群中 ，所述配置信息包括指示被调度以 执行所述任务的 Worker节点的信息； 所述Worker节点，用于若监听到所述ZooKeeper集群中存在调度给自己的任务，则启动