jstorm分享

• execute是bolt实现核心， 完成自己的逻辑，即接受每一
次取消息后，处理完，有可能用collector 将产生的新消息 emit出去
Jstorm例子
• declareOutputFields， 定义bolt发送数据，每个字段的含 义 • getComponentConfiguration 获取本bolt的component 配 置
Jstorm架构及数据模型
– nimnus：主控节点，负责在集群中发布代码，分配工作给机器 ，并且监听状态 – supervisor：一个机器，工作节点，会监听分配给的工作，根据 需要启动和关闭工作进程。 – woker：执行topology的工作进程，用于生成task – task：每个spout和bolt都可以作为task在storm中运行，一个task 对应一个线程
Jstorm架构及数据模型
JStorm在模型上和MapReduce有很多相似的地方，下表 从不同维度对JStorm和MapReduce进行了比较。
Jstorm架构及数据模型
• 对象介绍 – topology：一个拓扑是一个个计算节点组成的图，每个节点包换 处理的逻辑，节点之间的连线表示数据流动的方向 – spout：表示一个流的源头，产生tuple – bolt：处理输入流并产生多个输出流，可以做简单的数据转换计 算，复杂的流处理一般需要经过多个bolt进行处理 – tuple：表示流中一个基本的处理单元，可以包括多个field，每 个filed表示一个属性
Jstorm ACK机制
• C接收到T1并成功处理后： R2=r1 <id0,<taskA,r1^r2^R2>> =<id0,<taskA,r1^r2^r1>> =<id0,<taskA,r2>>
• D接收到T2并成功处理后: R3=r2
<id0,<taskA,r2^R3>> =<id0,<taskA,r2^r2>> =<id0,<taskA,0>> • 当结果为0时Acker可以通知taskA根消息id0的消息树已被成功处理 完成。
Jstorm例子
• 创建topology的生成器
– TopologyBuilder builder = new TopologyBuilder();
• 创建Spout， 其中new CaseSpout() 为真正spout对象,第一个
参数为spout名 第三个参数为任务数(并发线程数)
– builder.setSpout("CaseSpout", new CaseSpout(emitNum), spout_Parallelism_hint);
Jstorm ACK机制
Jstorm ACK机制
• Acker任务保存了数据结构
– Map<MessageID,Map< TaskID, Value>> – MessageID： Acker 知道Spout任务的哪个消息被成功处理完成 – TaskID：Acker 当消息树处理完成后通知的Spout任务 – Value：一个64bit的长整型数字，是树中所有消息的随机 ID的异 或结果。表示了整棵树的的状态，无论这棵树多大，只需要这 个固定大小的数字就可以跟踪整棵树。当消息被创建和被应答 的时候都会有相同的MessageID发送过来做异或。当Acker发现一 棵树的Value值为0的时候，表明这棵树已经被成功处理完成。
次取消息后，处理完，有可能用collector 将产生的新消息 emit出去
Jstorm例子
bolt对象必须是继承Serializable， 因此要求spout内所有 数据结构必须是可序列化的 • prepare是当task起来后执行的初始化动作 • cleanup是当task被shutdown后执行的动作
• Jstorm提供了6种stream group模型
– 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保 证每个任务获得相等数量的tuple。 – 字段分组（Fields grouping）：根据指定字段分割数据流，并分 组。例如，根据“user-id”字段，相同“user-id”的元组总是分发 到同一个任务，不同“user-id”的元组可能分发到不同的任务。 – 全部分组（All grouping）：tuple被复制到bolt的所有任务。这种 类型需要谨慎使用。
Jstorm架构及数据模型
• JStorm通过一系列基本元素实现实时计算的目标，其 中包括了Topology、Stream、Spout、Bolt等等。 • 计算任务Topology是由不同的Spout和Bolt通过Stream
连接起来的。下面是一个典型Topology的结构示意图：
Jstorm架构及数据模型
Jstorm架构及数据模型
• 实时计算任务需要打包成Topology提交，和MapReduce Job
相似，不同的是，MapReduce Job在计算完成后结束，而
JStorm的Topology任务一旦提交永远不会结束，除非显式
停止。
Jstorm 架构图
Topology 流程图
Jstorm分配策略
Jstorm例子
• IRichBolt为Bolt接口
Jstorm例子
bolt对象必须是继承Serializable， 因此要求spout内所有 数据结构必须是可序列化的 • prepare是当task起来后执行的初始化动作 • cleanup是当task被shutdown后执行的动作
• execute是bolt实现核心， 完成自己的逻辑，即接受每一
– Custom Grouping：用户自定义分组策略，需要实现的接
CustomStreamGrouping是自定义分组策略时用户口。
Jstorm ACK机制
• 为保证无数据丢失，JStorm使用了非常漂亮的可靠性处理
机制，当定义Topology时指定Acker，JStorm除了Topology本身任 务外，还会启动一组称为Acker的特殊任务，负责跟踪Topolgogy DAG中的每个消息。每当发现一个DAG被成功处理完成，Acker 就向创建根消息的Spout任务发送一个Ack信号。Topology中Acker 任务的并行度默认parallelism hint=1，当系统中有大量的消息时 ，应该适当提高Acker任务的并行度。
Jstorm例子
• 创建bolt， CaseBolt 为bolt名字，new CaseBolt() 为bolt对象
，bolt_Parallelism_hint为bolt并发数，并以shuffleGrouping
方式接受CaseSpout的数据
– builder.setBolt("CaseBolt", new
Jstorm分享
索引 Jstorm背景介绍 Jstorm架构及数据模型 Jstorm分配策略
Jstorm Ack机制
Jstorm实例及讨论
背景介绍
• Storm是开源的分布式容错实时计算系统，核心采用 Clojure实现
• Jstorm是阿里巴巴中间件团队用Java重新实现的类Storm， 在网络IO、线程模型、资源调度、可用性及稳定性上做了 持续改进，可被用于“连续计算”，对数据流做连续处理 ，在计算时就将结果以流的形式输出给用户。
Jstorm分配策略
– 全局分组（Global grouping）：全部流都分配到bolt的同一个任 务。明确地说，是分配给ID最小的那个task。 – 无分组（None grouping）：你不需要关心流是如何分组。目前 ，无分组等效于随机分组。 – 直接分组（Direct grouping）：这是一个特别的分组类型。元组 生产者决定tuple由哪个元组处理者任务接收。
Jstorm ACK机制
boltC spoutA boltB boltD
• A发送T0给B后： R0=r0 ----> <id0,<taskA,R0>> • B接收到T0并成功处理后向C发送T1，向D发送T2: R1=R0^r1^r2=r0^r1^r2
• <id0,<taskA,R0^R1>>
• =<id0,<taskA,r0^r0^r1^r2>> =<id0,<taskA,r1^r2>>
Thanks
• activate 是当task被激活时，触发的动作
• deactivate 是task被deactive时，触发的动作
Jstorm例子
• nextTuple 是spout实现核心， nextuple完成自己的逻辑， 即每一次取消息后，用collector 将消息emit出去 • Ack 当spout收到一条ack消息时，触发的动作 • fail， 当spout收到一条fail消息时，触发的动作 • declareOutputFields， 定义spout发送数据，每个字段的 含义 • getComponentConfiguration 获取本spout的component 配置
CaseBolt(emitNum,calNum,addbolt),
bolt_Parallelism_hint).shuffleGrouping("CaseSpout");
Jstorm例子
• IRichSpout为最简单的Spout接口
Jstorm例子
spout对象必须是继承Serializable， 因此要求spout内所有 数据结构必须是可序列化的 • open是当task起来后执行的初始化动作 • close是当task被shutdown后执行的动作