RocketMq消息队列实施方案-完整版

消息队列实施方案

1、背景

异步解耦合、给前端系统提供最高效的反应

2、常见消息队列对比

2、1 ActiveMq

ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现

优点：

Java语言

支持集群模式

缺点：

性能在消息中间件中处于下游

2、2 Rabbitmq

Rabbitmq是基于AMQP使用erlang语言实现的消息队列系统

优点：

1、完整的消息队列系统，支持多种消息队列模式，包括竞争消费；

2、支持集群模式，扩展集群容量和性能比较方便，集成了集群的监控和管理；

3、支持消息的持久化；

缺点：

1、需要学习比较复杂的接口和协议，比较耗费时间；

2、性能不是特别理想大概在1wqps左右；

3、使用Erlang语言，语言基础；

2、3 Kafka

Kafka 是LinkedIn 开发的一个高性能、分布式的消息发布订阅系统。

优点：

1、分布式集群可以透明的扩展，增加新的服务器进集群。

2、高性能。单机写入TPS约在百万条/秒

3、容错。数据都会复制到几台服务器上。

缺点：

1、复杂性。Kafka需要zookeeper 集群的支持，T opic通常需要人工来创建，部署和维护较一般消息队列成本更高

定位于日志传输、存在消息丢失的肯能、消息乱序

3、消息发送错误无重试

2、4 RocketMQ

RockerMq 是阿里公司中间件团队参考Kafka思想，用Java语言实现的消息传输系统

优点：

1、较高性能，单机写入TPS单实例约7万条/秒

2、容错，多种集群模式、可以解决容错问题

3、消息重试发送

4、顺序消息可以严格执行

缺点：

1、消息重复、消费端需要做去重操作

2、5 选用结论

从项目业务与团队技术偏向考虑，我们应该需要一种数据安全性比较高，保证每个消息都会被执行；有容错机制、支持集群模式高可用；性能不错，可以在毫秒级处理消息；支持顺序消息的消息中间件，RockerMq 可以满足这些要求。

3、RockerMq简介

3、1 RockerMq 产品介绍

参考阿里公司提供的《RocketMQ 开发指南》，最新版针对v3.2.4

3、2 RockerMq集群

3、2、1 部署方式

Rockermq共有四种部署方式，分别是：

1、单个Master

一旦Broker 重启或者宕机时，会导致整个服务不可用

2、多Master 模式

一个集群无Slave，全是Master，例如2 个Master 戒者3 个Master

优点：

1、配置简单，

2、容错，单个Master 宕机或重启维护对应用无影响，在磁盘配置为RAID10 时，即使机器宕机不可恢复情况下，由于RAID10 磁盘非常可靠，在同步刷盘时消息不会丢，异步刷盘丢失少量消息，

3、性能最高。

3、多Master 多Slave 模式，异步复制

每个Master 配置一个或多个Slave，有多对Master-Slave，HA（高可用集群）采用异步复制方式，主备有短暂消息延迟，毫秒级。

优点：

1、即使磁盘损坏，消息丢失的非常少，消息实时性不会被影响，因为Master 宕机后，消费者仍然可以从Slave 消费，此过程对应用透明。不需要人工干预。性能同多Master 模式几乎一样。

缺点：

1、Master宕机，磁盘损坏时，因为主备有短暂消息延迟，未复制到slave的消息会丢失。

2、目前master宕机后，备机不能自动切换为主机。只有master可以接收消息，若所有master宕机，将不能接收消息

4、多Master 多Slave 模式，同步双写

每个Master 配置一个或多个Slave，有多对Master-Slave，HA 采用同步双写方式，主备都写成功，才返回成功。

优点：

数据与服务都无单点，Master 宕机情冴下，消费者可以从slave消费、消息无延迟，服务可用性与数据可用性都非常高

缺点：

1、性能比异步复制模式略低，収送单个消息的RT（返回时间）会略高。

2、目前master宕机后，备机不能自动切换为主机。只有master可以接收消息，若所有master宕机，将不能接收消息

选用结论

由于我们需要保证消息中间件的高可用性，消息不丢失、消息无延迟，所以我们选择“多Master多Slave模式，同步双写”模式。并且选择同步刷盘。

3、2、2 多Master多Slave模式

多master多slave模式网络结构图

主要组件有：Name Server、Broker、Producer、Consumer

1、Name Server是一个几乎无状态节点，可集群部署，节点之间无信息同步、记录Topic 路由信息。

2、Broker分为Master和Slave，一个Master 可以对应多个Slave，但是一个Slave只能对应一个Master。

3、Producer与Name Server 集群中的其中一个节点（随机选择）建立长连接，定期从Name Server获取Topic 路由信息，并向提供Topic服务的Master 建立长连接，定时向Master 发送心跳。Producer只可以向Master发送消息。Producer 完全无状态，可集群部署。

4、Consumer与Name Server 集群中的其中一个节点（随机选择）建立长连接，定期从Name Server获取Topic路由信息，并与提供T opic服务的Master、Slave建立长连接，并定时向Master、Slave収送心跳。Consumer既可以从Master 订阅消息，也可以从Slave 订阅消息，订阅规则由Broker配置决定