RocketMQ 如何保证消息不丢失?

server/2025/1/12 17:44:19/

RocketMQ 的消息想要确保不丢失,需要生产者、消费者以及 Broker 的共同努力,缺一不可。

生产者(Producer)

1、发送方式:选择同步发送

  • 同步发送:发送消息后,需要阻塞等待 Broker 确认收到消息,生产者才能拿到返回的 SendResult
  • 异步发送:Producer 首先构建一个向 broker 发送消息的任务,把该任务提交给线程池,等执行完该任务时,回调用户自定义的回调函数,执行处理结果。

2、重试机制

生产者因为网络故障、服务异常等原因导致调用, RocketMQ 内置请求重试逻辑,默认重试 3 次。
重试 3 次意思是一共会发 4 次消息,1 次原始消息,3 次重试消息。

Broker

1、刷盘策略:选择同步刷盘

  • 同步刷盘:如果想要保证消息不丢失,可以将消息保存机制修改为同步刷盘,这样,Broker会在同步请求中把数据保存在磁盘上,确保保存成功后再返回确认结果给生产者。
  • 异步刷盘:异步发送的话就需要生产者重写 SendCalback 的 onSuccess 和 onException 方法,用于给 Broker 进行回调。在方法中实现消息的确认或者重新发送。
java"># 默认情况为 ASYNC_FLUSH
flushDiskType = SYNC_FLUSH

2、同步机制:同步复制

为了保证消息不丢失,RocketMQ肯定要通过集群方式进行部署,Broker 通常采用一主多从部署方式,并且采用主从同步的方式做数据复制

默认方式下,Broker 在接收消息后,写入 master 成功,就可以返回确认响应给生产者了,接着消息将会异步复制到 slave 节点。但是如果这个过程中,Master 的磁盘损坏了。那就会导致数据丢失了。

如果想要解决这个问题,可以配置同步复制的方式,即 Master 在将数据同步到 Slave 节点后,再返回给生产者确认结果。

java"># 默认为 ASYNC_MASTER
brokerRole = SYNC_MASTER

消费者(Consumer

1、At least Once 机制(先业务后ack)

At least Once:
Consumer 先 pull【主动拉取Broker中的信息】 消息到本地,消费完成后,才向服务器返回 ack。

通常消费消息的 ack 机制一般分为两种思路:

  • 第一种:先提交后消费;
  • 第二种:先消费,消费成功后再提交【这个更稳当】

思路一可以解决重复消费的问题但是会丢失消息,因此 Rocketmq 默认实现的是思路二,由各自 consumer 业务方保证幂等来解决重复消费问题。
幂等:通过给每个消息携带一个唯一标识信息,去数据库进行判断。或者在 producer 的时候就存储一个唯一标识(消息),消费成功删除redis中的消息确保不被重复消费

简单来说就是,在消费者的代码中,一定要在业务逻辑的最后一步returnConsumeConcurrentlyStatuS.CONSUME SUCCESS;
当然,也可以先把数据保存在数据库中,就返回,然后自己再慢慢处理。

2、消费消息重试机制

在消费者端,需要确保在消息拉取并消费成功之后再给 Broker 返回 ACK,就可以保证消息不丢失了,如果这个过程中 Broker 一直没收到 ACK,那么就可以重试。默认 16 次。


http://www.ppmy.cn/server/105244.html

相关文章

(七)Flink Watermark

Flink 的 Watermark 是用来标识数据流中的一个时间点。Watermark 的设计是为了解决乱序数据处理的问题,尤其是涉及到多个分区的 Kafka 消费者时。在 Watermark 的作用下,即使某些数据出现了延迟到达的情况,也不会导致整个处理流程的中断。此外,Watermark 还能防止过期的数据…

C++学习, 变量作用域

从广义上看,有三个地方,可以声明变量: 在函数或块中声明的变量,为局部变量。 在函数参数定义的变量,为形式参数。 在所有函数之外的变量,为全局变量。 局部变量 (Local Variables) 在函数或块内声明的变…

开源免费的仪表盘设计工具DashBoard

DashBoard 是一个基于多种技术栈的仪表盘设计器,它集成了SpringBoot、MyBatisPlus、ElementUI、G2Plot、Echarts等技术,为用户提供了强大的仪表盘设计、管理和预览能力。 开源地址:DashBoard: 🔥基于VueElementUIG2PlotEcharts的…

一拖二快充线市场需求 - LDR6020

一拖二快充线市场需求与LDR6020应用快充线市场推广 随着科技的飞速发展,智能设备已成为我们日常生活中不可或缺的一部分。从智能手机到平板电脑,再到笔记本电脑,这些设备极大地丰富了我们的生活方式,但同时也带来了一个普遍的问题…

Java 4.2 - MySQL

MySQL 基础 关系型数据库 关系型数据库就是建立在关系模型上的数据库。关系模型描述了实体属性以及实体和实体之间的关系。 在关系型数据库中,我们的数据都被存放在了各种表中(比如用户表),表中的每一行存放着一条数据。 常见…

算法日记day 46(单调栈之下一个更大元素|柱状图中最大图形)

一、下一个更大元素1 题目: nums1 中数字 x 的 下一个更大元素 是指 x 在 nums2 中对应位置 右侧 的 第一个 比 x 大的元素。 给你两个 没有重复元素 的数组 nums1 和 nums2 ,下标从 0 开始计数,其中nums1 是 nums2 的子集。 对于每个 0 …

二叉树刷题(1)

二叉树题目讲解(1) 一、构建二叉树并且遍历(1)思路(2)代码 二、对称二叉树1、思路2、代码 三、相同的树1、思路2、代码 四、单值二叉树1、思路2、代码 五、另一棵树的子树1、思路2、代码 一、构建二叉树并且…

数据之争:网络爬虫涉及的法律问题

在大数据时代,除直接通过用户采集之外,另一大数据来源就是使用网络爬虫采集公开信息。爬虫的使用到了何种程度?有业内人士称,互联网50%以上,甚至更高的流量其实都是爬虫贡献的。对某些热门网页,爬虫的访问量…