Kafka 无消息丢失最佳实战

server/2025/2/12 4:36:39/
1. 不要使用 producer.send(msg),而要使用 producer.send(msg, callback)。记住,一
定要使用带有回调通知的 send 方法。
2. 设置 acks = all。acks 是 Producer 的一个参数,代表了你对“已提交”消息的定义。
如果设置成 all,则表明所有副本 Broker 都要接收到消息,该消息才算是“已提交”。
这是最高等级的“已提交”定义。
3. 设置 retries 为一个较大的值。这里的 retries 同样是 Producer 的参数,对应前面提到
的 Producer 自动重试。当出现网络的瞬时抖动时,消息发送可能会失败,此时配置了 retries > 0 的 Producer 能够自动重试消息发送,避免消息丢失。
4. 设置 unclean.leader.election.enable = false。这是 Broker 端的参数,它控制的是哪
些 Broker 有资格竞选分区的 Leader。如果一个 Broker 落后原先的 Leader 太多,那么
它一旦成为新的 Leader,必然会造成消息的丢失。故一般都要将该参数设置成 false,
即不允许这种情况的发生。
5. 设置 replication.factor >= 3。这也是 Broker 端的参数。其实这里想表述的是,最好将
消息多保存几份,毕竟目前防止消息丢失的主要机制就是冗余。
6. 设置 min.insync.replicas > 1。这依然是 Broker 端参数,控制的是消息至少要被写入
到多少个副本才算是“已提交”。设置成大于 1 可以提升消息持久性。在实际环境中千
万不要使用默认值 1。
7. 确保 replication.factor > min.insync.replicas。如果两者相等,那么只要有一个副本挂
机,整个分区就无法正常工作了。我们不仅要改善消息的持久性,防止数据丢失,还要
在不降低可用性的基础上完成。推荐设置成 replication.factor = min.insync.replicas +
1。
8. 确保消息消费完成再提交。Consumer 端有个参数 enable.auto.commit,最好把它设
置成 false,并采用手动提交位移的方式。就像前面说的,这对于单 Consumer 多线程
处理的场景而言是至关重要的。

系列阅读

  1. 设计模式与技术组件
  2. 电商系统的分布式事务调优
  3. 如何设计安全的开放接口


http://www.ppmy.cn/server/166556.html

相关文章

SSA-TCN麻雀算法优化时间卷积神经网络时间序列预测未来Matlab实现

SSA-TCN麻雀算法优化时间卷积神经网络时间序列预测未来Matlab实现 目录 SSA-TCN麻雀算法优化时间卷积神经网络时间序列预测未来Matlab实现预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.Matlab实现SSA-TCN麻雀算法优化时间卷积神经网络时间序列预测未来(优…

本地部署DeepSeek(Mac版本,带图形化操作界面)

一、下载安装:Ollama 官网下载:Download Ollama on macOS 二、安装Ollama 1、直接解压zip压缩包,解压出来就是应用程序 2、直接将Ollama拖到应用程序中即可 3、启动终端命令验证 # 输入 ollama 代表已经安装成功。 4、下载模型 点击模型…

Spring Boot 对接深度求索接口实现知识问答功能

Spring Boot 对接深度求索接口实现知识问答功能 一、概述 本文将详细介绍如何使用 Spring Boot 对接深度求索(DeepSeek)接口,实现知识问答功能。深度求索是一个强大的自然语言处理平台,提供多种 API 接口,包括知识问…

Rust语言进阶之标准输入: stdin用法实例(一百零五)

简介: CSDN博客专家、《Android系统多媒体进阶实战》一书作者 新书发布:《Android系统多媒体进阶实战》🚀 优质专栏: Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏: 多媒体系统工程师系列【…

金三银四Java面试题及答案整理(2025年最新版,持续更新)

学习如逆水行舟,尤其是 IT 行业有着日新月异的节奏,我们更要抓紧每一次可以学习和进步的机会。所以,没有撤退可言。 即使是面试跳槽,那也是一个学习的过程。只有全面的复习,才能让我们更好的充实自己,武装…

单硬盘槽笔记本更换硬盘

背景 本人的笔记本电脑只有一个硬盘槽,而且没有M.2的硬盘盒,只有一个移动硬盘 旧硬盘:512G 新硬盘:1T 移动硬盘:512G 参考链接:https://www.bilibili.com/video/BV1iP41187SW/?spm_id_from333.1007.t…

跨端兼容——请让我的页面展现在电脑、平板、手机上

目录 背景 核心方案 响应式设计 自适应布局 实践步骤 框架级优化 性能优化 测试验证 技术栈推荐 注意事项 背景 公司有多个标准化产品,业务上沉淀了10年之久已经比较复杂了,UI上也进行了2次改版。应该是开发之初产品规划,系统就是给…

大模型赋能网络安全整体应用流程概述

一、四个阶段概述 安全大模型的应用大致可以分为四个阶段: 阶段一主要基于开源基础模型训练安全垂直领域的模型; 阶段二主要基于阶段一训练出来的安全大模型开展推理优化、蒸馏等工序,从而打造出不同安全场景的专家模型,比如数据安全领域、安全运营领域、调用邮件识别领…