Kafka生产者ACK参数与同步复制

embedded/2025/2/1 14:40:37/

目录

生产者的ACK参数

ack等于0

ack等于1(默认)

ack等于-1或all

Kafka的同步复制

使用误区


生产者的ACK参数

Kafka的ack机制可以保证生产者发送的消息被broker接收成功。

Kafka producer有三种ack机制 ,分别是 0,1,-1。这个配置可以在初始化producer时在config中进行配置。默认值是1。

ack等于0

producer不等待broker同步完成的确认,只要发送一次消息后就不再发送了,不管是否发送成功。这种方式延迟最低,但是持久性也最差,当服务器发生故障时,就很可能发生数据丢失。

例如leader已经宕机了,但producer还会继续发送消息,broker接收不到数据就会数据丢失。

ack等于1(默认)

producer只要收到一个分区副本成功写入的通知就认为推送消息成功了,这一个副本就是Leader。

当集群中Partition的Leader发生宕机时,此时由于follwer可能尚未同步到消息,数据可能就丢失了。此选项提供了较好的持久性较低的延迟性,实现了吞吐量和消息可靠性的平衡。

ack等于-1或all

这个值意味着开启同步复制机制后,你ISR列表里面的所有副本必须都要同步成功才会反馈给生产者这条消息发送成功了。

Kafka的同步复制

之前Kafka的Replication策略和ISR同步机制 已经写过关于同步复制的实现机制,本文再次提及是因为在实际使用场景下,kafka的生产者ack参数其实与同步复制的相关配置是相互配合才能起到真正的作用。

min.insync.replicas

min.insync.replicas这个参数指定了一个写操作被认为是成功时最小的ISR副本确认数。如不能满足这个条件producer将会触发异常(either NotEnoughReplicas or NotEnoughReplicasAfterAppend)。

当开启同步复制且生产者ACK参数设置为-1或all时,在消息发送时只要写入副本数满足了min.insync.replicas的数值即可返回给生产者消息发送成功的通知。

个人理解这个参数其实是用来平衡kafka集群的数据安全性和吞吐量的,以及可用性。min.insync.replicas配置控制的是同步复制ISR副本的下限,要使用同步复制机制需要合理配置min.insync.replicas的值,在此基础上kafka服务端可以实现同步复制并发挥其作用,但是生产者最终到底能不能把一条消息发送成功取决于生产者的acks参数配置。

场景举例:

topic中ISR副本数为4,min.insync.replicas设置为2,生产者ack设置为-1,当生产者发送消息时满足leader节点写入成功且另外3个ISR其中一个写入完成后即可完成消息发送成功的响应,无需等待全量ISR都写入完成。

使用误区

min.insync.replicas配置的默认值是1,这种情况并没有同步复制机制的作用。因为leader本身也是一个副本,所以1这个值表示leader写入成功后即可返回给生产者发送成功的标识。

此时即使生产者ack=all ,结果也是等同于ack=1的情况,即producer只要收到一个分区副本成功写入的通知就认为推送消息成功了,这一个副本就是Leader。


http://www.ppmy.cn/embedded/158650.html

相关文章

Docker小游戏 | 使用Docker部署2048网页小游戏

Docker小游戏 | 使用Docker部署2048网页小游戏 前言项目介绍项目简介项目预览二、系统要求环境要求环境检查Docker版本检查检查操作系统版本三、部署2048网页小游戏下载镜像创建容器检查容器状态检查服务端口安全设置四、访问2048网页小游戏五、总结前言 在当今快速发展的技术世…

MyBatis 入门

目录 一. MyBatis 概述 二. MyBatis 入门 1. 创建工程, 导入依赖 2. 数据准备 3. 配置数据库相关信息 4. 编写持久层代码 5. 编写测试代码 三. MyBatis基础操作. 1. 打印日志 2. 参数传递 3. 增 (Insert) 4. 删 (Delete) 5. 改 (Update) 6. 查 (Select) (1) 起…

p4:使用pytorch实现猴痘病识别

🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者:K同学啊 我的环境 语言环境:python 3.7.12 编译器:pycharm 深度学习环境:tensorflow 2.7.0 数据:本地数据集 一、代码 …

Kafa分区策略实现

引言 Kafka 的分区策略决定了生产者发送的消息会被分配到哪个分区中,合理的分区策略有助于实现负载均衡、提高消息处理效率以及满足特定的业务需求。 轮询策略(默认) 轮询策略是 Kafka 默认的分区策略(当消息没有指定键时&…

【设计模式-行为型】迭代器模式

一、什么是迭代器模式 迭代器模式,顾名思义,同样的为了让大家更加了解啥是迭代器。我们通过电影情结来说明,不知道大家有没有看过一个剧烧脑的科幻大片--《盗梦空间》。影片讲述了由造梦师(莱昂纳多迪卡普里奥扮演的)带…

基于Python的药物相互作用预测模型AI构建与优化(下.代码部分)

四、特征工程 4.1 分子描述符计算 分子描述符作为量化分子性质的关键数值,能够从多维度反映药物分子的结构和化学特征,在药物相互作用预测中起着举足轻重的作用。RDKit 库凭借其强大的功能,为我们提供了丰富的分子描述符计算方法,涵盖了多个重要方面的分子性质。 分子量…

音视频多媒体编解码器基础-codec

如果要从事编解码多媒体的工作,需要准备哪些更为基础的内容,这里帮你总结完。 因为数据类型不同所以编解码算法不同,分为图像、视频和音频三大类;因为流程不同,可以分为编码和解码两部分;因为编码器实现不…

【2024年华为OD机试】(C卷,100分)- 检查是否存在满足条件的数字组合 (Java JS PythonC/C++)

一、问题描述 题目描述 给定一个正整数数组,检查数组中是否存在满足规则的数字组合。 规则:A B 2C 输入描述 第一行输出数组的元素个数。 接下来一行输出所有数组元素,用空格隔开。 输出描述 如果存在满足要求的数,在同…