Kafka的ISR是什么,HW是什么,怎么保证可靠性,Kafka怎么实现顺序消息?为什么Kafka的broker上的topic越多,效率越慢?

embedded/2025/2/13 7:04:36/

目录

1. Kafka 的 ISR 是什么

2. Kafka 的 HW 是什么

3. Kafka 如何保证可靠性

4. Kafka 怎么实现顺序消息

5. 为什么 Kafka 的 broker 上的 topic 越多,效率越慢


1. Kafka 的 ISR 是什么

ISR 即 In-Sync Replicas(同步副本集),是 Kafka 中一个重要的概念,用于保障消息的可靠性和高可用性。

  • 在 Kafka 中,每个分区可以有多个副本,其中一个副本作为领导者(Leader)副本,负责处理客户端的读写请求;其余副本作为追随者(Follower)副本,从领导者副本同步数据。
  • ISR 集合包含了当前处于同步状态的副本,即追随者副本能够及时从领导者副本复制消息,并且与领导者副本的偏移量(offset)差距在一定范围内。如果某个追随者副本落后领导者副本太多,就会被踢出 ISR 集合;当该追随者副本追上领导者副本后,又可以重新加入 ISR 集合。

2. Kafka 的 HW 是什么

HW 即 High Watermark(高水位),它是 Kafka 中用于标识消息消费和副本同步的一个重要概念。

  • 对于每个分区,领导者副本和追随者副本都有自己的 HW。领导者副本的 HW 是指所有处于 ISR 集合中的副本已

http://www.ppmy.cn/embedded/161810.html

相关文章

音视频协议

1. 多媒体信息 1.1 多媒体信息的两个主要特点: 信息量很大 标准语音:64Kbits(8KHz采样,8位编码)高质量音频:3Mbps(100KHz采样,12位编码) 在传输多媒体数据时,对时延和时延抖动均有较高要求 1.2 处理时延…

Python3创建虚拟环境

个人博客地址:Python3创建虚拟环境 | 一张假钞的真实世界 Python虚拟环境主要是为了解决Python多版本及模块间版本兼容的问题。创建虚拟环境的方法很简单,使用下面的命令即可: python3 -m venv PySparkEnv PySparkEnv即虚拟环境的主目录。…

Ubuntu20.04上搭建nginx正向代理提供上网服务

背景:公司很多电脑因软件管控问题不得不禁止设备上网,现需搭建上网代理服务器提供给这些用户使用。 操作系统:ubuntu20.04 工具:nginx-1.25.4 1、下载nginx安装包及依赖 由于nginx默认只持支持转发http协议,所以如…

DeepSeek 与网络安全:AI 驱动的智能防御

📝个人主页🌹:一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 1. 引言 随着人工智能(AI)的快速发展,深度学习技术正渗透到多个领域,从医疗诊断到…

Python----PyQt开发(PyQt高级:组件大小,界面位置,按钮,文本显示,文本输入,字体大小)

一、大小 setMinimumSize(width, height) 描述: 设置控件的最小尺寸。控件不会被缩小到比这个尺寸更小的大小。 参数: width: 最小宽度(以像素为单位)。 height: 最小高度(以像素为单位)。 button.setMinimumSize(100, …

day 40 复习makefile以及51单片机

1.makefile 1.流程 1.将源文件和头文件以及库分别放在src include lib中 2.在源码目录下创建一个名为makefile的文件 3.编写makefile代码。 4.make编译 2.怎么编写代码 通过定义变量 将gcc main.c tree.c queue.c -o app -lm -lpthread 转换 1.定义变量(所有变…

2025Java面试题超详细整理《微服务篇》

什么是微服务架构? 微服务框架是将某个应用程序开发划分为许多独立小型服务,实现敏捷开发和部署,这些服务一般围绕业务规则进行构建,可以用不同的语言开发,使用不同的数据存储,最终使得每个服务运行在自己…

Hyperledger caliper 性能测试

前言:Hyperledger caliper 的本质是使用node对被测试网络进行压力测试,因此需要nodejs。本次使用 Hyperledger caliper 0.5 对 fabric 1.4.6进行压测 准备条件:nodejs 16 (略 linux下 解压环境变量即可) # 创建工作…