Kafka高可用机制总结

news/2024/12/31 6:34:29/

1. 集群模式

1.1组成结构

Kafka集群由多个broker实例构成,每个broker是一个Kafka实例。

1.2高可用保障

某一台broker宕机时,其他broker仍可对外提供服务,保证了集群的高可用性。但仅回答此点过于简单,需结合分区复制机制回答以更好应对面试官。

在这里插入图片描述

2. 分区复制机制初步

2.1分区与副本

  • 一个topic分为多个分区,每个分区有多个副本,且分布在不同broker。如一个topic有三个分区p0、p1、p2,每个分区有三个副本,存储在不同broker。
  • 副本间为主从关系,同一分区的所有副本内容相同。

在这里插入图片描述

2.2数据同步方式

  • 生产者按策略将消息存储到不同分区,Kafka内部为分区提供副本机制以保证高可用性。
  • 分区副本分为ISR副本(同步请求方式,数据更完整)和普通副本(异步请求方式,效率高但不能保证数据完整性)。
  • ISR 的全称是 “in sync replica”,即 “需要同步复制保存的副本”。在 Kafka 中,ISR 副本在同步数据时采用同步请求方式,能更好地保证数据完整性。

2.3选主原则

Kafka分区副本的选主原则是

  • 先从ISR列表中选择leader副本
  • 当ISR列表中的副本均宕机时,才从普通副本中选择一个作为leader。
  1. 优先从ISR列表选主:ISR副本采用同步请求方式同步数据,数据完整性更好,所以在正常情况下,会优先从ISR列表中挑选leader副本。
  2. ISR列表副本均宕机时的处理:如果ISR列表中的所有副本都不可用,此时为了保证系统的基本运行,会从普通副本中选择一个作为leader。普通副本采用异步请求方式同步数据,虽然效率较高,但数据完整性不能完全保证。

这种选主原则的设计旨在平衡数据完整性和系统可用性之间的关系,

确保在不同情况下Kafka系统都能尽量稳定运行。

3. ISR配置

3.1可配置性

在broker配置文件中可设定topic副本数量和ISR最少个数,需根据实际情况设置。

3.2设置考量

不能将所有副本设为ISR,因为ISR同步保存数据性能不高,普通副本异步保存数据效率更高。一般至少设置一个ISR列表,其他设为普通副本,以平衡高可用性和数据存储时效性。

4. 面试回答建议

4.1回答框架

从集群和复制机制两个层面回答。集群层面提及由多个broker组成,宕机不影响对外服务;复制机制层面详细阐述分区、副本、副本存储、主从关系、数据同步方式、选主原则等。

4.2应对追问

若面试官追问ISR,需解释ISR是需要同步复制保存的副本,分区副本分为ISR副本(同步请求)和普通副本(异步请求),以及选主原则与ISR的关系等。


http://www.ppmy.cn/news/1559081.html

相关文章

医疗平板与普通平板对比:优势尽显

在当今数字化的时代,平板电脑已经成为人们生活和工作中不可或缺的一部分。而在医疗领域,医疗平板也逐渐崭露头角,与普通平板相比,它具备诸多独特的优势,能够更好地满足医疗行业的特殊需求。 一、硬件设计与防护 坚固耐…

基于三种机器学习方法的磁芯损耗预测模型

大家好,我是带我去滑雪! 磁性元件在电力转换和传输系统中扮演着关键角色,而磁芯损耗是影响其效率的重要指标。随着工业和能源需求的增长,尤其是可再生能源和智能电网的快速发展,对磁性元件的高效、紧凑、低功耗需求日益…

Chapter 03 复合数据类型-1

1.列表 Python内置的一种有序、可变的序列数据类型; 列表的定义: [ ]括起来的逗号分隔的多个元素组成的序列 列表对象的创建: (1)直接赋值 >>> list1 []#创建一个空列表赋值给list1 >>> list…

大数据-256 离线数仓 - Atlas 数据仓库元数据管理 正式安装 启动服务访问 Hive血缘关系导入

点一下关注吧!!!非常感谢!!持续更新!!! Java篇开始了! 目前开始更新 MyBatis,一起深入浅出! 目前已经更新到了: Hadoop&#xff0…

攻防世界web新手第四题easyphp

<?php highlight_file(__FILE__); $key1 0; $key2 0;$a $_GET[a]; $b $_GET[b];if(isset($a) && intval($a) > 6000000 && strlen($a) < 3){if(isset($b) && 8b184b substr(md5($b),-6,6)){$key1 1;}else{die("Emmm...再想想&quo…

理想的未来在AI——李想深度解析理想汽车的智能化之路

摘要&#xff1a; 在2024年的AI Talk中&#xff0c;理想汽车董事长兼CEO李想分享了他对人工智能的深刻见解和理想汽车在智能化道路上的最新进展。本文整理了访谈的精华内容&#xff0c;探讨了李想如何将理想汽车从传统车企转型为人工智能企业&#xff0c;并展望了人工智能技术如…

第一个C++程序|cin和cout|命名空间

第一个C程序 基础程序 使用DevC5.4.0 写一个C程序 在屏幕上打印hello world #include <iostream> using namespace std;int main() {cout << "hello world" << endl;return 0; } 运行这个C程序 F9->编译 F10->运行 F11->编译运行 mai…

docker-开源nocodb,使用已有数据库

使用已有数据库 创建本地数据库 数据库&#xff1a;nocodb 用户&#xff1a;nocodb 密码&#xff1a;xxxxxx修改docker-compose.yml 默认网关的 IP 地址是 172.17.0.1&#xff08;适用于 bridge 网络模式&#xff09;version: "2.1" services:nocodb:environment:…