kafka-新增topic副本数

news/2025/2/28 9:26:11/

一. 简述:

  在 Kafka 中增加主题(Topic)的副本数可以提高数据的可靠性和容错能力。在创建topic时,如果设置的不合理,或者创建后有新的需求变动,就需要调整了。 

二. 方法: 

可通过官方的指令:kafka-reassign-partitions.sh

1. 通过kafka-topics.sh 脚本查看topic信息。 

#./kafka-topics.sh --describe --bootstrap-server kafka-server:9092 --topic xxxx_heart_pingTopic: xxxx_heart_ping	PartitionCount: 12	ReplicationFactor: 3	Configs: min.insync.replicas=2,message.format.version=2.6-IV0,unclean.leader.election.enable=trueTopic: xxxx_heart_ping	Partition: 0	Leader: 4	Replicas: 4,8	Isr: 4,8Topic: xxxx_heart_ping	Partition: 1	Leader: 8	Replicas: 8,6	Isr: 8,6Topic: xxxx_heart_ping	Partition: 2	Leader: 6	Replicas: 6,9	Isr: 9,6

2. 不动原有的副本配置,新增一个第三副本(json文件方式):

#cat increase-replication-factor.json
{"version":1,"partitions":[{"topic":"xxxx_heart_ping","partition":0,"replicas":[4,8,5]},{"topic":"xxxx_heart_ping","partition":1,"replicas":[8,6,7]},{"topic":"xxxx_heart_ping","partition":2,"replicas":[6,9,4]},
]}

3. 通过kafka-reassign-partitions.sh 重新分配数据:

/kafka-reassign-partitions.sh --bootstrap-server kafka-server:9092 --reassignment-json-file increase-replication-factor.json --execute

4. 可通过--verify查看分配进度:

/kafka-reassign-partitions.sh --bootstrap-server kafka-server:9092 --reassignment-json-file increase-replication-factor.json --verify

 ----------------------------------------------------------------------------------------------

深耕运维行业多年,擅长linux、容器云原生、运维自动化等方面。
承接各类运维环境部署、方案设计/实施、服务代运维工作,欢迎沟通交流!

(V: xiaoxiangbj2013 ) !


http://www.ppmy.cn/news/1575465.html

相关文章

Maven的传递性、排除依赖、生命周期、插件

一、Maven的传递性 蓝色背景中的两个jar包是projectA的直接依赖,其余的Jar包是projectA的间接依赖。 projectA可以使用直接依赖,也可以使用间接依赖。 maven-projectB项目引入了maven-projectC(整个项目打成了jar包)和junit两个jar包。 ma…

深入理解 Kubernetes 命名空间:高效管理与隔离资源的关键

深入理解 Kubernetes 命名空间:高效管理与隔离资源的关键 目录 深入理解 Kubernetes 命名空间:高效管理与隔离资源的关键什么是命名空间?命名空间的作用1. 资源隔离2. 多租户支持3. 资源管理和策略控制4. 简化管理创建和使用命名空间命名空间与集群中的其他资源结语在 Kuber…

【Python爬虫(69)】解锁游戏数据宝藏:Python爬虫实战攻略

【Python爬虫】专栏简介:本专栏是 Python 爬虫领域的集大成之作,共 100 章节。从 Python 基础语法、爬虫入门知识讲起,深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑,覆盖网页、图片、音频等各类数据爬取,还涉及数据处理与分析。无论是新手小白还是进阶开发…

前端系列之:Blob

Blob 与二进制 什么是二进制? 二进制是计算机数据的基本表示形式,只使用 0 和 1 两个数字来表示数值。任何类型的数据(无论是文本、图片、音频文件等)都可以通过二进制表示。 什么是 Blob? 全称 Binary Large Object&a…

【生成模型】【ComfyUI(三)】使用WebAPI批量调用ComfyUI

可以参考【生成模型】【ComfyUI(一)】Flux与Flux-Fill部署与API调用中Flux-Fill部分 1. 调整Workflow 我们要部署以下workflow 做两个修改 输入改为从Load Image(Base64) 读入图片,当然使用上面的从路径中读图也是可以的输出改为SaveImag…

Flash-03

1-问题:Flash软件画两个图形,若有部分重合则变为一个整体 解决方法1:两个图形分属于不同的图层 解决方法2:将每个图形都转化为【元件】 问题2:元件是什么? 在 Adobe Flash(现在称为 Adobe Anim…

Docker迁移/var/lib/docker之后镜像容器丢失问题

迁移/var/lib/docker时,如果目标目录少写一个/,/etc/docker/daemon.json中的data-root后面需要多加一级目录docker。 若迁移命令如下 rsync -avz /var/lib/docker /home/docker/ 在/etc/docker/daemon.json中添加如下内容 "data-root": &q…

栅格地图路径规划:基于雪橇犬优化算法(Sled Dog Optimizer,SDO)的移动机器人路径规划(提供MATLAB代码)

一、雪橇犬优化算法 雪橇犬优化算法(Sled Dog Optimizer,SDO)是一种于2024年10月发表在JCR1区、中科院1区SCI期刊《Advanced Engineering Informatics》的仿生元启发式算法。它受雪橇犬行为模式启发,通过模拟狗拉雪橇、训练和退役…