【大数据学习 | kafka高级部分】kafka的kraft集群

embedded/2024/11/14 2:57:23/

首先我们分析一下zookeeper在kafka中的作用

zookeeper可以实现controller的选举,并且记录topic和partition的元数据信息,帮助多个broker同步数据信息。

在新版本中的kraft模式中可以这个管理和选举可以用kafka自己完成,而不再依赖zookeeper。

搭建kraft集群

首先要设定process.roles,可以人为指定每个人的角色,如果指定broker那么它永远是broker,

如果指定controller那么它一定是controller,但是这样的话其他人就没有办法作为主节点了。

所以一般选择broker,controller可以自动进行适配和选举

一般一个集群中会设定大部分是broker,少量的几个是controller+broker方便选举

设定哪几个机器作为协调的机器出现,帮助kafka自身选举

还需要设定对外端口和每个节点的编号

最后还要设定数据存储的位置

log.dirs=/data/kafka-logs


http://www.ppmy.cn/embedded/136901.html

相关文章

项目管理和研发管理中的痛点及其解决方案

在现代企业中,研发管理和项目管理面临着多重挑战,包括资源配置不当、沟通不畅、目标不明确、进度控制困难等。这些痛点不仅影响项目的顺利推进,还可能导致企业在市场竞争中处于劣势。尤其是在资源配置不当方面,企业往往难以合理分…

图像处理自动渲染代码

图像处理自动渲染通常涉及一系列步骤,包括图像读取、预处理、渲染参数设置、渲染执行以及结果保存等。以下是一个简化的Python示例代码,使用了OpenCV库进行图像处理,以及一个假设的render_function来模拟渲染过程(实际上&#xff…

AI 心目中的我

这两天网上有个很流行的游戏,就是向 ChatGPT 提问: 根据你对我的所知,请绘制一张图,画一下你心目中我现在生活的样子。 然后 ChatGPT 就画出了下面这张图: 当然,第一次问这个问题的回复是: 然后…

Unet++改进7:添加SimAM注意力机制||无参数的卷积神经网络注意模块

本文内容:添加SimAM注意力机制 目录 论文简介 1.步骤一 2.步骤二 3.步骤三 4.步骤四 论文简介 在本文中,我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比,我们的模块在不向原始网络添加参数的情况下…

【Linux探索学习】第十二弹——初识进程:进程的定义、描述和一些简单的相关操作

Linux学习笔记: https://blog.csdn.net/2301_80220607/category_12805278.html?spm1001.2014.3001.5482 前言: 在前面经过那么多篇的铺垫后,今天我们正式进入Linux学习的第一个重难点——进程,理解进程对于我们学习操作系统的其…

leetcode82:删除排序链表中的重复节点||

给定一个已排序的链表的头 head , 删除原始链表中所有重复数字的节点,只留下不同的数字 。返回 已排序的链表 。 示例 1: 输入:head [1,2,3,3,4,4,5] 输出:[1,2,5]示例 2: 输入:head [1,1,1,2…

爬虫入门urllib 和 request(二)

文章目录 1、urllib介绍2、urllib的基本方法介绍2.1 urllib.Request2.2 response.read() 3、urllib请求百度首页的完整例子4、小结 1、urllib介绍 除了requests模块可以发送请求之外, urllib模块也可以实现请求的发送,只是操作方法略有不同! urllib在python中分为urllib和url…

重新认识HTTPS

一. 什么是 HTTPS HTTP 由于是明文传输,所谓的明文,就是说客户端与服务端通信的信息都是肉眼可见的,随意使用一个抓包工具都可以截获通信的内容。 所以安全上存在以下三个风险: 窃听风险,比如通信链路上可以获取通信…