【大数据学习 | kafka高级部分】kafka的kraft集群

ops/2024/11/8 17:53:41/

首先我们分析一下zookeeper在kafka中的作用

zookeeper可以实现controller的选举,并且记录topic和partition的元数据信息,帮助多个broker同步数据信息。

在新版本中的kraft模式中可以这个管理和选举可以用kafka自己完成,而不再依赖zookeeper。

搭建kraft集群

首先要设定process.roles,可以人为指定每个人的角色,如果指定broker那么它永远是broker,

如果指定controller那么它一定是controller,但是这样的话其他人就没有办法作为主节点了。

所以一般选择broker,controller可以自动进行适配和选举

一般一个集群中会设定大部分是broker,少量的几个是controller+broker方便选举

设定哪几个机器作为协调的机器出现,帮助kafka自身选举

还需要设定对外端口和每个节点的编号

最后还要设定数据存储的位置

log.dirs=/data/kafka-logs


http://www.ppmy.cn/ops/131993.html

相关文章

基于Python+Vue开发的蛋糕商城管理系统

项目简介 该项目是基于PythonVue开发的蛋糕商城管理系统(前后端分离),这是一项为大学生课程设计作业而开发的项目。该系统旨在帮助大学生学习并掌握Python编程技能,同时锻炼他们的项目设计与开发能力。通过学习基于Python的蛋糕商…

蓝桥杯顺子日期(填空题)

题目:小明特别喜欢顺子。顺子指的就是连续的三个数字:123、456 等。顺子日期指的就是在日期的 yyyymmdd 表示法中,存在任意连续的三位数是一个顺子的日期。例如 20220123 就是一个顺子日期,因为它出现了一个顺子:123&a…

Pyhton 实时行情接口,包含level2行情

提供了A股、港股和美股的实时股票行情数据,还支持Level 1基础行情和Level 2高级行情,这在市面上可是不多见的。 作为一名Python开发者,我对数据接口的实时性和稳定性有着极高的要求。这个网站居然提供了WebSocket协议的行情接入方式&#xf…

基于LabVIEW应用ARINC 429板卡实现数据通讯——(下篇)

五、基于LabVIEW实现数据通讯 基于LabVIEW实现429板卡的数据通讯是调用API 动态链接库文件来实现的。该文件中有许多的板卡操作函数,在调用板卡中必须按照一定的函数调用流程来操作板卡,否则极易出现板卡操作错误。 1、API函数的调用步骤 API函数的调…

Aop+自定义注解实现数据字典映射

数据字典 Web项目开发中,字典表的一般都会存在,主要用来给整个系统提供基础服务。 比如男女性别的类型可以使用0和1来进行表示,在存储数据和查询数据的时候,就可以使用字典表中的数据进行翻译处理。 再比如之前做的一个项目中宠物…

Unity图形学之Shader结构

Unity - Manual: ShaderLab: Legacy Lighting 1.Shader 语言: OpenGL:SGL 跨平台性能非常好 GLSL语言 OpenGL Shader LanguageDX:微软 非跨平台 性能非常好 HLSL语言 High Level Shader LanguageCG:微软和英伟达 联合开发CG …

如何为 Redis 设置密码

前言 Redis 是一个高性能的键值对数据库,广泛应用于缓存、消息队列等场景。为了保障 Redis 服务的安全性,设置密码认证是非常重要的一步。 方法一:通过编辑配置文件设置密码 1. 找到 redis.conf 配置文件 通常情况下,redis.co…

国产光耦在现代电子中的多功能性和性能

近几年,随着国内电子行业的快速发展,国产光耦合器取得了显著的进步,其创新旨在满足现代电子行业的严格需求。这些光耦合器提供了包括隔离、信号传输和抗噪声等基本功能,使其适用于工业、汽车和消费电子等多个领域。本文将探讨这些…