kafka集群环境部署

news/2025/2/21 10:38:27/

文章目录

  • 1 Kafka集群
  • 2 搭建两台服务器
    • 2.1 zookeeper部署
    • 2.2 启动1号机器的broker
    • 2.3 启动2号机器的broker
    • 2.4 查看kafka集群
    • 2.5 测试集群

1 Kafka集群

在这里插入图片描述

2 搭建两台服务器

在这里插入图片描述

2.1 zookeeper部署

zookeeper先只部署一台,在1号机器(192.168.11.59)上启动zookeeper。

sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties

2.2 启动1号机器的broker

(1)修改server.properties(在config目录)。

broker.id=0
zookeeper.connect=192.168.11.59:2181

修改broker.id(也可以改为-1,自动分配)和配置对应的zookeeper ip地址。

(2)启动kafka。

sh kafka-server-start.sh -daemon ../config/server.properties

默认端口为:9092,可以通过命令lsof -i:9092查看kafka是否启动成功。

2.3 启动2号机器的broker

除server.properties中broker.id=1与1号机器不同之外其他都一样。

2.4 查看kafka集群

(1)创建主题。

sh kafka-topics.sh --create --zookeeper 192.168.11.59:2181 -replication-factor 2 --partitions 2 --topic kafka-2

(2)查看主题。

sh kafka-topics.sh --describe --zookeeper 192.168.11.59:2181 --topic kafka-2

显示消息:

Topic:kafka-2	PartitionCount:2	ReplicationFactor:2	Configs:Topic: kafka-2	Partition: 0	Leader: 1	Replicas: 1,0	Isr: 1,0Topic: kafka-2	Partition: 1	Leader: 0	Replicas: 0,1	Isr: 0

2.5 测试集群

开启一个生产者,两个消费者。当两个消费者同属一个消费组开启后,消费者轮流收到发送者的数据。

(1)生产者:

sh kafka-console-producer.sh --broker-list 192.168.11.59:9092 --topic kafka-2

(2)消费者:

sh kafka-console-consumer.sh --bootstrap-server 192.168.11.59:9092 --topic kafka-2

默认是group 0,也可以指定,比如:

sh kafka-console-consumer.sh --bootstrap-server 192.168.31.249:9092 --topic kafka-2 --group 0 --from-beginning

kafka-console-consumer.sh部分支持的参数:
在这里插入图片描述


http://www.ppmy.cn/news/1251161.html

相关文章

Reactor网络线程模型

目录 传统下网络服务模型 事件监听模型 NIO核心概念 单线程Reactor模式 多线程Reactor模式 Kafka 的网络设计 主要概念 类比思维理解 参考文章 传统下网络服务模型 线程太多无法处理大规模请求 事件监听模型 NIO核心概念 nio是实现reactor模式的底层API代码 单…

【C++】程序题( STL标准模板库)

🎃个人专栏: 🐬 算法设计与分析:算法设计与分析_IT闫的博客-CSDN博客 🐳Java基础:Java基础_IT闫的博客-CSDN博客 🐋c语言:c语言_IT闫的博客-CSDN博客 🐟MySQL&#xff1a…

4.3 嵌套if-else语句的妙用(C语言实现)

【题目描述】学校进行成绩分级管理,取消分数制,改为成绩分级评定。具体办法是:小于60分为E类;60分至70分(不含70分)为D类;70分至80分(不含)为C类;80分至90分&…

java video audio encoder

引言 在现代互联网的时代,视频和音频已经成为人们生活中不可或缺的一部分。而在计算机科学中,视频和音频编码器则是将原始的视频和音频数据转换为可压缩格式的关键技术。在本文中,我们将探讨基于Java的视频和音频编码器的使用。 什么是视频…

习题补充整理

目录 一、自己封装response 二、在响应头中放数据 HttpResponse redirect ​编辑 render JsonResponse 三、函数和方法区别 ----》绑定方法区别 四、上传图片和开启media访问 五、页面静态化(解决访问率高的问题) 一、自己封装response 第一步,在app01下…

leetcode 611. 有效三角形的个数(优质解法)

代码&#xff1a; class Solution {public int triangleNumber(int[] nums) {Arrays.sort(nums);int lengthnums.length;int n0; //三元组的个数//c 代表三角形最长的那条边for (int clength-1;c>2;c--){int left0;int rightc-1;while (left<right){if(nums[left]nums[r…

Verilog 入门(二)(Verilog 语言要素)

文章目录 标识符注释格式系统任务和函数值集合数据类型参数 标识符 Verilog HDL 中的标识符&#xff08;identifier &#xff09;可以是任意一组字母、数字、$ 符号和 _&#xff08;下划线&#xff09;符号的组合&#xff0c;但标识符的第一个字符必须是字母或者下划线。另外&…

C/C++ 实现FTP文件上传下载

FTP&#xff08;文件传输协议&#xff09;是一种用于在网络上传输文件的标准协议。它属于因特网标准化的协议族之一&#xff0c;为文件的上传、下载和文件管理提供了一种标准化的方法&#xff0c;在Windows系统中操作FTP上传下载可以使用WinINet库&#xff0c;WinINet&#xff…