二、Kafka快速入门

news/2024/10/21 23:11:46/

目录

    • 2.1 安装部署
      • 1、【单机部署】
      • 2、【集群部署】
    • 2.2 Kafka命令行操作
      • 1、查看topic相关命令参数
      • 2、查看当前kafka服务器中的所有Topic
      • 3、创建 first topic
      • 4、查看 first 主题的详情
      • 5、修改分区数(注意:分区数只能增加,不能减少)
      • 6、删除 topic
      • 7、生产者发送消息
      • 8、消费者消费消息

2.1 安装部署

1、【单机部署】

1、下载并上传到nginx服务器
官网:http://kafka.apache.org/downloads.html
在这里插入图片描述

2、解压安装包

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

3、修改解压后的文件名称

 mv kafka_2.12-3.0.0/ kafka

4、进入到/mysoft/kafka/config 目录,修改配置文件

vim server.properties

本地做的修改主要是:
broker.id=1
delete.topic.enable=true
log.dirs=/soft/kafka/logs
zookeeper.connect=192.168.239.11:2181/kafka



配置文件各个配置意义:
在这里插入图片描述

5、启动单节点
先启动zookeeper 节点
在这里插入图片描述
启动kafka

./kafka-server-start.sh -daemon ../config/server.properties

6、查看kafka有没有正常启动: jps
在这里插入图片描述

7、配置kafka的环境变量
1)在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置

sudo vim /etc/profile.d/my_env.sh

增加如下内容

#KAFKA_HOME
export KAFKA_HOME=/mysoft/kafka
export PATH=$PATH:$KAFKA_HOME/bin

2)刷新一下环境变量。

 source /etc/profile

2、【集群部署】

2.2 Kafka命令行操作

1、查看topic相关命令参数

bin/kafka-topics.sh

2、查看当前kafka服务器中的所有Topic

bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --list

在这里插入图片描述

3、创建 first topic

bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --create --partitions 1 --replication-factor 1 --topic first

在这里插入图片描述

4、查看 first 主题的详情

bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --describe --topic first

5、修改分区数(注意:分区数只能增加,不能减少)

bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --alter --topic first --partitions 3

6、删除 topic

 bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --delete --topic first

7、生产者发送消息

bin/kafka-console-producer.sh --bootstrap-server 192.168.239.11:9092 --topic first

8、消费者消费消息

消费 first 主题中的数据

bin/kafka-console-consumer.sh --bootstrap-server 192.168.239.11:9092 --topic first

把主题中所有的数据都读取出来(包括历史数据)。

bin/kafka-console-consumer.sh --bootstrap-server 192.168.239.11:9092 --topic first  --from-beginning

http://www.ppmy.cn/news/1047090.html

相关文章

代码随想录训练营day20| 654.最大二叉树 617.合并二叉树 700.二叉搜索树中的搜索 98.验证二叉搜索树...

TOC 前言 代码随想录算法训练营day20 一、Leetcode 654.最大二叉树 1.题目 给定一个不重复的整数数组 nums 。 最大二叉树 可以用下面的算法从 nums 递归地构建: 创建一个根节点,其值为 nums 中的最大值。 递归地在最大值 左边 的 子数组前缀上 构建左子树。 递归地…

电商项目part04 微服务拆分

微服务架构拆分 微服务介绍 英文:https://martinfowler.com/articles/microservices.html 中文:http://blog.cuicc.com/blog/2015/07/22/microservices 微服务拆分时机 如下场景是否需要进行微服务拆分? 代码维护困难,几百人同时开发一个模块&…

vue的开发者工具下载『保姆级别』

1.先进官网 极简插件_Chrome扩展插件商店_优质crx应用下载 (zzzmh.cn) 2.搜索vue devtools,点击进去 3.下载插件 4.下载到文件下你自己的文件下:我的是下载到E盘下。 5.压缩到当前目录下 6.电脑进入拓展程序(不同的浏览器操作不同&#xff…

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

DolphinScheduler是一个开源的分布式任务调度系统,拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性,适用于大规模分布式任务调度的场景。目前DolphinScheduler支持的元数据库有Mysql、PostgreSQL、H2,如果在业务中需要更好…

【李沐】3.5、softmax回归的从0开始实现

注意: 把每个像素位置看作⼀个特征 # 导入PyTorch库 import torch # 从IPython库中导入display模块,用于在交互式环境中显示内容 from IPython import display # 从d2l.torch模块中导入torch作为d2l的别名,方便后续使用d2l库中的功能 from d…

剪枝基础与实战(3): 模型剪枝和稀疏化训练流程

Model Pruning 相关论文:Learning Efficient Convolutional Networks through Network Slimming (ICCV 2017) 考虑一个问题,深度学习模型里面的卷积层出来之后的特征有非常多,这里面会不会存在一些没有价值的特征及其相关的连接?又如何去判断一个特征及其连接是否有价值? …

(四)、CUDA环境安装与程序编写

1、确定安装版本 1、查看显卡支持的最高CUDA的版本,以便下载对应的CUDA安装包: 安装 NVIDIA 显卡驱动程序、查看当前系统中 NVIDIA 显卡的详细信息:nvidia-smi、 在 "CUDA 版本" 或 "Compute Capability" 部分查找显示的…

服务器CPU飚高排查

排查思路 当正在运行的Java服务导致服务器的CPU突然飙高时,我们该如何排查定位到哪个接口的哪行代码导致CPU飙高的问题呢?我主要提供两个方案: jstackarthas 准备工作 代码准备 现在需要准备一段可以让服务器CPU飙高的代码以及把代码部署…