kafka常用命令

ops/2024/12/21 20:40:23/

安装kafka注意事项

修改 、vim kafka/config/server.properties

三个地方①brokerId ②logs=地址③指定节点

一、创建主题

(必须指定分区,指定副本)

#在kafka bin目录下执行以下命令
#①连接hadoop01 创建主题为TEST 分区1 副本3个
bin/kafka-topics.sh --bootstrap-server hadoop01:9092 --topic TEST --create --partitions 1 --replication-factor 3

查看创建的主题

#查看Hadoop01节点所有主题
bin/kafka-topics.sh --boostrap-server hadoop01:9092 --list
#查看主题为TEST的详情
bin/kakfa-topics.sh --boostrap-server hadoop01:9092 TEST --describe

二、生产者

给指定主题发消息

bin/kakfa-console-producer.sh --bootstrap-server hadoop01:9092 --topic TEST

查看数据

三、消费者

#从最开头消费
bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic TEST --from-beginning

四、生产者原理

五、异步发送API

带回调函数的异步发送、

六、同步发送

七、生产者分区

分区策略

①指定分区,消息会发送到指定的分区

②不指定分区,可以按照业务场景:

比如:要把几张表的数据通过kafka同步到过去,此时可以把表名当做key,进行发送。对于同一张表的数据来说,因为key的hashCode与topic的分区数取模之后得到分区是一致的,这样就实现了,同一张表的数据发送kafka的时候走的同一个分区,不同表走不通分区。

③自定义分区

八、生产者如何提高发送能力

九、ACK应答级别

代码配置ACK

数据传递语义


http://www.ppmy.cn/ops/143851.html

相关文章

数据结构泛谈

数据结构是计算机科学中用于组织、管理和存储数据的一种方式; 它决定了数据的存储布局以及如何有效地操作这些数据; 是算法设计和性能优化的基础,选择合适的数据结构可以显著提升程序的运行效率。 数据结构我们可以这么拆解:数据 …

探索Web3的核心原则:去中心化与用户控制

Web3作为未来互联网的愿景,正逐步改变我们对网络的认知。它的两大核心原则——去中心化和用户控制,不仅推动了技术的革新,也重新定义了互联网用户与平台之间的关系。这些原则的落地,能够让用户在数字世界中拥有更多的自主权、隐私…

数据结构之二叉搜索树(Binary Search Tree)

数据结构之二叉搜索树(Binary Search Tree) 1. ⼆叉搜索树的概念2. ⼆叉搜索树的性能分析3.⼆叉搜索树的 查,删,插(没有改,因为没有意义会破坏本质)(源码) 1. ⼆叉搜索树…

界面控件DevExpress v24.2.3全新发布——正式支持.NET 9

DevExpress拥有.NET开发需要的所有平台控件,包含600多个UI控件、报表平台、DevExpress Dashboard eXpressApp 框架、适用于 Visual Studio的CodeRush等一系列辅助工具。 屡获大奖的软件开发平台DevExpress 近期重要版本v24.2已正式发布,该版本拥有众多新…

MFC 应用程序语言切换

在开发多语言支持的 MFC 应用程序时,如何实现动态语言切换是一个常见的问题。在本文中,我们将介绍两种实现语言切换的方式,并讨论其优缺点。同时,我们还会介绍如何通过保存配置文件来记住用户的语言选择,以及如何在程序…

flask-admin+Flask-WTF 实现实现增删改查

背景: flask-adminflask-wtf在网上可以搜索到很多资料,但有价值的很少,或许是太简单,或者是很少人这么用,或者。。。,本文将作者近礼拜摸索到的一点经验分享出来,给自己做个记录。 材料&#…

nginx-虚拟主机配置笔记

目录 nginx的安装可以查看nginx安装https://blog.csdn.net/m0_68472908/article/details/144609023?spm1001.2014.3001.5501 一、 基于域名 二、 基于IP 三、 基于端口 nginx的安装可以查看nginx安装https://blog.csdn.net/m0_68472908/article/details/144609023?spm100…

Flamingo论文介绍:把视觉特征向语言模型看齐

今天介绍一篇经典的多模态论文,来自NeurIPS 2022的《Flamingo: a Visual Language Model for Few-Shot Learning》 ,论文地址:https://arxiv.org/pdf/2103.00020 文章目录 一、Motivate二、Method三、模块细节:Perceiver Resampl…