kafka实战使用文档(一)

news/2024/11/20 21:22:22/

kafka命令

后台启动kafka

bin/kafka-server-start -daemon config/server.properties

查看所有topics

bin/kafka-topics.sh --list  --zookeeper localhost:2181

查看单个topic详情

bin/kafka-topics.sh --describe --topic info --zookeeper localhost:2181

消费topic

bin/kafka-console-consumer.sh --topic user_behavior  --bootstrap-server localhost:9092 --from-beginning --max-messages 10

创建topic

bin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --partitions 1 --topic t

删除topic

bin/kafka-topics.sh --zookeeper localhost:2181 \
--delete --topic first

发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic info

单独对某一个topic设置过期时间

./kafka-config.sh --zookeeper localhost:2181 --alter --entity-name topicname --entity-type topics --add-config retention.ms=86400000
#retention.ms=86400000为一天,单位是毫秒

查看设置

$ ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name mytopic --entity-type topics
Configs for topics:wordcounttopic are retention.ms=86400000

立即删除某个topic下的数据

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic topicname cleanup.policy=delete#kafka默认数据保留时间,可以修改
log.retention.hours=168
#超过这个时间数据会删除,再次消费的时候没有数据,现象是控制台阻塞#设置topic物理删除
delete.topic.enable=true#日志刷写条数
log.flush.interval.messages=10000
#日志刷写间隔时间
log.flush.interval.ms=1000

kafka的性能和数据大小无关,所以长时间存储数据没问题

kafka数据读写速度快,在于分区内数据是顺序读写

分区策略是利用分布式的特性,通过并行读写提高速度

副本机制保证集群中的某个节点发生故障时,该节点的partition数据不丢失,
且kafka仍然能够继续工作

以副本机制为前提,基于zookeeper选举机制,可以实现高可用


http://www.ppmy.cn/news/615635.html

相关文章

Unity使用FFMpeg

Unity启动FFMpeg private static bool StartUpFFmpeg(){bool isWinPlatform true;if (Application.platform ! RuntimePlatform.WindowsEditor &&Application.platform ! RuntimePlatform.WindowsPlayer){isWinPlatform false;}if (!isWinPlatform){string iOSPath …

硬件设计-PLL篇(下)

目录 概要 整体架构流程 技术名词解释 技术细节 1.环路滤波器采用有源滤波器还是无源滤波器?、 2.如何设计 VCO 输出功率分配器?、 3.如何设置电荷泵的极性? 4.锁定指示电路如何设计? 小结 概要 提示:这里可以添加技术…

分布式锁的实现方案(免费gpt4分享)

1.1基于数据库 有两个方案:依赖数据库排他锁以及表主键的唯一。 依赖数据库排他锁: 在查询语句后面增加for update,数据库会在查询过程中给数据库表增加排他锁 (注意: InnoDB 引擎在加锁的时候,只有通过索引进行检索…

python实现秒表计时器

秒表计时器 需求 利用python实现一个秒表计时器 2.能实现开始,停止,重置,退出功能 代码块 #from tkinter import * import time from re import X from tracemalloc import Frameclass StringVar(object):passdef Button(self, text, com…

单片机秒表c语言,单片机制作秒表计时器(c语言)

利用计数器中断,外部中断(按钮)编写的机遇c语言的秒表计时器 利用单片机制作秒表计时器 (c语言) #include//包含单片机对应的头文件 int MM0,SS0,MS0; int time2; unsigned int sc[10]{0x3f,0x06,0x5b,0x4f,0x66,0x6d,0x7d,0x07,0x7f,0x6f}; unsigned int dianyuan[6]{0xfe,0xf…

51单片机DIY_秒表计时器

计时表量程&#xff1a;00&#xff1a;00&#xff1a;00--59:59:99&#xff08;min&#xff1a;s&#xff1a;10ms&#xff09; 可存储和回查5组数据。 代码&#xff1a; #include<reg52.h> #include<string.h> /***********************定义管脚**************…

STC8H8k64U——定时器T0(60s倒计时)

60s倒计时 #include <STC8H.H> #include "delay.h"/*74HC245*/ #define OUTPUT P0/*3——8译码器*/ sbit A0 P2^2; sbit A1 P2^3; sbit A2 P2^4;unsigned char second 60; //秒计数 unsigned char count 200; //中断200次为1秒 unsigned char code LED_7…

单片机AT89C51六位(四位和两位)数码管秒表精度0.01s带启动、暂停、清零按钮

1.设计方案 本文主要研究基于单片机的秒表设计&#xff0c;主要是控制电路设计&#xff0c;数码管显示的设计&#xff0c;和软件程序的编写。该计时采用单片机定时器精确延时&#xff0c;秒表计时精度0.01秒。有启动&#xff0c;暂停&#xff0c;复位&#xff0c;提醒等功能。…