kafka
Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流应用程序。它具有高吞吐量、低延迟、可扩展性和持久性等特点，广泛应用于日志收集、消息系统、事件溯源、流处理等场景。
以下是 Kafka 的基础知识：
1. Kafka 的核心概念
1.1 Topic（主题）
-
Topic 是 Kafka 中数据存储的逻辑分类，类似于数据库中的表。
-
生产者将消息发布到特定的 Topic，消费者从 Topic 订阅并消费消息。
-
一个 Kafka 集群可以有多个 Topic。
1.2 Partition（分区）
-
每个 Topic 可以分为多个 Partition，分区是 Kafka 实现高吞吐量和并行处理的基础。
-
每个分区是一个有序的、不可变的消息队列。
-
分区允许 Topic 的数据分布在多个服务器上，从而实现水平扩展。
1.3 Producer（生产者）
-
Producer 是向 Kafka Topic 发布消息的客户端。
-
生产者可以将消息发送到指定的 Topic 和 Partition。
1.4 Consumer（消费者）
-
Consumer 是从 Kafka Topic 订阅并消费消息的客户端。
-
消费者可以以组（Consumer Group）的形式工作，组内的消费者共同消费一个 Topic 的消息，实现负载均衡。
1.5 Broker（代理）
-
Broker 是 Kafka 集群中的单个服务器节点。
-
每个 Broker 负责存储和管理一个或多个 Partition。
-
多个 Broker 组成一个 Kafka 集群。
1.6 Offset（偏移量）
-
Offset 是消息在 Partition 中的唯一标识，表示消息的位置。
-
消费者通过维护 Offset 来记录自己消费到的位置。
1.7 Consumer Group（消费者组）
-
Consumer Group 是一组消费者的集合，共同消费一个 Topic 的消息。
-
Kafka 会将 Topic 的 Partition 分配给组内的消费者，确保每条消息只被组内的一个消费者消费。
1.8 Replication（副本）
-
Kafka 通过 Replication 实现数据的高可用性。
-
每个 Partition 可以有多个副本，其中一个副本是 Leader，负责处理读写请求，其他副本是 Follower，用于数据备份。
2. Kafka 的架构
2.1 生产者-消费者模型
-
生产者将消息发布到 Kafka Topic。
-
消费者从 Topic 订阅并消费消息。
2.2 分布式存储
-
Kafka 的数据分布在多个 Broker 上，每个 Broker 存储一部分 Partition。
-
通过分区和副本机制，Kafka 实现了高可用性和负载均衡。
2.3 ZooKeeper 的作用
-
Kafka 依赖 ZooKeeper 来管理集群元数据、Broker 状态、消费者 Offset 等。
-
从 Kafka 2.8.0 开始，Kafka 引入了 KRaft 模式，可以不再依赖 ZooKeeper。
