Apache Kafka单节点极速部署指南：10分钟搭建开发单节点环境

news/2025/3/7 2:16:21/

Apache Kafka单节点极速部署指南：10分钟搭建开发单节点环境

Kafka简介：

Apache Kafka是由LinkedIn开发并捐赠给Apache基金会的分布式流处理平台，现已成为实时数据管道和流应用领域的行业标准。它基于高吞吐、低延迟的设计理念，能够轻松处理每秒百万级消息传输，具备水平扩展、数据持久化、高容错等核心特性。Kafka广泛应用于日志聚合、实时监控、事件溯源、消息队列等场景，是大数据生态中连接传统数据库与流处理引擎（如Flink、Spark）的关键组件，被腾讯云、Netflix、Uber等顶级互联网企业深度应用于核心业务系统。

文章目录

    • **Apache Kafka单节点极速部署指南：10分钟搭建开发单节点环境**
      • Kafka简介：
      • **一、环境准备与安装**
        • 1. 安装 Java（详细步骤）
        • 2. 下载并解压 Kafka
      • **二、配置文件详解**
        • 1. ZooKeeper 配置
        • 2. Kafka Broker 配置
      • **三、配置为系统服务（Systemd）**
        • 1. 创建 `ZooKeeper` 服务文件
        • 2. 创建 Kafka 服务文件
        • 3. 创建专用用户和目录（增强安全性）
        • 4. 修改配置文件中的持久化路径
        • 5. 启用服务
      • **四、验证服务*
        • 1. 功能测试（详细命令）
      • **五、关键配置项深度解析**
      • **六、故障排查指南**
        • 1. 查看服务日志
        • 2. 端口占用检查
        • 3. 文件权限修复

一、环境准备与安装

1. 安装 Java（详细步骤）
# CentOS
sudo yum install -y java-1.8.0-openjdk-devel# Ubuntu
sudo apt update && sudo apt install -y openjdk-8-jdk# 验证安装
java -version  # 应输出类似 "openjdk version 1.8.0_382"

img_v3_02k2_52113089-36a0-4f01-8a1b-34fc2e5e655g

img_v3_02k2_dcc5330b-b557-4edc-900c-807ccc54997g

2. 下载并解压 Kafka
wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_2.13-3.6.1.tgz
mv kafka_2.13-3.6.1 /opt/kafka  # 建议移动到标准化目录
cd /opt/kafka

如果服务器网络不佳可在Kafka官网手动下载并上传至服务器:

下载地址：Apache Kafka

image-20250304153350958

img_v3_02k2_e958fbda-bb64-45b6-9426-c4d51ac9056g

img_v3_02k2_7e453cb2-d663-4812-8411-440231dfab7g

二、配置文件详解

1. ZooKeeper 配置

config/zookeeper.properties

# 数据存储目录（重要：生产环境需改为持久化路径，如 /var/lib/zookeeper）
dataDir=/tmp/zookeeper# 客户端连接端口
clientPort=2181# 最大客户端连接数（0 表示无限制）
maxClientCnxns=0# 集群配置（单节点无需配置）
# server.1=zk-node1:2888:3888
# server.2=zk-node2:2888:3888

image-20250304151028285

2. Kafka Broker 配置

config/server.properties

# Broker 的唯一标识（集群中每个节点必须不同）
broker.id=0# 监听地址和协议（生产环境建议用具体IP，如 PLAINTEXT://192.168.1.100:9092）
listeners=PLAINTEXT://:9092# Kafka 日志存储目录（生产环境需改为持久化路径，如 /var/lib/kafka-logs）
log.dirs=/tmp/kafka-logs# 每个 Topic 的默认分区数（影响并行度）
num.partitions=1# ZooKeeper 连接地址（集群用逗号分隔，如 zk1:2181,zk2:2181）
zookeeper.connect=localhost:2181# 其他重要参数（可选）
# 日志保留时间（小时）
log.retention.hours=168
# 单个日志文件最大大小（字节）
log.segment.bytes=1073741824
# 网络线程数
num.network.threads=3
# IO 线程数
num.io.threads=8

image-20250304151400265

三、配置为系统服务（Systemd）

1. 创建 ZooKeeper 服务文件
sudo vim /etc/systemd/system/zookeeper.service

内容如下：

[Unit]
Description=Apache ZooKeeper Service
After=network.target[Service]
Type=simple
User=kafka  # 建议创建专用用户（见下方说明）
Group=kafka
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure
RestartSec=10s[Install]
WantedBy=multi-user.target
2. 创建 Kafka 服务文件
sudo vim /etc/systemd/system/kafka.service

内容如下：

[Unit]
Description=Apache Kafka Service
After=zookeeper.service[Service]
Type=simple
User=kafka
Group=kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure
RestartSec=10s[Install]
WantedBy=multi-user.target
3. 创建专用用户和目录（增强安全性）
sudo useradd -r -s /bin/false kafka
sudo mkdir -p /var/lib/{zookeeper,kafka-logs}
sudo chown -R kafka:kafka /var/lib/{zookeeper,kafka-logs} /opt/kafka
4. 修改配置文件中的持久化路径

  • 修改 zookeeper.properties：

    dataDir=/var/lib/zookeeper

  • 修改 server.properties：

    log.dirs=/var/lib/kafka-logs
5. 启用服务
sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka# 检查状态
sudo systemctl status zookeeper kafka

img_v3_02k2_6bdc2a6f-4766-4b1b-986b-21fdbda0eeeg

*四、验证服务

1. 功能测试（详细命令）
# 创建 Topic（明确指定分区和副本）
/opt/kafka/bin/kafka-topics.sh --create \--topic test-topic \--bootstrap-server localhost:9092 \--partitions 3 \--replication-factor 1# 生产消息（输入多行消息后按 Ctrl+C 退出）
/opt/kafka/bin/kafka-console-producer.sh \--topic test-topic \--bootstrap-server localhost:9092# 消费消息（新终端执行）
/opt/kafka/bin/kafka-console-consumer.sh \--topic test-topic \--bootstrap-server localhost:9092 \--from-beginning

测试效果如图：img_v3_02k2_2622cef6-4d6d-49d5-9789-f49dc8bee5eg

img_v3_02k2_f20fc217-645c-4c9e-ba17-7e7956bc14ag

img_v3_02k2_59014a5c-8571-4b5d-8063-76a6f0f60e8g

五、关键配置项深度解析

配置项作用说明生产环境建议值
broker.idBroker 的唯一标识，集群中必须唯一数字递增（0,1,2…）
listenersBroker 监听的网络地址和协议使用服务器内网IP，如 PLAINTEXT://192.168.1.100:9092
log.dirsKafka 数据存储目录，多个目录用逗号分隔可提升性能挂载独立磁盘，如 /data/kafka-logs
zookeeper.connectZooKeeper 集群地址，格式为 host1:port1,host2:port2至少3节点集群
num.partitions新建 Topic 的默认分区数（影响并行处理能力）根据业务需求设置（通常3-10）
log.retention.hours消息保留时间按业务需求（如 168=7天）
default.replication.factor新建 Topic 的默认副本数（高可用关键）至少2，集群节点数≥副本数

六、故障排查指南

1. 查看服务日志
# ZooKeeper 日志
journalctl -u zookeeper -f# Kafka 日志
journalctl -u kafka -f
2. 端口占用检查
sudo netstat -tlnp | grep -E '2181|9092'
3. 文件权限修复
sudo chown -R kafka:kafka /var/lib/{zookeeper,kafka-logs}

http://www.ppmy.cn/news/1576921.html

相关文章

Python解决“找出整形数组中占比超过一半的数”问题

Python解决“找出整形数组中占比超过一半的数”问题

这里写目录标题 问题描述测试样例解决思路代码法1法2 问题描述 小R从班级中抽取了一些同学，每位同学都会给出一个数字。已知在这些数字中，某个数字的出现次数超过了数字总数的一半。现在需要你帮助小R找到这个数字。 测试样例 样例1： 输入&…
阅读更多...
MySQL -操作

MySQL -操作

博客主页：【夜泉_ly】 本文专栏：【暂无】 欢迎点赞👍收藏⭐关注❤️ 文章目录 创建数据库格式编码集 操控数据库查看数据库修改数据库删除数据库备份与还原 部分表操作创建表查看表修改表 我的版本号：8.0.41-0ubuntu0.22.04.1 创…
阅读更多...
大模型学习笔记------Llama 3模型架构简介

大模型学习笔记------Llama 3模型架构简介

大模型学习笔记------Llama 3模型架构 1、整体网络结构2、主要创新点3、其他关键改进点 LLaMA(Large Language Model Meta AI)系列模型是Meta发布并开源，分别在2023年2月、2023年7月和2024年4月发布了经历了LLaMA 1、LLaMA 2和LLaMA 3模型。本文只讲相对比较成熟、性…
阅读更多...
(模拟 反转字符串中的单词）leetcode 151

(模拟 反转字符串中的单词）leetcode 151

这个题我们用一个vector<string>s1的容器存放所有的单词&#xff0c;建立string ans再倒序依次添加s[i]再添加空格返回 如何正确地讲单词存入ans? 答&#xff1a;1.使用substr提取单词 2.建立left变量 这算核心的思路了&#xff0c;详解注释看代码的解析 还有更简单的…
阅读更多...
OCCT 学习笔记：创建瓶子教程的三个关键知识点

OCCT 学习笔记：创建瓶子教程的三个关键知识点

对OCCT已经有了多年了解&#xff0c;但时不时还是要翻一翻它的官方文档。今天重读了&#xff1a;Bottle Tutorial 教程概况 这篇教程文档围绕使用Open CASCADE Technology进行3D建模展开&#xff0c;以创建一个瓶子模型为例&#xff0c;逐步介绍建模过程及相关技术要点&#x…
阅读更多...
376_C++_云透传，板端负责处理透传数据的API函数，用于实现客户端对设备内部接口的访问（VMS把数据直接传给板端内部）

376_C++_云透传，板端负责处理透传数据的API函数，用于实现客户端对设备内部接口的访问（VMS把数据直接传给板端内部）

RsApi_PassThrough 云透传，板端负责处理透传数据的API函数，用于实现客户端对设备内部接口的访问（VMS把数据直接传给板端内部） 我来分析一下 RsApi_PassThrough 函数的作用和实现逻辑： 1. 功能概述 RsApi_PassThrough 是一个透传接口，用于处理 /API/Http/PassThrough 的…
阅读更多...
面试高频考点：一文吃透并发Concurrency与并行Parallelism

面试高频考点：一文吃透并发Concurrency与并行Parallelism

并发&#xff08;Concurrency&#xff09;和并行&#xff08;Parallelism&#xff09;是系统设计中最容易被误解的两个概念。 虽然它们听起来很相似&#xff0c;但实际上指的是处理任务的两种截然不同的方法。 简单来说&#xff0c;一个是关于同时管理&#xff08;manage&…
阅读更多...
FPGA学习（一）——DE2-115开发板编程入级

FPGA学习（一）——DE2-115开发板编程入级

FPGA学习&#xff08;一&#xff09;——DE2-115开发板编程入级 一、实验目的 通过 1 位全加器的详细设计&#xff0c;深入掌握原理图输入以及 Verilog 的两种设计方法&#xff0c;熟悉 Quartus II 13.0 软件的使用流程&#xff0c;以及在 Intel DE2-115 开发板上的硬件测试过…
阅读更多...
最新文章

Copyright @ 2022~2023