官方文档
一、安装依赖
-
删除原有的jdk
sudo apt remove --purge openjdk-\* sudo apt clean
-
安装 Java (JDK 11+)
sudo apt install openjdk-11-jdk -y # 验证安装 java -version
二、下载并解压 Kafka
-
下载 Kafka
wget https://dlcdn.apache.org/kafka/3.9.0/kafka_2.13-3.9.0.tgz
-
解压并进入目录
tar -xzf kafka_2.13-3.9.0.tgz cd kafka_2.13-3.9.0
三、配置 Kafka
- 修改 Kafka 配置
vim config/server.properties #内容: listeners=PLAINTEXT://0.0.0.0:9092 advertised.listeners=PLAINTEXT://localhost:9092
四、启动服务
-
启动 Zookeeper(新终端)
bin/zookeeper-server-start.sh config/zookeeper.properties
-
启动 Kafka(新终端)
bin/kafka-server-start.sh config/server.properties
五、测试 Kafka
-
创建 Topic
bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092
-
查看 Topic
bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092
-
启动生产者
bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092 >hello kafka >hello kafka
-
启动消费者(新终端)
bin/kafka-console-consumer.sh --topic test-topic --bootstrap-server localhost:9092 --from-beginning
六、使用Kafka Connect导入/导出数据
-
配置连接器
编辑config/connect-standalone.properties
,添加插件路径:echo "plugin.path=libs/connect-file-3.9.0.jar" >> config/connect-standalone.properties
-
创建测试文件
echo -e "foo\nbar" > test.txt
-
启动连接器
bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
-
验证数据导入(新终端)
more test.sink.txt
七、停止服务
-
停止 Kafka
bin/kafka-server-stop.sh
-
停止 Zookeeper
bin/zookeeper-server-stop.sh