版本信息:

apache-zookeeper-3.7.1-bin.tar.gzkafka_2.12-2.8.2.tgzkibana-7.12.0-linux-x86_64.tar.gzelasticsearch-7.12.0-linux-x86_64.tar.gzlogstash-7.9.2.tar.gz

一.

zookeeper配置启动2181  

前置条件:  1.安装jdk 2.添加默认配置文件zoo.cfg
二.

启动kafka9092

前置条件:安装zk
三.

启动es9200  

前置条件:不支持root启动,非root启动
四.

启动kibana5601

前置条件:1.不支持root启动,非root启动   2.修改监听地址--默认127.0.0.1
 

logstash配置:

cat /data/accu01/elk/logstash-7.9.2/config/logstash.conf 
input {kafka {bootstrap_servers => "xxx.0.217.27:9092"topics_pattern => "e.*"consumer_threads => 5decorate_events => truecodec => "json"auto_offset_reset => "latest"group_id => "acctlog"}
}
output {elasticsearch {hosts => ["xxx.0.120.198:9200"]#index => "%{[appname]}@%{+YYYY-MM-dd}"index => "acct_async_handle@%{+YYYY-MM-dd}"user => "acctsysmonitor"password => "*******"}
}
filter {
}

进行测试:

#创建topic     
bin/kafka-topics.sh --create --topic elk-20230504 --bootstrap-server xxx.0.217.27:9092
#查看topic
./kafka-topics.sh --zookeeper 127.0.0.1:2181 --list#写入数据bin/kafka-console-producer.sh --topic elk-20230504 --bootstrap-server xxx.0.217.27:9092{"age":10,"id":1,"name":"用户1","acctlog","acctlog2"}

kibana查看结果:

GET /acct_async_handle@2023-05-04?pretty

补充其他es常用命令:

查看版本   GET /

查看所有索引 GET /_cat/indices?v