安装kafka集群监控以及监控指标项整理

news/2025/1/15 18:06:09/

安装kafka集群监控

集团的kafka集群,是保障集团消息的生产和消费的情况,需要我们运维人员进行实时监控,目前这套生产可用

安装步骤
[root@gtcq-gt-resource2-db-01 opt]# cd /opt/ ;scp root@10.152.17.11:/opt/kafka* /opt
root@10.152.17.11's password: 
kafka_exporter-1.2.0.linux-amd64.tar.gz                                                                                    100% 4129KB  84.1MB/s   00:00    
[root@gtcq-gt-resource2-db-01 opt]# tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz  -C /usr/local/
[root@gtcq-gt-resource2-db-01 local]# cd kafka_exporter-1.2.0.linux-amd64/
[root@gtcq-gt-resource2-db-01 kafka_exporter-1.2.0.linux-amd64]#  ./kafka_exporter --kafka.server=10.152.17.50:9092 &
[13] 46697
[root@gtcq-gt-resource2-db-01 kafka_exporter-1.2.0.linux-amd64]# INFO[0000] Starting kafka_exporter (version=1.2.0, branch=HEAD, revision=830660212e6c109e69dcb1cb58f5159fe3b38903)  source="kafka_exporter.go:474"
INFO[0000] Build context (go=go1.10.3, user=root@981cde178ac4, date=20180707-14:34:48)  source="kafka_exporter.go:475"
INFO[0000] Done Init Clients                             source="kafka_exporter.go:213"
INFO[0000] Listening on :9308                            source="kafka_exporter.go:499"[root@gtcq-gt-resource2-db-01 kafka_exporter-1.2.0.linux-amd64]#

对应的服务端口为9308

修改Prometheus配置文件
  ##kafka监控  - job_name: 'job-gtcq-gt-kafka'static_configs:- targets: ['10.152.17.50:9308']labels:service: gtcq-gt-kafka-service 
展示


kafka监控指标

1、kafka监控agent存活

PromQL语句:

up{job="job-gtcq-gt-kafka"} == 0

说明:检测kafka监控agent是否存活、或者是kafka服务是否挂掉

2、kafka监控集群节点数

PromQL语句:

kafka_brokers{job="job-gtcq-gt-kafka",service="gtcq-gt-kafka-service"} 

说明:检测kafka监控集群节点数、如果和实际不一致就告警

3、kafka监控消费延迟

PromQL语句:

sum(kafka_consumergroup_lag{instance="10.152.17.50:9308",job="job-gtcq-gt-kafka",service="gtcq-gt-kafka-service"})  by(topic,job) > 50000

说明:检测kafka监控消费延迟、如果消费延迟50000条就告警


http://www.ppmy.cn/news/256923.html

相关文章

prometheus监控传统环境监控(四)kafka监控

监控组件:kafka-exporter github地址:GitHub - imduffy15/kafka_exporter: Kafka exporter for Prometheus 启动: docker run -d \ --restartalways \ --restarton-failure:5 \ --name kafka_exporter \ -v /etc/localtime:/etc/localtime …

prometheus监控kafka

部署搭建参看:docker部署prometheusGrafanaaltermanager钉钉推送 一.docker安装kafka-exporter docker run --name kafka-exporter -p 9308:9308 danielqsj/kafka-exporter --kafka.server10.10.10.103:9092 --zookeeper.server10.10.10.103:2181 9093:kafka-e…

k8s部署prometheus(第一版)

k8s部署prometheus 1.下载prometheus文件 cd /soft/src git clone -b release-0.5 --single-branch https://github.com/coreos/kube-prometheus.git2.部署 这里部署之前最好改一下alertmanager-alertmanager.yaml这个文件,将replicas:改成2或者3,当为…

Aspose.Words功能演示:使用 C# 从 Word 文档中读取宏

Aspose.Words 是一种高级Word文档处理API,用于执行各种文档管理和操作任务。API支持生成,修改,转换,呈现和打印文档,而无需在跨平台应用程序中直接使用Microsoft Word。此外, Aspose API支持流行文件格式处…

kafka集群监控(kafka_exporterprometheusGrafana)

为了更直观的展示kafka实时消息生产速率以及某一topic下group_id与当前kafka之间的消息积压情况,采用kafka_exporter,promehues,grafana将相关指标实时展示 1. 下载 kafka_exporter(所在机器需与kafka集群网络相通) wget https://github.co…

【kafka 监控】Kafka_exporter+prometheus 监控kafka数据

一、kafka_exporter 安装步骤: Kafka_exporter是一款用于将Kafka集群的监控指标暴露给Prometheus的开源工具,可以用于监控Kafka集群的各种状态数据。下面是Kafka_exporter的安装和部署步骤: 环境准备 Java环境:Kafka_exporter需要…

BK3432,上海博通ble+spp双模低功耗蓝牙soc芯片,layou指南规格书

1、芯片-简介 BK3432芯片是一个高度集成的蓝牙4.2双模式,具有2 Mbps的数据速率选项。它集 成了一个高性能的射频收发器、基带、ARM9E核心、功能丰富的外围单元、可编程 协议和配置文件来支持BLE应用程序。闪存程序内存使它适合于定制的应用程序。 BK3432采用先进…

linux安装Promethus普罗米修斯监控

1.Node_export 下载地址:Releases prometheus/node_exporter GitHub node_export 用来监控主机信息,每台机器上都要部署一个该组件 cd ~/deployment/softwares tar -zxvf node_exporter-1.0.1.linux-amd64.tar.gz -C ~/monitor/ cd ~/monitor/ cd …