【云原生监控】Prometheus之Alertmanager报警

ops/2024/9/24 17:27:14/

Prometheus之Alertmanager报警

文章目录

  • Prometheus之Alertmanager报警
    • 概述
    • 资源列表
    • 基础环境
    • 一、部署Prometheus服务
      • 1.1、解压
      • 1.2、配置systemctl启动
      • 1.3、监控端口
    • 二、部署Node-Exporter
      • 2.1、解压
      • 2.2、配置systemctl启动
      • 2.3、监听端口
    • 三、配置Prometheus收集Exporter采集的数据
      • 3.1、编辑Prometheus配置文件
      • 3.2、重新加载Prometheus服务
      • 3.3、访问Prometheus仪表盘
    • 四、部署Alertmanager报警工具
      • 4.1、下载软件包
      • 4.2、解压软件包
    • 五、配置Alertmanager邮件报警
      • 5.1、编辑Alertmanager配置文件
      • 5.2、启动Alertmanager
      • 5.3、监听端口
    • 六、配置Prometheus报警规则
      • 6.1、编辑配置文件
      • 6.2、编辑规则文件
      • 6.3、Prometheus的配置文件语法检查
      • 6.4、重新加载Prometheus服务
    • 七、模拟被监控端挂掉

概述

  • Prometheus通过 规则文件对比抓取到的数据，来判断是否触发告警，我们通过配置告警的工具Alertmanager进行告警通知。
  • 规则文件，写的就是，当我们获取到PromeSQL的值到达一个设置的规则后，触发告警，也就是说，规则文件，是触发告警的关键，而Alertmanager是告警的手段、工具。

资源列表

操作系统配置主机名IP所需软件
CentOS 7.92C4Gprometheus192.168.93.101prometheus-2.37.8.linux-amd64.tar.gz
CentOS 7.92C4Galertmanager192.168.93.102node_exporter-1.6.1.linux-amd64.tar.gz
alertmanager-0.26.0.linux-amd64.tar.gz

基础环境

  • 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
  • 关闭内核安全机制
setenforce 0
sed -i "s/^SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config
  • 修改主机名
hostnamectl set-hostname prometheus
hostnamectl set-hostname alertmanager

一、部署Prometheus服务

  • 作用：收集数据和展示数据

1.1、解压

[root@prometheus ~]# tar -zxvf prometheus-2.37.8.linux-amd64.tar.gz
  • 移动至指定目录
[root@prometheus ~]# mv prometheus-2.37.8.linux-amd64 /usr/local/prometheus

1.2、配置systemctl启动

[root@prometheus ~]# cat >> /etc/systemd/system/prometheus.service << EOF
[Unit]
Description=xinjizhiwa Prometheus Server
Documentation=https://prometheus.io/docs/introduction/overview/
After=network.target
[Service]
Restart=on-failure
ExecStart=/usr/local/prometheus/prometheus \
--config.file=/usr/local/prometheus/prometheus.yml \
--web.enable-lifecycle
ExecReload=/bin/kill -HUP \$MAINPID
LimitNOFILE=65535[Install]
WantedBy=multi-user.target
EOF
  • 加载并启动服务
[root@prometheus ~]# systemctl enable prometheus.service --now

1.3、监控端口

  • Prometheus默认监听9090端口
[root@prometheus ~]# netstat -anpt | grep 9090
tcp6       0      0 :::9090                 :::*                    LISTEN      8311/prometheus     
tcp6       0      0 ::1:9090                ::1:35776               ESTABLISHED 8311/prometheus     
tcp6       0      0 ::1:35776               ::1:9090                ESTABLISHED 8311/prometheus

二、部署Node-Exporter

  • 作用：用来收集节点上的数据

2.1、解压

[root@alertmanager ~]# tar -zxvf node_exporter-1.6.1.linux-amd64.tar.gz
  • 移动至指定目录
[root@alertmanager ~]# mv node_exporter-1.6.1.linux-amd64 /usr/local/node_exporter

2.2、配置systemctl启动

[root@alertmanager ~]# cat > /etc/systemd/system/node-exporter.service << EOF
[Unit]
Description=xinjizhiwa node-exporter
Documentation=https://prometheus.io/docs/introduction/overview/
After=network.target[Service]
Restart=on-failure
ExecStart=/usr/local/node_exporter/node_exporter
ExecReload=/bin/kill -HUP \$MAINPID
LimitNOFILE=65535[Install]
WantedBy=multi-user.target
EOF
  • 加载并启动服务
[root@alertmanager ~]# systemctl daemon-reload 
[root@alertmanager ~]# systemctl enable node-exporter.service --now

2.3、监听端口

  • node-exporter默认监听9100端口
[root@alertmanager ~]# netstat -anpt | grep 9100
tcp6       0      0 :::9100                 :::*                    LISTEN      8320/node_exporter

三、配置Prometheus收集Exporter采集的数据

  • node-exporter会把数据统一收集，等待Prometheus进行收集数据展示

3.1、编辑Prometheus配置文件

[root@prometheus ~]# grep -v "#" /usr/local/prometheus/prometheus.yml
global:alerting:alertmanagers:- static_configs:- targets:rule_files:scrape_configs:- job_name: "prometheus"static_configs:- targets: ["localhost:9090"]
####################################################- job_name: "alertmanager"static_configs:- targets: ["192.168.93.102:9100"]
####################################################

3.2、重新加载Prometheus服务

  • 此次的加载方式不适用systemctl进行加载的
[root@prometheus ~]# curl -X POST http://192.168.93.101:9090/-/reload

3.3、访问Prometheus仪表盘

  • 访问地址：http://192.168.93.101:9090

  • 依次点击Status>Targets

  • 此时，就会看到，新配置的被监控项主体的指标列表
    在这里插入图片描述

四、部署Alertmanager报警工具

4.1、下载软件包

[root@alertmanager ~]# wget https://github.com/prometheus/alertmanager/releases/download/v0.26.0/alertmanager-0.26.0.linux-amd64.tar.gz

4.2、解压软件包

[root@alertmanager ~]# tar -zxvf alertmanager-0.26.0.linux-amd64.tar.gz[root@alertmanager ~]# mv alertmanager-0.26.0.linux-amd64 /usr/local/alertmanager

五、配置Alertmanager邮件报警

5.1、编辑Alertmanager配置文件

[root@alertmanager ~]# cat /usr/local/alertmanager/alertmanager.yml 
#一、发件人信息配置
global:#解析失败超时时间；resolve_timeout: 5m#【发件人】邮箱smtp_from: '2516786946@qq.com'#【邮箱官方主机】地址及端口smtp_smarthost: 'smtp.qq.com:465'#【发件人名称】邮箱smtp_auth_username: 'wzh@qq.com'#【发件人】邮箱授权码smtp_auth_password: 'sqwmtjbnsbrlebie'#发送信息是否tls加密smtp_require_tls: falsesmtp_hello: 'qq.com'
#二、报警的间隔信息配置；
route:group_by: ['alertname']group_wait: 5sgroup_interval: 5s#重复报警的间隔时间，如果报警问题没有解决，则会间隔指定的时间继续触发报警，比如5分钟；repeat_interval: 5m#采用什么报警方式？本次学习，我们使用邮箱；receiver: 'email'
#三、接收告警的目标信息编辑；谁来接收告警？
receivers:
#定义接收者名称
- name: 'email'email_configs:#【收件人】- to: '2516786946@qq.com'send_resolved: true
inhibit_rules:- source_match:#匹配的告警级别severity: 'critical'target_match:severity: 'warning'equal: ['alertname', 'dev', 'instance']

5.2、启动Alertmanager

# 此命令是前台启动命令
[root@alertmanager ~]# /usr/local/alertmanager/alertmanager

5.3、监听端口

  • Alertmanager默认监听9093端口
[root@alertmanager ~]# netstat -anpt | grep 9093
tcp6       0      0 :::9093                 :::*                    LISTEN      8393/alertmanager

六、配置Prometheus报警规则

6.1、编辑配置文件

[root@prometheus ~]# cat /usr/local/prometheus/prometheus.yml 
global:scrape_interval: 3s evaluation_interval: 15s alerting:alertmanagers:- static_configs:- targets:- 192.168.93.102:9093  ### 报警的中间件地址(Alertmanager的访问地址)rule_files:- "/usr/local/prometheus/rules.yml"  ### 规则文件地址scrape_configs:- job_name: "prometheus"static_configs:- targets: ["localhost:9090"]- job_name: "alertmanager"static_configs:- targets: ["192.168.93.102:9100"]

6.2、编辑规则文件

  • 规则文件内容：当监控数据，到达什么数值后，触发Alertmanager的报警
[root@prometheus ~]# cat /usr/local/prometheus/rules.yml
groups:
- name: wzh-alertrules:- alert: 102节点挂掉啦          #当promeQL这个语句=0时（节点挂掉），开始报警expr: up{instance="192.168.93.102:9100"} == 0  # PromeSQL语言(up{instance="192.168.93.102:9100"})#连续3s=0才触发报警；for: 3slabels:prometheus: wzh#被监控节点ipnode: 192.168.93.102annotations:summary: "{{ $lables.instance }} 已停止运行超过 3s！"

6.3、Prometheus的配置文件语法检查

[root@prometheus ~]# cd /usr/local/prometheus/

[root@prometheus prometheus]# ./promtool check config prometheus.yml 
Checking prometheus.ymlSUCCESS: 1 rule files foundSUCCESS: prometheus.yml is valid prometheus config file syntaxChecking /usr/local/prometheus/rules.ymlSUCCESS: 1 rules found

6.4、重新加载Prometheus服务

[root@prometheus prometheus]# curl -X POST http://192.168.93.101:9090/-/reload

七、模拟被监控端挂掉

  • 如果一直没有发送报警，可以选择多次重启Prometheus服务和Alertmanager服务
[root@alertmanager ~]# systemctl stop node-exporter.service

在这里插入图片描述


http://www.ppmy.cn/ops/115378.html

相关文章

【MySQL】使用C语言连接数据库

【MySQL】使用C语言连接数据库

看到标题&#xff0c;可能会疑惑&#xff0c;我们学习的不是C吗&#xff0c;为什么使用C语言去连接数据库呢??实际上&#xff0c;这两种语言都可以连接数据库&#xff0c;但是C语言提供的API没有进行封装&#xff0c;更有利于我们学习数据库连接。面向API编程&#xff0c;哈哈…
阅读更多...
JS 的行为设计模式：策略、观察者与命令模式

JS 的行为设计模式：策略、观察者与命令模式

JS 的行为设计模式&#xff1a;策略、观察者与命令模式 在软件开发中&#xff0c;设计模式是解决特定问题的通用解决方案。行为设计模式专注于对象之间的通信和职责分配。本文将介绍三种常用的行为设计模式&#xff1a;策略模式、观察者模式和命令模式&#xff0c;以及它们的主…
阅读更多...
Android中的引用类型：Weak Reference, Soft Reference, Phantom Reference 和 WeakHashMap

Android中的引用类型：Weak Reference, Soft Reference, Phantom Reference 和 WeakHashMap

在Android开发中&#xff0c;内存管理是一个非常重要的话题。为了更好地管理内存&#xff0c;Java和Android提供了多种引用类型&#xff0c;包括Weak Reference、Soft Reference、Phantom Reference以及WeakHashMap。这些引用类型在不同的场景下可以帮助我们更有效地管理内存&a…
阅读更多...
【IDEA配置Maven环境】

【IDEA配置Maven环境】

在IDEA欢迎界面 选择 IDEA中 Customize > ALLSettings > Build,Execution,Deployment > Build Tools > Maven
阅读更多...
汽车软件开发之敏捷开发

汽车软件开发之敏捷开发

一、前言 目前汽车电子产品&#xff0c;特别是汽车几大域控&#xff08;如&#xff1a;智能座舱、智能驾驶、智能网联、车身控制&#xff09;市场竞争激烈&#xff0c;消费者对汽车的需求逐渐多元化和个性化&#xff0c;用户对座舱和智驾产品的要求也越来越高。他们不仅要求产…
阅读更多...
c++249多态

c++249多态

#include<iostream> using namespace std; class Parent { public:Parent(int a){this->a a;cout << " Parent" << a << endl;} public:virtual void print()//在子类里面可写可不写 {cout << "Parent" <<a<&l…
阅读更多...
oracle生成时间戳字符的两种方法

oracle生成时间戳字符的两种方法

在Oracle中&#xff0c;生成时间戳字符串可以通过两种方式实现&#xff1a;使用SYSTIMESTAMP函数和使用TO_CHAR函数。 方法一&#xff1a;使用SYSTIMESTAMP函数 SELECT SYSTIMESTAMP FROM DUAL; 方法二&#xff1a;使用TO_CHAR函数 SELECT TO_CHAR(SYSTIMESTAMP, YYYY-MM-D…
阅读更多...
jspdf踩坑 htmltocanvas

jspdf踩坑 htmltocanvas

Maximum call stack size exceeded Occurred while linting D:\project\static\simhei-normal.js:2 at String.match (<anonymous>) at Array.forEach (<anonymous>) at Array.forEach (<anonymous>) 解决方案是换到jspdf.js目录里
阅读更多...
最新文章

Copyright @ 2022~2023