OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标（视频）

news/2025/3/23 10:14:09/

《OpenShift / RHEL / DevSecOps 汇总目录》
说明：本文已经在 OpenShift 4.13 的环境中验证

文章目录

  • OpenShift 的监控功能构成
  • 部署被监控应用
  • 用 OpenShift 内置功能监控应用
  • 用 Grafana 监控应用
    • 安装 Grafana 运行环境
    • 配置 Grafana 数据源
    • 定制监控 Dashboard
  • 演示视频
  • 参考

OpenShift 的监控功能构成

构成 OpenShift 监控功能的附件分为两部分：“平台监控组件” 和 “用户项目监控组件”。

  • 在平台监控组件中包括：Prometheus、Thanos Querier 和 Alertmanager 三部分重要组成，这些组件是由 Cluster Monitoring Operator 总体部署和管理生命周期的。通过平台监控组件可以对 OpenShift 集群的 DNS、日志系统、etcd、Kubelet、API Server、Scheduler 等重要环境进行监控。
  • 用户项目监控组件是对用户自有项目中应用资源进行监控。它由单独的 Prometheus、Thanos Ruler 构成，并共用平台的 Alertmanager 和 Thanos Querier 组件。
    在这里插入图片描述
    除了可以使用 OpenShift 控制台内置的监控功能和界面外，还可通过 Thanos Querier 的访问地址外接其他监控软件，例如使用 Grafana 定制的仪表盘显示 OpenShift 或用户应用的运行情况。

部署被监控应用

  1. 创建项目
$ oc new-project app-monitoring
  1. 部署测试应用
$ oc new-app quay.io/brancz/prometheus-example-app:v0.2.0 -l app=prometheus-example-app
  1. 创建 Service 和 Route。
$ cat << EOF | oc apply -f -
apiVersion: v1
kind: Service
metadata:labels:app: prometheus-example-appname: prometheus-example-app
spec:ports:- port: 8080protocol: TCPname: 8080-tcpselector:app: prometheus-example-apptype: ClusterIP
EOF$ oc expose svc prometheus-example-app
  1. 分别访问应用缺省地址和 /err 地址，返回的 HTTP 代码分别为 200 和 404。
$ curl -sw "%{http_code}\n" -o /dev/null $(oc get route prometheus-example-app -ojsonpath={.spec.host})
200
$ curl -sw "%{http_code}\n" -o /dev/null $(oc get route prometheus-example-app -ojsonpath={.spec.host})/err
404
  1. 访问应用的 /metrics 地址，查看应用返回的 HTTP 代码为 200 和 404 请求数量统计。
$ curl $(oc get route prometheus-example-app -ojsonpath={.spec.host})/metrics
# HELP http_requests_total Count of all HTTP requests
# TYPE http_requests_total counter
http_requests_total{code="200",method="get"} 1
http_requests_total{code="404",method="get"} 1
# HELP version Version information about this binary
# TYPE version gauge
version{version="v0.2.0"} 1

说明：
也可在控制台上部署 quay.io/brancz/prometheus-example-app:v0.2.0 容器镜像，但需要增加 app=prometheus-example-app 标签，并且去掉 “安全路由” 选项。

用 OpenShift 内置功能监控应用

  1. 启用 OpenShift 对用户应用监控功能。
$ cat << EOF | oc apply -f -
apiVersion: v1
kind: ConfigMap
metadata:name: cluster-monitoring-confignamespace: openshift-monitoring
data:config.yaml: |enableUserWorkload: true
EOF
  1. 确认主要监控服务云子运行正常。
$ oc get pod -n openshift-user-workload-monitoring
NAME                                   READY   STATUS    RESTARTS      AGE
prometheus-operator-77d547b4dc-fcflk   2/2     Running   0             34h
prometheus-user-workload-0             6/6     Running   0             34h
thanos-ruler-user-workload-0           4/4     Running   0             34h
  1. 创建对 prometheus-example-app 应用监控的 ServiceMonitor 对象。
$ cat << EOF | oc apply -f -
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:name: prometheus-example-monitornamespace: app-monitoring
spec:endpoints:- interval: 30sport: 8080-tcppath: /metricsselector:matchLabels:app: prometheus-example-app
EOF
  1. 创建完后在 OpenShift 的 “目标” 菜单中在 “过滤器” 中选择 “用户”，稍等后可以看到目标的监视端点。
    在这里插入图片描述
    该端点地址是运行应用的 Pod 使用的 IP 地址。
$ oc get pod -owide
NAME                                     READY   STATUS    RESTARTS   AGE     IP             NODE                 NOMINATED NODE   READINESS GATES
prometheus-example-app-b744f9c85-bmk7p   1/1     Running   0          6m15s   10.217.0.123   crc-2zx29-master-0   <none>           <none>
  1. 创建 PrometheusRule。下面的 expr 表达式会统计过去 5 分钟 HTTP 请求返回结果是 404 的每秒速率，如果 > 0.3 则报警。
$ cat << EOF | oc apply -f -
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:name: app-alertnamespace: app-monitoring
spec:groups:- name: app-alertrules:- alert: HttpRequestErrorRateIncreaseexpr: rate(http_requests_total{code="404",job="prometheus-example-app"}[5m]) > 0.3labels:severity: warningannotations:summary: Prometheus example app's error rate increase.message: Prometheus example app's error rate increase.
EOF

创建完后可以在“报警” 菜单中的 “报警规则” 页面中通过将 “过滤器” 中选择 “用户”，可以看到该报警规则。
在这里插入图片描述

  1. 执行以下命令，持续访问应用的 /err 地址。
$ for i in `seq 1 10000`
docurl -sw "%{http_code}\n" -o /dev/null $(oc get route prometheus-example-app -ojsonpath={.spec.host})/errsleep 1
done
  1. 在 OpenShift 的 “指标” 页面中先将输入查询条件设为 “rate(http_requests_total{code=“404”,job=“prometheus-example-app”}[5m])”，然后点击 “运行查询”。再将时间设为 5m，并将页面刷新时间设置为 15秒。在等待一会儿后可以看到值已经超过 0.3。
    在这里插入图片描述
  2. 在 OpenShift 的 “报警” 页面中的 “过滤器” 中选中 “用户” ，确认已经被触发。
    在这里插入图片描述
  3. 点击上图的 HttpRequestErrorRateIncrease，然后可以看到和步骤 7 类似的指标监控图。
    在这里插入图片描述
  4. 另外，在 app-monitoring 项目中也可以看到 HttpRequestErrorRateIncrease 报警。
    在这里插入图片描述

用 Grafana 监控应用

安装 Grafana 运行环境

  1. 创建 my-grafana 项目，然后在其中安装 Grafana Operator v4 版本。
    在这里插入图片描述
  2. 执行以下命令，创建一个名为 my-grafana 的 Grafana 实例。注意：以下 YAML 中的 dataStorage 使用了 OpenShift 缺省的存储类。
$ cat << EOF | oc apply -f -
apiVersion: integreatly.org/v1alpha1
kind: Grafana
metadata:name: my-grafananamespace: my-grafana
spec:config:security:admin_user: adminadmin_password: my-passworddataStorage:accessModes:- ReadWriteOncesize: 1Giingress:enabled: truetls:enabled: true
EOF
  1. 创建名为 grafana-view 的 clusterrolebinding，为所有命名空间的 grafana-serviceaccount 提供 cluster-monitoring-view 角色。
$ oc create clusterrolebinding grafana-view --clusterrole=cluster-monitoring-view --serviceaccount=my-grafana:grafana-serviceaccount

配置 Grafana 数据源

  1. 执行命令创建一个 GrafanaDataSource，其中使用了基于 grafana-serviceaccoun 的 token 来访问 Thanos Querier。
$ TOKEN=$(oc create token grafana-serviceaccount -n my-grafana)
$ cat << EOF | oc apply -f -
apiVersion: integreatly.org/v1alpha1
kind: GrafanaDataSource
metadata:name: prometheusnamespace: my-grafana
spec:datasources:- basicAuthUser: internalaccess: proxyeditable: truesecureJsonData:httpHeaderValue1: >-Bearer ${TOKEN}name: Prometheusurl: 'https://thanos-querier.openshift-monitoring.svc.cluster.local:9091'jsonData:httpHeaderName1: AuthorizationtimeInterval: 5stlsSkipVerify: truebasicAuth: falseisDefault: trueversion: 1type: prometheusname: test_name
EOF
  1. 访问 grafana-route 对应的 Grafana 页面，然后使用创建 my-grafana 实例时指定的用户和密码登录。
    在这里插入图片描述
  2. 进入 Configuration 的 Data Sources 菜单，可以看到名为 Prometheus 的数据源，点击进入。
    在这里插入图片描述
  3. 点击页面下方的 “ Save & Test”，确认显示 Data srouce is working。
    在这里插入图片描述

定制监控 Dashboard

  1. 进入 Create 的 Dashboard 菜单。
    在这里插入图片描述
  2. 在 New dashboard 页面点击 Add an empty panel。
    在这里插入图片描述
  3. 在下图中为 Metrics 提供以下内容，然后将 Panel title 设为 Example App Err Rate，最后点击 Apply 按钮。
rate(http_requests_total{code="404",job="prometheus-example-app"}[5m])

在这里插入图片描述
4. 在 Dashboard 页面点击右上方的 Dashboard settings 图标。
在这里插入图片描述
5. 设置 Name，然后保存。
在这里插入图片描述
6. 最后通过定制的 Dashboard 监控的应用指标如下图。
在这里插入图片描述

演示视频

演示视频

参考

https://github.com/k-srkw/openshift-monitoring-handson/blob/main/monitoring-handson.md
https://cloud.redhat.com/blog/your-guide-to-openshift-observability-part-1
https://access.redhat.com/solutions/5335491
https://access.redhat.com/documentation/en-us/openshift_container_platform/4.5/html/monitoring/monitoring-your-own-services
https://catalog.workshops.aws/aws-openshift-workshop/en-US/8-observability/2-metrics/5-app-dashboard
https://github.com/brancz/prometheus-example-app
https://developers.redhat.com/articles/2023/08/08/how-monitor-workloads-using-openshift-monitoring-stack#how_to_monitor_a_sample_application
https://shonpaz.medium.com/monitor-your-application-metrics-using-the-openshift-monitoring-stack-862cb4111906
https://github.com/OpenShiftDemos/openshift-ops-workshops/blob/ocp4-dev/workshop/content/monitoring-basics.adoc
https://github.com/pittar/openshift-user-workload-monitoring
https://github.com/alvarolop/quarkus-observability-app/blob/main/README.adoc
https://prometheus.io/docs/prometheus/latest/querying/basics/
https://github.com/alvarolop/quarkus-observability-app


http://www.ppmy.cn/news/1071422.html

相关文章

java错误处理百科

java错误处理百科

一、业务开发缺陷 ① 工期紧、逻辑复杂&#xff0c;开发人员会更多地考虑主流程逻辑的正确实现&#xff0c;忽略非主流程逻辑&#xff0c;或保障、补偿、一致性逻辑的实现&#xff1b; ② 往往缺乏详细的设计、监控和容量规划的闭环&#xff0c;结果就是随着业务发展出现各种各…
阅读更多...
Quartz学习笔记大全（不定期更新）

Quartz学习笔记大全（不定期更新）

快速掌握原理 Quartz 是一个开源的作业调度框架&#xff0c;用于在指定的时间触发和执行任务。它的原理可以简单描述为以下几个步骤&#xff1a; 通过调度器创建作业&#xff1a;Quartz 提供了调度器&#xff08;Scheduler&#xff09;来创建和管理作业。我们可以使用调度器来…
阅读更多...
Java基础二十（接口）

Java基础二十（接口）

1. 接口 java 中接口作用和生活中的接口类似&#xff0c;它提供一种约定&#xff0c;使实现接口的类在形式上保持一致。 抽象类中可以有普通方法二接口中的方法默认都是抽象的&#xff0c;也可以说接口是一个特殊的 抽象类 &#xff0c;接口不能被实例化&#xff0c;而且没有构…
阅读更多...
雪花算法实现原理和精度失效问题

雪花算法实现原理和精度失效问题

一、雪花算法的实现原理 雪花算法是一个全局唯一算法&#xff0c;它主要出现在像分库分表场景中作为业务主键、 或者作为一些像订单号这类的 id 生成器。 所以单纯就全局唯一性质来说&#xff0c;有很多的实现方式&#xff0c;比如 UUID &#xff0c; Redis 的原子递增 &#…
阅读更多...
road to master

road to master

零、学习计划 数据库相关 索引 我以为我对数据库索引很了解&#xff0c;直到我遇到了阿里面试官 - 知乎 (zhihu.com)给我一分钟&#xff0c;让你彻底明白MySQL聚簇索引和非聚簇索引 - 知乎 (zhihu.com)聚集索引&#xff08;聚类索引&#xff09;与非聚集索引&#xff08;非聚类…
阅读更多...
编程之道：【性能优化】提高软件效率的实际建议和避免常见陷阱

编程之道：【性能优化】提高软件效率的实际建议和避免常见陷阱

在今天的数字化世界中&#xff0c;软件性能是应用程序成功的关键之一。无论是网页加载速度、移动应用的响应时间还是后端服务器的处理速度&#xff0c;性能都直接影响着用户满意度。在追求高性能时&#xff0c;开发人员需要采取一系列实际建议&#xff0c;同时避免常见的陷阱。…
阅读更多...
无涯教程-Python机器学习 - Extra Trees函数

无涯教程-Python机器学习 - Extra Trees函数

它是袋装决策树集成方法的另一种扩展。在这种方法中,从训练数据集的样本中构建随机树。 在以下Python食谱中,我们将通过在Pima Indians糖尿病数据集上使用sklearn的ExtraTreesClassifier类来构建额外的树集成模型。 首先,导入所需的软件包,如下所示: from pandas import rea…
阅读更多...
博流RISC-V芯片Eclipse环境搭建

博流RISC-V芯片Eclipse环境搭建

文章目录 1、下载 Eclipse2、导入 bouffalo_sdk3、编译4、烧录5、使用ninja编译 之前编译是通过 VSCode 编译&#xff0c;通过手工输入 make 命令编译&#xff0c;我们也可以通过 Eclipse 可视化 IDE 来编译、烧录。 1、下载 Eclipse 至 Eclipse 官网 https://www.eclipse.org…
阅读更多...
最新文章

Copyright @ 2022~2023