Prometheus服务器、Prometheus被监控端、Grafana、Prometheus服务器、Prometheus被监控端、Grafana

news/2024/11/19 2:18:05/

day03

day03Prometheus概述部署Prometheus服务器环境说明：配置时间安装Prometheus服务器添加被监控端部署通用的监控exporterGrafana概述部署Grafana展示node1的监控信息监控MySQL数据库配置MySQL配置mysql exporter配置mysql exporter配置prometheus监控mysql自动发现机制概述基于文件自动发现修改Prometheus使用自动发现配置web2接受Prometheus监控Alertmanager概述Alertmanager特性部署Alertmanager部署配置文件Prometheus与Alertmanager对接配置Alertmanager通过邮件发送告警

Prometheus概述

  • Prometheus是一个开源系统监控和警报工具包，最初由 SoundCloud构建。
  • 也是一款监控软件，也是一个时序数据库。Prometheus 将其指标收集并存储为时间序列数据，即指标信息与记录时的时间戳以及称为标签的可选键值对一起存储。
  • 主要用在容器监控方面，也可以用于常规的主机监控。
  • 使用google公司开发的go语言编写。
  • Prometheus是一个框架，可以与其他组件完美结合。

普罗米修斯架构

部署Prometheus服务器

环境说明：

  • Prometheus：192.168.88.5
  • web1：192.168.88.100

配置时间

# 1. 查看时区
[root@prometheus ~]# timedatectl 
               Local time: Sun 2023-01-01 11:15:11 CST
           Universal time: Sun 2023-01-01 03:15:11 UTC
                 RTC time: Sun 2023-01-01 03:15:11
                Time zone: Asia/Shanghai (CST, +0800)
System clock synchronized: no
              NTP service: inactive
          RTC in local TZ: no
 

# 2. 如果时区不正确，则改为正确的时区
 

[root@prometheus ~]# timedatectl set-timezone Asia/Shanghai
 

 

# 3. 查看时间
 

[root@prometheus ~]# date
 

 

# 4. 如果时间不正确，则改为正确的时间
 

[root@prometheus ~]# date -s "年月日 时:分:秒"
 

安装Prometheus服务器
 

  • 拷贝Prometheus相关软件包到服务器
  • 解压即部署 
 

[root@prometheus ~]# cd prometheus_soft/
 

[root@prometheus prometheus_soft]# tar xf prometheus-2.37.5.linux-amd64.tar.gz 
 

[root@prometheus prometheus_soft]# mv prometheus-2.37.5.linux-amd64 /usr/local/prometheus
 

  •  
    配置文件
     
    • 配置文件中包含三个配置块：global、rule_files和scrape_configs。
    • global块控制 Prometheus 服务器的全局配置。我们有两个选择。第一个，scrape_interval控制 Prometheus 抓取目标的频率。您可以为单个目标覆盖它。在这种情况下，全局设置是每 15 秒抓取一次。该evaluation_interval选项控制 Prometheus 评估规则的频率。Prometheus 使用规则来创建新的时间序列并生成警报。
    • rule_files块指定我们希望 Prometheus 服务器加载的任何规则的位置。现在我们还没有规则。
    • 最后一个块，scrape_configs控制 Prometheus 监控的资源。由于 Prometheus 还将有关自身的数据公开为 HTTP 端点，因此它可以抓取和监控自身的健康状况。在默认配置中，有一个名为 的作业prometheus，用于抓取 Prometheus 服务器公开的时间序列数据。该作业包含一个单一的、静态配置的目标，即localhost的9090端口。Prometheus期望度量在/metrics路径上的目标上可用，所以这个默认作业是通过 URL 抓取的：http://localhost:9090/metrics。
  •  
    编写服务启动文件并启动服务
     
 

[root@prometheus ~]# vim /usr/lib/systemd/system/prometheus.service
 

[Unit]
 

Description=Prometheus Monitoring System
 

After=network.target
 

 

[Service]
 

ExecStart=/usr/local/prometheus/prometheus \
 

  --config.file=/usr/local/prometheus/prometheus.yml \
 

  --storage.tsdb.path=/usr/local/prometheus/data/
 

 

[Install]
 

WantedBy=multi-user.target
 

 

# 启动服务
 

[root@prometheus prometheus_soft]# systemctl daemon-reload 
 

[root@prometheus prometheus_soft]# systemctl enable prometheus.service --now
 

[root@prometheus prometheus_soft]# ss -tlnp | grep :9090
 

LISTEN 0      128                *:9090             *:*    users:(("prometheus",pid=4396,fd=7))   
 

  • 访问web页面：http://192.168.88.5:9090/
 

 

image-20230101113449128
 

  • 查看监控自身的数据，如分配置给Prometheus运行的内存数量
 

 

 

 
 

image-20230101113710099
 

image-20230101113736210
 

image-20230101113806385
 

image-20230101113834660
 

添加被监控端
 

 
 

  •  
    监控方式：
     
    • 拉取：pull。监控端联系被监控端，采集数据
    • 推送：push。被监控端主动把数据发给监控端。在prometheus中，push的方式需要额外的组件pushgateway
  •  
    被监控端根据自身运行的服务，可以运行不同的exporter（被监控端安装的、可以与Prometheus通信，实现数据传递的软件）
     
  •  
    exporter列表：Exporters and integrations | Prometheus
     
 

部署通用的监控exporter
 

  • node-exporter用于监控硬件和系统的常用指标
  • exporter运行于被监控端，以服务的形式存在。每个exporter所使用的端口号都不一样。
  • 在web1[192.168.88.100]上部署node exporter
 

# 1. 拷贝node_exporter到web1
 

[root@prometheus ~]# scp prometheus_soft/node_exporter-1.5.0.linux-amd64.tar.gz 192.168.88.100:/root/
 

 

# 2. 解压即部署
 

[root@web1 ~]# tar xf node_exporter-1.5.0.linux-amd64.tar.gz 
 

[root@web1 ~]# mv node_exporter-1.5.0.linux-amd64 /usr/local/node_exporter
 

 

# 3. 创建服务文件，并启动服务
 

[root@web1 ~]# vim /usr/lib/systemd/system/node_exporter.service
 

[Unit]
 

Description=node_exporter
 

After=network.target
 

 

[Service]
 

Type=simple
 

ExecStart=/usr/local/node_exporter/node_exporter
 

 

[Install]
 

WantedBy=multi-user.target
 

 

[root@web1 ~]# systemctl daemon-reload 
 

[root@web1 ~]# systemctl enable node_exporter.service --now
 

[root@web1 ~]# ss -tlnp | grep :9100
 

LISTEN 0      128                *:9100             *:*    users:(("node_exporter",pid=7371,fd=3))   
 

  • 在Prometheus服务器上添加监控节点
 

# 1. 修改配置文件，追加以下内容。特别注意缩进
 

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml 
 

...略...
 

  - job_name: "web1"
 

    static_configs:
 

      - targets: ["192.168.88.100:9100"]
 

      
 

# 2. 重启服务
 

[root@prometheus ~]# systemctl restart prometheus.service 
 

  • 查看添加结果
 

 

image-20230101114941619
 

image-20230101115043246
 

Grafana
 

概述
 

  • Grafana是一款开源的、跨平台的、基于web的可视化工具
  • 展示方式：客户端图表、面板插件
  • 数据源可以来自于各种源，如prometheus
 

部署Grafana
 

  • 装包、启服务
 

 
 

[root@prometheus ~]# yum install -y prometheus_soft/grafana-enterprise-9.3.2-1.x86_64.rpm
 

[root@prometheus ~]# systemctl enable grafana-server.service --now
 

  • 初始化。访问http://192.168.88.5:3000。初始用户名和密码都是admin。第一次登陆时，要求改密码，本例中密码改为tedu.cn。如果登陆报错，请更换其他浏览器。
 

 

image-20230101115649033
 

image-20230101115718871
 

  • 修改主题
 

 

image-20230101115807124
 

image-20230101115913919
 

  • 对接Prometheus
 

 

 
 

 
 

image-20230101120045085
 

image-20230101120101824
 

image-20230101120152596
 

image-20230101120232019
 

添加仪表盘
 

image-20230101120312240
 

查看仪表盘
 

 

 

 
 

image-20230101120404419
 

image-20230101120420612
 

展示node1的监控信息
 

  • grafana模板下载：Dashboards | Grafana Labs
  • 导入主机监控模板。
 

image-20230101122436842
 

image-20230101122506881
 

 
 

 
 

image-20230101122938077
 

image-20230101123052661
 

image-20230101123133000
 

监控MySQL数据库
 

配置MySQL
 

[root@web1 ~]# yum install -y mysql-server
 

[root@web1 ~]# systemctl enable mysqld --now
 

[root@web1 ~]# mysql
 

mysql> create user dbuser1@localhost identified by '123456';
 

mysql> grant all privileges on *.* to dbuser1@localhost;
 

mysql> quit
 

配置mysql exporter
 

配置mysql exporter
 

 
 

# 1. 安装
 

[root@prometheus ~]# scp prometheus_soft/mysqld_exporter-0.14.0.linux-amd64.tar.gz 192.168.88.100:/root/
 

[root@web1 ~]# tar xf mysqld_exporter-0.14.0.linux-amd64.tar.gz 
 

[root@web1 ~]# mv mysqld_exporter-0.14.0.linux-amd64 /usr/local/mysqld_exporter
 

 

# 2. 编写用于连接mysql服务的配置文件
 

[root@web1 ~]# vim /usr/local/mysqld_exporter/.my.cnf
 

[client]
 

host=127.0.0.1
 

port=3306
 

user=dbuser1
 

password=123456
 

 

# 3. 创建service文件
 

[root@web1 ~]# vim /usr/lib/systemd/system/mysqld_exporter.service
 

[Unit]
 

Description=mysqld_exporter
 

After=network.target
 

 

[Service]
 

ExecStart=/usr/local/mysqld_exporter/mysqld_exporter \
 

--config.my-cnf=/usr/local/mysqld_exporter/.my.cnf
 

 

[Install]
 

WantedBy=multi-user.target
 

 

[root@web1 ~]# systemctl daemon-reload
 

[root@web1 ~]# systemctl enable mysqld_exporter.service --now
 

配置prometheus监控mysql
 

  • 修改配置文件，启动服务
 

# 1. 在配置文件中追加内容
 

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml 
 

...略...
 

  - job_name: "mysql"
 

    static_configs:
 

      - targets: ["192.168.88.100:9104"]
 

      
 

# 2. 重启服务
 

[root@prometheus ~]# systemctl restart prometheus.service 
 

  • 查看状态
 

 

image-20230101124615810
 

  • 在Grafana中展示数据
 

image-20230101124726484
 

image-20230101124747745
 

 
 

 
 

 
 

image-20230101124808001
 

image-20230101124837204
 

image-20230101125019404
 

自动发现机制
 

概述
 

  • 自动发现是指Prometheus自动对节点进行监控，不需要手动一个一个去添加，和Zabbix的自动发现、自动注册一个道理
  • Prometheus有多种自动发现发现，比如file_sd_configs基于文件自动发现、基于K8S自动发现、基于openstack自动发现、基于consul自动发现等。
 

基于文件自动发现
 

  • file_sd_configs实现文件级别的自动发现
  • 使用文件自动发现功能后，Prometheus会定期检查配置文件是否有更新
  • 如果有更新的话就将新加入的节点接入监控，服务端无需重启服务
 

修改Prometheus使用自动发现
 

  • 修改Prometheus
 

 
 

# 1. 备份现有配置文件
 

[root@prometheus ~]# cp /usr/local/prometheus/prometheus.yml ~
 

 

# 2. 修改配置文件，删除静态配置，添加自动发现配置
 

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml
 

# 将scrape_configs及以下内容修改为：
 

 21 scrape_configs:
 

 22   - job_name: "prometheus"
 

 23     file_sd_configs:
 

 24       - refresh_interval: 120s
 

 25         files:
 

 26           - /usr/local/prometheus/sd_config/*.yml
 

 

 # 3. 重启服务
 

 [root@prometheus ~]# systemctl restart prometheus.service 
 

  • web中将没有任何监控项目
 

 

image-20230101163609583
 

  • 创建自动发现规则文件
 

[root@prometheus ~]# mkdir /usr/local/prometheus/sd_config
 

[root@prometheus ~]# vim /usr/local/prometheus/sd_config/discovery.yml
 

- targets:
 

    - 192.168.88.5:9090
 

    - 192.168.88.100:9100
 

    - 192.168.88.100:9104
 

  • 大概2分钟之后，刷新target web页面
 

 

image-20230101164323732
 

配置web2接受Prometheus监控
 

  • 将web1的node exporter拷贝到web2
 

 
 

[root@web1 ~]# scp -r /usr/local/node_exporter 192.168.88.200:/usr/local/
 

[root@web1 ~]# scp /usr/lib/systemd/system/node_exporter.service 192.168.88.200:/usr/lib/systemd/system/
 

  • 启服务
 

[root@web2 ~]# systemctl daemon-reload 
 

[root@web2 ~]# systemctl enable node_exporter.service --now
 

  • 修改自动发现文件
 

[root@prometheus ~]# vim /usr/local/prometheus/sd_config/discovery.yml 
 

- targets:
 

    - 192.168.88.5:9090
 

    - 192.168.88.100:9100
 

    - 192.168.88.100:9104
 

    - 192.168.88.200:9100
 

  • 大概2分钟之后，刷新target web页面
 

 

image-20230101165023389
 

  • 在Grafana上查看结果
 

image-20230101165908097
 

image-20230101170102759
 

 
 

 

 
 

image-20230101170136671
 

Alertmanager
 

概述
 

  • Prometheus服务器中的告警规则向Alertmanager发送告警。然后，Alertmanager管理这些告警，包括静默、抑制、分组以及通过电子邮件、即时消息系统和聊天平台等方法发出通知。
 

 

 
 

alertmanager
 

  •  
    设置告警和通知的主要步骤是：
     
    • 设置和配置Alertmanager
    • 配置Prometheus与Alertmanager对接
    • 在普罗米修斯中创建告警规则
  •  
    在Prometheus中一条告警规则主要由以下几部分组成：
     
    • 告警名称：用户需要为告警规则命名
    • 告警规则：告警规则实际上主要由PromQL进行定义，其实际意义是当表达式（PromQL）查询结果持续多长时间（During）后出发告警
 

Alertmanager特性
 

features
 

 
 

 
 

  • Alertmanager处理客户端应用程序(如Prometheus服务器)发送的警报。它负责重复数据删除、分组，并将其路由到正确的接收方集成
  • 分组：分组将性质相似的警报分类到单个通知中。这在较大的停机期间特别有用，此时许多系统同时发生故障，数百到数千个警报可能同时发出。
  • 抑制：抑制是当某一告警发出后，可以停止重复发送由此告警引发的其它告警的机制。
  • 静默提供了一个简单的机制可以快速根据标签对告警进行静默处理。如果接收到的告警符合静默的配置， Alertmanager则不会发送告警通知。静默设置需要在Alertmanager的Web页面上进行设置。
 

部署Alertmanager
 

部署
 

  • 解压即部署
 

# 1. 解压
 

[root@prometheus ~]# cd prometheus_soft/
 

[root@prometheus prometheus_soft]# tar xf alertmanager-0.25.0.linux-amd64.tar.gz 
 

[root@prometheus prometheus_soft]# mv alertmanager-0.25.0.linux-amd64 /usr/local/alertmanager
 

 

# 2. 编写服务文件并启动
 

[root@prometheus prometheus_soft]# vim /usr/lib/systemd/system/alertmanager.service
 

[Unit]
 

Description=alertmanager System
 

 

[Service]
 

ExecStart=/usr/local/alertmanager/alertmanager \
 

--config.file=/usr/local/alertmanager/alertmanager.yml
 

 

[Install]
 

WantedBy=multi-user.target
 

 

[root@prometheus ~]# systemctl daemon-reload 
 

[root@prometheus ~]# systemctl enable alertmanager.service --now
 

  • 访问http://192.168.88.5:9093可以访问web配置页面
 

 

 
 

image-20230101173852109
 

配置文件
 

  •  
    Alertmanager的配置主要包含两个部分：路由(route)以及接收器(receivers)。所有的告警信息都会从配置中的顶级路由(route)进入路由树，根据路由规则将告警信息发送给相应的接收器。
     
  •  
    在Alertmanager中可以定义一组接收器，比如可以按照角色(比如系统运维，数据库管理员)来划分多个接收器。接收器可以关联邮件，Slack以及其它方式接收告警信息。
     
  •  
    目前配置文件中只设置了一个顶级路由route并且定义的接收器为default-receiver。因此，所有的告警都会发送给default-receiver。
     
  •  
    因此在Alertmanager配置中一般会包含以下几个主要部分：
     
    • 全局配置（global）：用于定义一些全局的公共参数，如全局的SMTP配置
    • 模板（templates）：用于定义告警通知时的模板，如HTML模板，邮件模板等
    • 告警路由（route）：根据标签匹配，确定当前告警应该如何处理
    • 接收器（receivers）：接收器是一个抽象的概念，它可以是一个邮箱也可以是微信，Slack或者Webhook 等，接收器一般配合告警路由使用
    • 抑制规则（inhibit_rules）：合理设置抑制规则可以减少垃圾告警的产生
 

Prometheus与Alertmanager对接
 

  • 编辑Prometheus配置文件，修改alerting配置
 

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml 
 

...略...
 

  8 alerting:
 

  9   alertmanagers:
 

 10     - static_configs:
 

 11         - targets:
 

 12           - localhost:9093
 

 ...略...
 

 [root@prometheus ~]# systemctl restart prometheus.service 
 

  • 访问：http://192.168.88.5:9090/config，查看配置是否生效
 

 

image-20230101175355204
 

配置Alertmanager通过邮件发送告警
 

 
 

# 1. 备份配置文件
 

[root@prometheus ~]# cp /usr/local/alertmanager/alertmanager.yml ~

 

# 2. 修改配置文件
 

[root@prometheus ~]# vim /usr/local/alertmanager/alertmanager.yml 
 

global:
 

  smtp_from: 'zzg@tedu.cn'      # 发件人地址
 

  smtp_smarthost: 'localhost:25'   # 邮件服务器地址
 

  smtp_require_tls: false       # 是否使用TLS安全连接
 

route:
 

  group_by: ['alertname']
 

  group_wait: 30s
 

  group_interval: 5m
 

  repeat_interval: 1h
 

  receiver: 'default-receiver'  # 接收器
 

receivers:
 

  - name: 'default-receiver'    # 配置接收器为邮件
 

    email_configs:
 

      - to: 'root@localhost.localdomain'
 

inhibit_rules:
 

  - source_match:
 

      severity: 'critical'
 

    target_match:
 

      severity: 'warning'
 

    equal: ['alertname', 'dev', 'instance']
 

    
 

# 3. 定义告警规则
 

[root@prometheus ~]# mkdir /usr/local/prometheus/rules
 

[root@prometheus ~]# vim /usr/local/prometheus/rules/hoststats-alert.rules
 

groups:
 

- name: example
 

  rules:
 

 

  - alert: InstanceDown
 

    expr: up == 0
 

    for: 5m 
 

    labels:
 

      severity: warn
 

    annotations:
 

      summary: "Instance {{ $labels.instance }} down"
 

      description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."
 

 

  - alert: hostMemUsageAlert
 

    expr: (node_memory_MemTotal - node_memory_MemAvailable)/node_memory_MemTotal > 0.85
 

    for: 1m 
 

    labels:
 

      severity: warn
 

    annotations:
 

      summary: "Instance {{ $labels.instance }} MEM usgae high"
 

 

# 4. 在Prometheus中声明规则文件位置
 

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml 
 

...略...
 

 15 rule_files:
 

 16   - /usr/local/prometheus/rules/*.rules
 

...略...
 

 

# 5. 重启服务
 

[root@prometheus ~]# systemctl restart alertmanager.service 
 

[root@prometheus ~]# systemctl restart prometheus.service 
 

 

# 6. 安装并启动邮件服务
 

[root@prometheus ~]# yum install -y postfix mailx
 

[root@prometheus ~]# systemctl enable postfix --now
 

  • 查看加载的规则文件
 

 

image-20230101183552069
 

  • 测试告警。
 

 
 

# 1. 将web1关机
 

[root@web1 ~]# shutdown -h now

 

# 2. 查看邮件
 

[root@prometheus ~]# mail
 

>N  1 zzg@tedu.cn           Sun Jan  1 18:59 227/10404 "[FIRING:1] InstanceDown (192.168.88.200:9100 prometheus warn)"
 

将告警邮件内容从【<!DOCTYPE ...】这一行到【</html>】复制，粘贴到一个文件中，如文件名为alert.html，用firefox打开，可以得到以下页面：
 

 

image-20230101190954508
 

  • 查看Alertmanager
 

 

 
 

image-20230101191151698
 

 
知识点思维导图：FlowUs 息流 - 新一代生产力工具
 
 
 












http://www.ppmy.cn/news/1000055.html












相关文章










【JAVA】String ，StringBuffer 和 StringBuilder 三者有何联系？









【JAVA】String ，StringBuffer 和 StringBuilder 三者有何联系？




个人主页&#xff1a;【&#x1f60a;个人主页】 系列专栏&#xff1a;【❤️初识JAVA】 文章目录 前言StringBufferStringBuffer方法 StringBuilderStringBuilder方法 String &#xff0c;StringBuffer 和 StringBuilder的区别String和StringBuffer互相转换 前言 
在之前的文章…




阅读更多...

















常见OOM异常分析排查









常见OOM异常分析排查




常见OOM异常分析排查 Java内存溢出Java堆溢出原因解决思路总结 Java内存溢出 
java堆用于存储对象实例,如果不断地创建对象,并且保证GC Root到对象之间有可达路径,垃圾回收机制就不会清理这些对象,对象数量达到最大堆的容量限制后就会产生内存溢出异常. 
Java堆溢出原因 
无法在…




阅读更多...

















eNSP interface g0/0/0 报错解决办法









eNSP interface g0/0/0 报错解决办法




文章目录 1 报错截图2 解决办法2.1 排查设备是否有 GM 接口2.2 更换适合的路由器&#xff0c;并验证 1 报错截图 2 解决办法 
2.1 排查设备是否有 GM 接口 
查看下设备是否支持 GM 接口&#xff08;GigabitEthernet&#xff09; 方式一&#xff1a;右键路由器设备 - 设置 - 查看…




阅读更多...

















jQuery如何获取动态添加的元素









jQuery如何获取动态添加的元素




jQuery如何获取动态添加的元素 使用 on()方法 本质上使用了事件委派&#xff0c;将事件委派在父元素身上 自 jQuery 版本 1.7 起&#xff0c;on() 方法是 bind()、live() 和 delegate() 方法的新的替代品&#xff0c;但是由于on()方法必须有事件&#xff0c;没有事件时可选择de…




阅读更多...

















Rpc异步日志模块









Rpc异步日志模块




Rpc异步日志模块作用 
在一个大型分布式系统中&#xff0c;任何部署的分布式节点都可能发生崩溃&#xff0c;试想如果用普通的办法&#xff0c;即先排查哪个节点down掉了&#xff0c;找到down掉的节点后采取调试工具gdb调试该节点&#xff0c;进而排查宕机的原因。这中排查方法…




阅读更多...

















如何通过 5 步激活策略扩大用户群









如何通过 5 步激活策略扩大用户群




假设&#xff0c;你现在是一个“深藏功与名”的增长黑客。前期你表现非常好&#xff0c;做了一些拉新实验&#xff0c;每天都有上千用户进入到产品。团队成员和家人朋友都非常开心你们的产品增长终于有了起色。 
然而&#xff0c;如果你不重视拉新&#xff08;acquisition&…




阅读更多...

















Eureka 学习笔记2：EurekaClient









Eureka 学习笔记2：EurekaClient




版本 awsVersion  ‘1.11.277’ EurekaClient 接口实现了 LookupService 接口&#xff0c;拥有唯一的实现类 DiscoveryClient 类。  LookupService 接口提供以下功能&#xff1a; 
获取注册表根据应用名称获取应用根据实例 id 获取实例信息 
public interface LookupService<…




阅读更多...

















Python系统学习1-2









Python系统学习1-2




目录 一、硬件 
二、软件&#xff1a;程序文档 
三、基础知识 
四、python执行过程 
五、Pycharm使用技巧 一、硬件 
计算机五大部件&#xff1a;运算器&#xff0c;存储器&#xff0c;控制器、输入设备&#xff0c;输出设备。 
运算器和控制器 集成在CPU中。 
存储&#xff1a…




阅读更多...















 
 
 
 










最新文章







 





















Copyright @ 2022~2023