Graylog采集MySQL慢日志实战

news/2025/1/17 10:21:41/

文章目录

  • 前言
  • 一、MySQL慢日志
    • 0. 慢查询相关语句
    • 1. 检查MySQL是否开启慢日志及慢查询保存位置
    • 2. 检查慢查询阈值
    • 3. 未使用索引是否开启记录慢查询日志
    • 4. 查看mysql.slow_log表结构及字段含义
    • 5. 慢查询记录两种情况示例
  • 二、graylog采集慢查询日志
    • 1. 采集思路
    • 2. 创建Sidecar配置
    • 3. 绑定该配置到对应机器的sidecar并重启sidecar
    • 4. 查看采集到的日志并解析关键字段

前言

在完整的日志系统中，数据库的慢日志是采集中必不可少的一部分,当数据库开启mysql慢日志记录时,研发人员可以通过graylog-sidecar采集到的慢日志进行查看分析，更好的优化mysql语句，提高效率。

一、MySQL慢日志

数据库部署不再过多描述,感兴趣的可以查看我数据库专栏文章

0. 慢查询相关语句

SQL含义备注
show variables like ‘slow_query_log’;是否开启慢查询记录ON 表示开启；OFF 表示关闭
show variables like ‘slow_query_log_file’;慢查询存储位置默认位置/自定义位置
show variables like ‘long_query_time’;慢查询阈值默认值是 10s，使用慢查询则一定需要更改
show variables like ‘log_queries_not_using_indexes’;未使用索引的查询也被记录到慢查询日志中OFF 表示关闭，通常不会被开启
show variables like ‘log_output’;慢查询日志存储方式默认值是 FILE，表示将日志存入文件；
修改为 TABLE，表示将日志存入数据库（mysql.slow_log 表）
show global status like ‘Slow_queries’;查看有多少条慢查询记录/

1. 检查MySQL是否开启慢日志及慢查询保存位置

当slow_query_log字段的值为ON时,则表示开启了慢日志

# 查看慢日志记录途径
mysql> show variables  like 'log_output';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output    | FILE  |
+---------------+-------+
1 row in set (0.00 sec)mysql> show variables like 'slow%';
+---------------------+-------------------------------------------------+
| Variable_name       | Value                                           |
+---------------------+-------------------------------------------------+
| slow_launch_time    | 2                                               |
| slow_query_log      | ON                                              |
| slow_query_log_file | /export/servers/data/my3306/log/mysqld-slow.log |
+---------------------+-------------------------------------------------+
3 rows in set (0.01 sec)

2. 检查慢查询阈值

超过2秒则记录到慢日志中

mysql> show variables like 'long%';
+-----------------+----------+
| Variable_name   | Value    |
+-----------------+----------+
| long_query_time | 2.000000 |
+-----------------+----------+
1 row in set (0.00 sec)

3. 未使用索引是否开启记录慢查询日志

如果需要则开启,默认是关闭状态

mysql> show variables like 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | OFF   |
+-------------------------------+-------+
1 row in set (0.00 sec)

mysqlslow_log_70">4. 查看mysql.slow_log表结构及字段含义

mysql> SELECT COLUMN_NAME                                          AS '字段名',->        DATA_TYPE                                            AS `数据类型`,->        CHARACTER_MAXIMUM_LENGTH                             AS `字符长度`,->        NUMERIC_PRECISION                                    AS `数字长度`,->        NUMERIC_SCALE                                        AS `小数位数`,->        IS_NULLABLE                                          AS `是否允许非空`,->        CASE WHEN EXTRA = 'auto_increment' THEN 1 ELSE 0 END AS `是否自增`,->        COLUMN_DEFAULT                                       AS `默认值`,->        COLUMN_COMMENT                                       AS `备注`-> FROM information_schema.COLUMNS-> WHERE TABLE_SCHEMA = 'mysql'->   AND TABLE_NAME = 'slow_log';
+----------------+--------------+--------------+--------------+--------------+--------------------+--------------+----------------------+--------+
| 字段名         | 数据类型     | 字符长度     | 数字长度     | 小数位数     | 是否允许非空       | 是否自增     | 默认值               | 备注   |
+----------------+--------------+--------------+--------------+--------------+--------------------+--------------+----------------------+--------+
| start_time     | timestamp    |         NULL |         NULL |         NULL | NO                 |            0 | CURRENT_TIMESTAMP(6) |        |
| user_host      | mediumtext   |     16777215 |         NULL |         NULL | NO                 |            0 | NULL                 |        |
| query_time     | time         |         NULL |         NULL |         NULL | NO                 |            0 | NULL                 |        |
| lock_time      | time         |         NULL |         NULL |         NULL | NO                 |            0 | NULL                 |        |
| rows_sent      | int          |         NULL |           10 |            0 | NO                 |            0 | NULL                 |        |
| rows_examined  | int          |         NULL |           10 |            0 | NO                 |            0 | NULL                 |        |
| db             | varchar      |          512 |         NULL |         NULL | NO                 |            0 | NULL                 |        |
| last_insert_id | int          |         NULL |           10 |            0 | NO                 |            0 | NULL                 |        |
| insert_id      | int          |         NULL |           10 |            0 | NO                 |            0 | NULL                 |        |
| server_id      | int          |         NULL |           10 |            0 | NO                 |            0 | NULL                 |        |
| sql_text       | mediumblob   |     16777215 |         NULL |         NULL | NO                 |            0 | NULL                 |        |
| thread_id      | bigint       |         NULL |           20 |            0 | NO                 |            0 | NULL                 |        |
+----------------+--------------+--------------+--------------+--------------+--------------------+--------------+----------------------+--------+
12 rows in set (0.00 sec)

慢日志记录字段含义

字段含义
start_time开始时间
user_host用户名ip
query_time执行时间
lock_time执行获取锁时间
rows_sent获取结果行数
rows_examined扫描数据行数
db数据库实例
last_insert_id最近一次插入操作生成的自动增长ID
insert_id插入的ID，用于记录插入操作所生成的ID，一般用于AUTO_INCREMENT字段
server_id服务器ID，表示执行查询的数据库服务器的标识符
sql_text具体sql
thread_id线程id

5. 慢查询记录两种情况示例

打开慢查询记录即可看到

第一种：慢查询记录中没有use database

# Time: 2025-01-15T15:30:35.791555+08:00
# User@Host: root[root] @ localhost []  Id:     5
# Query_time: 20.008015  Lock_time: 0.000099 Rows_sent: 4  Rows_examined: 4
SET timestamp=1736926235;
SELECT SLEEP(5), id, name,email FROM users WHERE id > 2;

第二种：慢查询记录中有use database

# Time: 2025-01-15T15:36:17.669885+08:00
# User@Host: xx_fast[xxx_fast] @  [192.168.56.101]  Id: 607
# Query_time: 10.622605  Lock_time: 0.000106 Rows_sent: 0  Rows_examined: 19680
use xx_fast;
SET timestamp=1736926577;
SELECT t.idFROM xxl_job_log AS tWHERE t.trigger_code = 200and t.handle_code = 0and t.trigger_time   <=   '2025-01-15 15:26:07.047'and t.executor_address not in (SELECT t2.registry_valueFROM xxl_job_registry AS t2);

日志格式说明:第一行: 记录时间第二行:用户名 、用户的IP信息、线程ID号第三行:执行花费的时间【单位：毫秒】、执行获得锁的时间、获得的结果行数、扫描的数据行数第四行:这SQL执行的时间戳第五行:具体的SQL语句
补充:有时还会多出一行 数据库名称记录

graylog_162">二、graylog采集慢查询日志

1. 采集思路

如下（示例）：

根据上边的日志格式可知道一般情况下日志有5-6行的数据，关于use database这一行不一定有。1、MySQL 的慢查询日志多行构成了一条完整的日志，日志收集时要把这些行拼装成一条日志传输与存储，即需要实现多行合并。2、# Time 开头的行可以确定是一定存在的，可以根据该行来处理多行合并问题，不是以# Time开头的都合并到一行。3、一条完整的慢查询日志最终将以# Time开始的行，以SQL语句结尾的行合并为一条完整的慢日志语句。4、因为use database这一行不是所有慢sql都存在，所以不能通过这个来确定SQL对应的数据库名称，慢日志中也没有字段记录DB，因此这里建议创建数据库账号时以数据库名称命名，这样看到账号名就知道是哪个DB了。

2. 创建Sidecar配置

在这里插入图片描述
在这里插入图片描述

配置如下（示例）：

# Needed for Graylog
fields_under_root: true
fields.collector_node_id: ${sidecar.nodeName}
fields.gl2_source_collector: ${sidecar.nodeId}
fields.localIp: ${sidecar.nodeName}
filebeat.registry.flush: 60s
filebeat.shutdown_timeout: 10s 
max_procs: 1filebeat.inputs:
- input_type: logpaths:- /export/servers/data/my3306/log/mysqld-slow.logmultiline.pattern: '^# Time'multiline.negate: truemultiline.match: afterfields:app_name: mysql_slow_query_logenvironment: prolog_type: MySQLtype: log
output.logstash:hosts: ["192.168.56.160:5044"]
path:data: /var/lib/graylog-sidecar/collectors/filebeat/datalogs: /var/lib/graylog-sidecar/collectors/filebeat/log

3. 绑定该配置到对应机器的sidecar并重启sidecar

在这里插入图片描述

4. 查看采集到的日志并解析关键字段

在这里插入图片描述
#grok pattern方式配置提取器

#%{SPACE}Time:%{SPACE}%{TIMESTAMP_ISO8601:time}(?:\+%{INT:timezone})?\
#%{SPACE}User@Host:%{SPACE}%{DATA:user}%{SPACE}@%{SPACE}%{DATA:host}%{SPACE}Id:%{SPACE}%{NOTSPACE:thread_id}\
#%{SPACE} Query_time:%{SPACE}%{BASE10NUM:query_time;float}%{SPACE} Lock_time:%{SPACE}%{BASE10NUM:lock_time;float}%{SPACE}Rows_sent:%{SPACE}%{BASE10NUM:rows_sent;long}%{SPACE}Rows_examined:%{SPACE}%{BASE10NUM:rows_examined;long}(?:\nuse %{DATA:db};|())\
SET%{SPACE} timestamp=%{BASE10NUM:exec_timestamp;long};
%{DATA:sql}$

在这里插入图片描述
在这里插入图片描述
最终获取到如下结果
在这里插入图片描述


http://www.ppmy.cn/news/1563865.html

相关文章

【Web系列三十】MYSQL库表比对升级脚本

【Web系列三十】MYSQL库表比对升级脚本

写在前面 随着软件的迭代开发&#xff0c;数据库表有变动是常有的事&#xff0c;如果没有在开发时记录变更情况的话。对于线上生产环境下的MYSQL库表升级就会比较麻烦。 因此本文主要提供了一个脚本&#xff0c;方便比对新旧数据库的sql文件&#xff0c;从而自动生成用户升级的…
阅读更多...
Cyberchef开发operation操作之-node开发环境搭建

Cyberchef开发operation操作之-node开发环境搭建

本文介绍一下Cyberchef开发operation操作环境的搭建工作&#xff0c;为后续的Cyberchef开发operation操作提供开发环境基础&#xff0c;这里。该篇作为我的专栏《Cyberchef 从入门到精通教程》中的一篇&#xff0c;详见这里。 Linux环境 由于cyberchef只支持Linux和MAC的开发…
阅读更多...
Python 替换excel 单元格内容

Python 替换excel 单元格内容

要在Python中替换Excel单元格的内容&#xff0c;你可以使用openpyxl库。openpyxl是一个用于读写Excel 2010 xlsx/xlsm/xltx/xltm文件的库。 安装openpyxl 首先&#xff0c;你需要安装openpyxl库。如果还没有安装&#xff0c;可以使用pip进行安装&#xff1a; pip install ope…
阅读更多...
RV1126+FFMPEG推流项目(3)VI模块视频编码流程

RV1126+FFMPEG推流项目(3)VI模块视频编码流程

视频编码的流程&#xff1a; 本章节讲的是RV1126视频编码的流程&#xff0c;在整个项目之中视频编码功能是核心之一。视频编码流程主要分三步&#xff1a;VI的初始化、VENC的初始化(硬件编码)、绑定VI和VENC节点、开启VENC线程进行视频编码的采集&#xff0c;注意一下这里的…
阅读更多...
react中，使用antd的Upload组件上传zip压缩包文件

react中，使用antd的Upload组件上传zip压缩包文件

需求 使用antd的Upload上传.zip压缩包文件 代码 const [uploadLoaing, setUploadLoaing] useState(false);// 辅助函数&#xff1a;检查文件是否为zip格式function isZipFile(file: File): boolean {const fileType file.type;return fileType application/zip || file.n…
阅读更多...
Checkbox 多选框的使用

Checkbox 多选框的使用

基础用法 在el-checkbox元素中定义v-model绑定变量&#xff0c;单一的checkbox中&#xff0c;默认绑定变量的值会是Boolean&#xff0c;选中为true 禁用状态 设置disabled属性即可。 多选框组 checkbox-group元素能把多个 checkbox 管理为一组&#xff0c;只需要在 Group …
阅读更多...
前端下载图片

前端下载图片

可直接看第3条 1、a链接形式&#xff08;不推荐&#xff09; 这种方式可以下载文件&#xff0c;对于图片类&#xff0c;浏览器会直接打开 export function downloadFile(src: string, fileName: string) {const ele document.createElement(a);ele.setAttribute(href, src)…
阅读更多...
Keil使用STLink下载烧录闪退解决（使用STLink烧录）

Keil使用STLink下载烧录闪退解决（使用STLink烧录）

一&#xff1a;问题出现 在使用新版本keil开发STM32的的时候在选择STLink下载&#xff0c;在下载的的时候会进行闪退&#xff0c;点击load会直接退出keil&#xff0c;经过检查发现是STLink驱动出了问题&#xff0c;只需要重新安装驱动即可&#xff0c;具体解决方案如下。 二&am…
阅读更多...
最新文章

Copyright @ 2022~2023