linux性能监控之sar

1.sar命令介绍

sar是一个非常全面的分析工具，可以对文件的读写，系统调用的使用情况，磁盘IO，CPU相关使用情况，内存使用情况，进程活动等都可以进行有效的分析。

sar工具将对系统当前的状态进行取样，然后通过计算数据和比例来表达系统的当前运行状态。

它的特点是可以连续对系统取样，获得大量的取样数据。取样数据和分析的结果都可以存入文件，使用它时消耗的系统资源很小。

[root@k8s-master ~]# sar --help
Usage: sar [ options ] [ <interval> [ <count> ] ]
Options are:
[ -A ] [ -B ] [ -b ] [ -C ] [ -d ] [ -F [ MOUNT ] ] [ -H ] [ -h ] [ -p ] [ -q ] [ -R ]
[ -r ] [ -S ] [ -t ] [ -u [ ALL ] ] [ -V ] [ -v ] [ -W ] [ -w ] [ -y ]
[ -I { <int> [,...] | SUM | ALL | XALL } ] [ -P { <cpu> [,...] | ALL } ]
[ -m { <keyword> [,...] | ALL } ] [ -n { <keyword> [,...] | ALL } ]
[ -j { ID | LABEL | PATH | UUID | ... } ]
[ -f [ <filename> ] | -o [ <filename> ] | -[0-9]+ ]
[ -i <interval> ] [ -s [ <hh:mm:ss> ] ] [ -e [ <hh:mm:ss> ] ]

-A：所有报告的总和
-u：输出CPU使用情况的统计信息
-v：输出inode、文件和其他内核表的统计信息
-d：输出每一个块设备的活动信息
-r：输出内存和交换空间的统计信息
-b：显示I/O和传送速率的统计信息-R：输出内存页面的统计信息
-y：终端设备活动情况
-w：输出系统交换活动信息
-B：显示换页状态；
-e：设置显示报告的结束时间
-f：从指定文件提取报告
-i：设状态信息刷新的间隔时间
-p：报告每个CPU的状态-q：平均负载分析

2.常用命令介绍：

2.1 对CPU利用率进行统计：sar -u [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -u 1 3
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)08:56:43 AM     CPU     %user     %nice   %system   %iowait    %steal     %idle
08:56:44 AM     all      1.07      0.00      2.14      0.00      0.00     96.79
08:56:45 AM     all      2.09      0.00      2.09      0.00      0.00     95.81
08:56:46 AM     all      2.11      0.00      5.26      0.00      0.00     92.63
Average:        all      1.76      0.00      3.17      0.00      0.00     95.07注：
CPU：all 表示统计信息为所有 CPU 的平均值。
%user：显示在用户级别(application)运行使用 CPU 总时间的百分比
%nice：显示在用户级别，用于nice操作，所占用 CPU 总时间的百分比
%system：在核心级别(kernel)运行所使用 CPU 总时间的百分比
%iowait：显示用于等待I/O操作占用 CPU 总时间的百分比
%steal：管理程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟 CPU 的百分比
%idle：显示 CPU 空闲时间占用 CPU 总时间的百分比1. 若 %iowait 的值过高，表示硬盘存在I/O瓶颈2. 若 %idle 的值高但系统响应慢时，有可能是 CPU 等待分配内存，此时应加大内存容量3. 若 %idle 的值持续低于1，则系统的 CPU 处理能力相对较低，表明系统中最需要解决的资源是 CPU

2.2 对网络进行统计：sar -n <关键词> [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -n DEV 1 1
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)09:06:31 AM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
09:06:32 AM cali324bad13e1c      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:06:32 AM        lo    177.00    177.00     20.65     20.65      0.00      0.00      0.00
09:06:32 AM cali605405e33b2      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:06:32 AM virbr0-nic      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:06:32 AM    virbr0      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:06:32 AM     ens33      2.00      2.00      0.15      0.22      0.00      0.00      0.00
09:06:32 AM calie83b417d9e6      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:06:32 AM     tunl0      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:06:32 AM   docker0      0.00      0.00      0.00      0.00      0.00      0.00      0.00Average:        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
Average:    cali324bad13e1c      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:           lo    177.00    177.00     20.65     20.65      0.00      0.00      0.00
Average:    cali605405e33b2      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:    virbr0-nic      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:       virbr0      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:        ens33      2.00      2.00      0.15      0.22      0.00      0.00      0.00
Average:    calie83b417d9e6      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:        tunl0      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:      docker0      0.00      0.00      0.00      0.00      0.00      0.00      0.00注：
命令中 1 1 表示每一秒钟取 1 次值，一共取 1 次。

2.3 对索引节点，文件和其他的内核表的状态进行统计：sar -v [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -v 1 3
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)08:58:18 AM dentunusd   file-nr  inode-nr    pty-nr
08:58:19 AM     11459      6080     41891         2
08:58:20 AM     11459      6080     41891         2
08:58:21 AM     11479      6080     41891         2
Average:        11466      6080     41891         2注：
dentunusd：目录高速缓存中未被使用的条目数量
file-nr：文件句柄（file handle）的使用数量
inode-nr：索引节点句柄（inode handle）的使用数量
pty-nr：使用的 pty 数量

2.4 对内存利用率的统计：sar -r [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -r 1 3
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)08:59:33 AM kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
08:59:34 AM    106216   1756600     94.30         0    557132   4552640    244.40   1182992    263940         0
08:59:35 AM    106216   1756600     94.30         0    557132   4552640    244.40   1183000    263936         0
08:59:36 AM    106216   1756600     94.30         0    557132   4552640    244.40   1183000    263936         0
Average:       106216   1756600     94.30         0    557132   4552640    244.40   1182997    263937         0注：
kbmemfree：这个值和 free 命令中的 free 值基本一致，所以它不包括 buffer 和 cache 的空间
kbmemused：这个值和 free 命令中的 used 值基本一致,所以它包括 buffer 和 cache 的空间
%memused：这个值是 kbmemused 和内存总量(不包括 swap)的一个百分比
kbbuffers 和 kbcached：这两个值就是 free 命令中的 buffer 和 cache
kbcommit：保证当前系统所需要的内存，即为了确保不溢出而需要的内存(RAM + swap)
%commit：这个值是 kbcommit 与内存总量(包括 swap)的一个百分比

2.5 对内存分页状况统计：sar -B [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -B 1 3
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)09:00:24 AM  pgpgin/s pgpgout/s   fault/s  majflt/s  pgfree/s pgscank/s pgscand/s pgsteal/s    %vmeff
09:00:25 AM      0.00     48.00    263.00      0.00    389.00      0.00      0.00      0.00      0.00
09:00:26 AM      0.00      0.00     35.00      0.00     66.00      0.00      0.00      0.00      0.00
09:00:27 AM      0.00     52.00   1604.00      0.00    499.00      0.00      0.00      0.00      0.00
Average:         0.00     33.33    634.00      0.00    318.00      0.00      0.00      0.00      0.00注：
pgpgin/s：表示每秒从磁盘或SWAP置换到内存的字节数(KB)
pgpgout/s：表示每秒从内存置换到磁盘或SWAP的字节数(KB)
fault/s：每秒钟系统产生的缺页数，即主缺页与次缺页之和(major + minor)
majflt/s：每秒钟产生的主缺页数
pgfree/s：每秒被放入空闲队列中的页个数
pgscank/s：每秒被 kswapd 扫描的页个数
pgscand/s：每秒直接被扫描的页个数
pgsteal/s：每秒钟从 cache 中被清除来满足内存需要的页个数
%vmeff：每秒清除的页(pgsteal)占总扫描页(pgscank + pgscand)的百分比

2.6 对I/O和传输速率信息状况统计：sar -b [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -b 1 3
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)09:02:18 AM       tps      rtps      wtps   bread/s   bwrtn/s
09:02:19 AM      5.00      0.00      5.00      0.00     48.00
09:02:20 AM     22.77      9.90     12.87    570.30    106.93
09:02:21 AM      1.00      0.00      1.00      0.00      8.00
Average:         9.63      3.32      6.31    191.36     54.49注：
tps：每秒钟物理设备的 I/O 传输总量
rtps：每秒钟从物理设备读入的数据总量
wtps：每秒钟向物理设备写入的数据总量
bread/s：每秒钟从物理设备读入的数据量，单位为：块/s
bwrtn/s：每秒钟向物理设备写入的数据量，单位为：块/s

2.7 对队列长度和平均负载统计：sar -q [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -q 1 3
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)09:03:32 AM   runq-sz  plist-sz   ldavg-1   ldavg-5  ldavg-15   blocked
09:03:33 AM         1       582      3.04      1.25      0.66         0
09:03:34 AM         0       582      3.04      1.25      0.66         0
09:03:35 AM         0       582      3.04      1.25      0.66         0
Average:            0       582      3.04      1.25      0.66         0注：
runq-sz：运行队列的长度（等待运行的进程数）
plist-sz：进程列表中进程（processes）和线程（threads）的数量
ldavg-1：最后1分钟的系统平均负载（System load average）
ldavg-5：过去5分钟的系统平均负载
ldavg-15：过去15分钟的系统平均负载

2.8 对系统交换信息进行统计：sar -W [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -W 1 3
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)09:04:27 AM  pswpin/s pswpout/s
09:04:28 AM      0.00      0.00
09:04:29 AM      0.00      0.00
09:04:30 AM      0.00      0.00
Average:         0.00      0.00注：
pswpin/s：每秒系统换入的交换页面（swap page）数量
pswpout/s：每秒系统换出的交换页面（swap page）数量

2.9 块设备状况进行统计：sar -d [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -d 1 3
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)09:08:54 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
09:08:55 AM    dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:08:55 AM   dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.0009:08:55 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
09:08:56 AM    dev8-0     14.00      0.00    107.00      7.64      0.01      0.36      0.36      0.50
09:08:56 AM   dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.0009:08:56 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
09:08:57 AM    dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
09:08:57 AM   dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00Average:          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
Average:       dev8-0      4.67      0.00     35.67      7.64      0.00      0.36      0.36      0.17
Average:      dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00注：
tps: 每秒从物理磁盘 I/O 的次数。多个逻辑请求会被合并为一个 I/O 磁盘请求，一次传输的大小是不确定的
rd_sec/s: 每秒读扇区的次数
wr_sec/s: 每秒写扇区的次数
avgrq-sz: 平均每次设备 I/O 操作的数据大小(扇区)
avgqu-sz: 磁盘请求队列的平均长度
await: 从请求磁盘操作到系统完成处理，每次请求的平均消耗时间，包括请求队列等待时间，单位是毫秒(1秒=1000毫秒)
svctm: 系统处理每次请求的平均时间,不包括在请求队列中消耗的时间.
%util: I/O请求占CPU的百分比，比率越大，说明越饱和1. avgqu-sz 的值较低时，设备的利用率较高2. 当%util的值接近 1% 时，表示设备带宽已经占满

2.10 输出统计的数据信息：sar -o path_file [选项] [ <时间间隔> [ <次数> ] ]

[root@k8s-master ~]# sar -o sarfile.log -u 1 3
Linux 3.10.0-1160.108.1.el7.x86_64 (k8s-master) 	05/11/2024 	_x86_64_	(2 CPU)09:09:51 AM     CPU     %user     %nice   %system   %iowait    %steal     %idle
09:09:52 AM     all      1.06      0.00      3.72      0.00      0.00     95.21
09:09:53 AM     all      1.57      0.00      2.09      0.00      0.00     96.34
09:09:54 AM     all      2.14      0.00      5.35      0.00      0.00     92.51
Average:        all      1.59      0.00      3.71      0.00      0.00     94.70
[root@k8s-master ~]# ls -la sarfile.log 
-rw-r--r-- 1 root root 92096 May 11 09:09 sarfile.log注：
上述示例命令会将sar -u 1 3采集到的数据以二进制的格式存放到文件sarfile.log中