Perf 性能检测工具
Perf 是一个内置于Linux内核中的工具，用于性能分析和调优。它可以对系统的CPU使用情况、内存使用情况、磁盘I/O、网络I/O等进行监控和分析，并提供了丰富的分析和可视化工具，以帮助用户定位和解决性能问题。perf可以进行函数级和指令级的热点查找，以帮助用户发现应用程序中的性能瓶颈。perf还支持事件采样、跟踪和调试等功能，可以帮助用户深入了解系统和应用程序的运行状况。由于perf是一个内核级别的工具，因此它可以对系统的性能进行非常深入的分析，并且对系统的开销非常小。perf已经成为了Linux系统中非常常用的性能分析工具之一。
perf --help
perf --helpusage: perf [--version] [--help] [OPTIONS] COMMAND [ARGS]The most commonly used perf commands are:annotate 解析perf record生成的perf.data文件，显示被注释的代码。archive 根据数据文件记录的build-id，将所有被采样到的elf文件打包。利用此压缩包，可以再任何机器上分析数据文件中记录的采样数据。bench perf中内置的benchmark，目前包括两套针对调度器和内存管理子系统的benchmark。buildid-cache 管理perf的buildid缓存，每个elf文件都有一个独一无二的buildid。buildid被perf用来关联性能数据与elf文件。buildid-list 列出数据文件中记录的所有buildid。c2c Shared Data C2C/HITM Analyzer.config Get and set variables in a configuration file.daemon Run record sessions on backgrounddata Data file related processingdiff 对比两个数据文件的差异。能够给出每个符号（函数）在热点分析上的具体差异。evlist 列出数据文件perf.data中所有性能事件。ftrace simple wrapper for kernel's ftrace functionalityinject 该工具读取perf record工具记录的事件流，并将其定向到标准输出。在被分析代码中的任何一点，都可以向事件流中注入其它事件。iostat Show I/O performance metricskallsyms Searches running kernel for symbolskmem 针对内核内存（slab）子系统进行追踪测量的工具kvm 用来追踪测试运行在KVM虚拟机上的Guest OS。list 列出当前系统支持的所有性能事件。包括硬件性能事件、软件性能事件以及检查点。lock 分析内核中的锁信息，包括锁的争用情况，等待延迟等。mem 内存存取情况record 收集采样信息，并将其记录在数据文件中。随后可通过其它工具对数据文件进行分析。report 读取perf record创建的数据文件，并给出热点分析结果。sched 针对调度器子系统的分析工具。script 执行perl或python写的功能扩展脚本、生成脚本框架、读取数据文件中的数据信息等。stat 执行某个命令，收集特定进程的性能概况，包括CPI、Cache丢失率等。test perf对当前软硬件平台进行健全性测试，可用此工具测试当前的软硬件平台是否能支持perf的所有功能。timechart 针对测试期间系统行为进行可视化的工具top 类似于linux的top命令，对系统性能进行实时分析。version display the version of perf binaryprobe 用于定义动态检查点。trace 关于syscall的工具。See 'perf help COMMAND' for more information on a specific command.
Ubuntu20.04安装Perf工具
sudo apt install linux-tools-common
sudo apt install linux-tools-5.13.0-40-generic
sudo apt install linux-cloud-tools-5.13.0-40-generic
记录一段时间内系统/进程的性能事件
perf record
常用参数
-e：选择性能事件-p：待分析进程的id-t：待分析线程的id-a：分析整个系统的性能,即所有CPU采样-C：只采集指定CPU数据-c：事件的采样周期-o：指定输出文件，默认为perf.data-A：以append的方式写输出文件-f：以OverWrite的方式写输出文件-g：记录函数间的调用关系
例子
perf record -a -e cycles -o cycle.perf -g sleep 10
[ perf record: Woken up 18 times to write data ]
[ perf record: Captured and wrote 4.953 MB cycle.perf (~216405 samples) ]
读取生成的数据文件，并显示分析数据
perf report
常用参数
-i：输入的数据文件
-v：显示每个符号的地址
-d <dos>：只显示指定dos的符号
-C：只显示指定comm的信息（Comm. 触发事件的进程名）
-S：只考虑指定符号
-U：只显示已解析的符号
-g[type,min,order]：显示调用关系，具体等同于perf top命令中的-g
-c：只显示指定cpu采样信息
-M：以指定汇编指令风格显示
–source：以汇编和source的形式进行显示
-p<regex>：用指定正则表达式过滤调用函数
例子
perf report -i cycle.perf | more
# To display the perf.data header info, please use --header/--header-only options.
#
#
# Total Lost Samples: 0
#
# Samples: 34K of event 'cpu-clock'
# Event count (approx.): 8508750000
#
# Children Self Command Shared Object Symbol
# ........ ........ ............... .......................... ...............................................
#99.20% 0.00% swapper [kernel.kallsyms] [k] 0xffffffff90c00107|---0xffffffff90c00107||--49.81%--0xffffffff92e94731| 0xffffffff92e9462d| 0xffffffff92e95c3e| 0xffffffff92e953fb| 0xffffffff91963c73| 0xffffffff90d09be0| || --49.81%--0xffffffff90d099a4| 0xffffffff90d096b3| 0xffffffff9164cbde| 0xffffffff9164c607| || --49.79%--0xffffffff919731eb| || --49.78%--0xffffffff91972a5b|--49.39%--0xffffffff90c7d81a0xffffffff90d09be0|--49.39%--0xffffffff90d099a40xffffffff90d096b30xffffffff9164cbde|--49.38%--0xffffffff9164c607|--49.37%--0xffffffff919731eb0xffffffff91972a5b99.20% 0.00% swapper [kernel.kallsyms] [k] 0xffffffff90d09be0|---0xffffffff90d09be0|--99.19%--0xffffffff90d099a40xffffffff90d096b30xffffffff9164cbde|--99.19%--0xffffffff9164c607|--99.16%--0xffffffff919731eb|--99.15%--0xffffffff91972a5b--More--
实时显示系统/进程的性能统计信息
perf top
常用参数
-e：指定性能事件
-a：显示在所有CPU上的性能统计信息
-C：显示在指定CPU上的性能统计信息
-p：指定进程PID
-t：指定线程TID
-K：隐藏内核统计信息
-U：隐藏用户空间的统计信息
-s：指定待解析的符号信息
‘‐G’ or‘‐‐call‐graph’ <output_type,min_percent,call_order>
graph: 使用调用树，将每条调用路径进一步折叠。这种显示方式更加直观。
每条调用路径的采样率为绝对值。也就是该条路径占整个采样域的比率。
fractal
默认选项。类似与 graph，但是每条路径前的采样率为相对值。
flat
不折叠各条调用
选项 call_order 用以设定调用图谱的显示顺序，该选项有 2个取值，分别是
callee 与caller。
将该选项设为callee 时，perf按照被调用的顺序显示调用图谱，上层函数被下层函数所调用。
该选项被设为caller 时，按照调用顺序显示调用图谱，即上层函数调用了下层函数路径，也不显示每条调用路径的采样率
注： Perf top需要root权限
例子
sudo perf top -g
Samples: 1K of event 'cpu-clock:pppH', 4000 Hz, Event count (approx.): 251003285 lost: 0/0 drop: 0/0Children Self Shared Object Symbol
+ 42.35% 0.15% perf [.] __dso__load_kallsyms
+ 36.54% 0.10% [kernel] [k] vfs_read
+ 35.50% 0.05% libpthread-2.31.so [.] __libc_read
+ 35.50% 0.10% [kernel] [k] ksys_read
+ 35.15% 0.05% [kernel] [k] proc_reg_read
+ 35.10% 0.10% [kernel] [k] seq_read
+ 34.48% 0.72% [kernel] [k] seq_read_iter
+ 26.92% 0.41% [kernel] [k] s_show
+ 26.62% 0.46% [kernel] [k] seq_printf
+ 26.10% 0.41% [kernel] [k] seq_vprintf
+ 22.84% 5.11% [kernel] [k] vsnprintf
+ 22.52% 0.28% [kernel] [k] do_user_addr_fault
+ 21.86% 0.19% [kernel] [k] __handle_mm_fault
+ 20.94% 0.36% libc-2.31.so [.] __stpncpy_sse2_unaligned
+ 20.60% 0.29% [kernel] [k] get_page_from_freelist
+ 20.60% 0.05% [kernel] [k] __alloc_pages
+ 19.69% 19.69% [kernel] [k] clear_page_orig
+ 6.98% 3.36% [kernel] [k] __softirqentry_text_start
+ 6.73% 0.80% [kernel] [k] cpuidle_enter_state
+ 6.54% 0.26% [kernel] [k] s_next
+ 6.50% 6.40% [kernel] [k] __lock_text_start
+ 6.44% 0.56% [kernel] [k] update_iter6.33% 6.33% [kernel] [k] format_decode
+ 6.23% 0.66% [kernel] [k] pointer5.72% 5.72% [kernel] [k] number
+ 5.36% 0.72% [kernel] [k] string4.65% 4.44% [kernel] [k] string_nocheck
For a higher level overview, try: perf top --sort comm,dso
perf output 监控接口在多个列中显示数据：
-
Children列表示该符号名下调用函数性能事件在所有采样中的比例
-
Overhead列显示函数或库占用的 CPU 百分比。
-
Shared Object列显示使用函数的程序或库的名称。
-
Symbol列显示功能名称或符号。在内核空间中执行的功能由
[k]标识，在用户空间中执行的功能由[.]标识。
用于分析指定程序的性能概况
perf stat
常用参数
-e：选择性能事件
-i：禁止子任务继承父任务的性能计数器。
-r：重复执行 n 次目标程序，并给出性能指标在n 次执行中的变化范围。
-n：仅输出目标程序的执行时间，而不开启任何性能计数器。
-a：指定全部cpu
-C：指定某个cpu
-A：将给出每个处理器上相应的信息。
-p：指定待分析的进程id
-t：指定待分析的线程id
例子
# perf stat
sudo perf stat ib_send_bw -d rxe0 -R -s 2M 192.168.159.131
---------------------------------------------------------------------------------------Send BW TestDual-port : OFF Device : rxe0Number of qps : 1 Transport type : IBConnection type : RC Using SRQ : OFFTX depth : 128CQ Moderation : 100Mtu : 1024[B]Link type : EthernetGID index : 2Max inline data : 0[B]rdma_cm QPs : ONData ex. method : rdma_cm
---------------------------------------------------------------------------------------local address: LID 0000 QPN 0x0017 PSN 0xa67937GID: 00:00:00:00:00:00:00:00:00:00:255:255:192:168:159:131remote address: LID 0000 QPN 0x0018 PSN 0xf8296aGID: 00:00:00:00:00:00:00:00:00:00:255:255:192:168:159:131
---------------------------------------------------------------------------------------#bytes #iterations BW peak[MB/sec] BW average[MB/sec] MsgRate[Mpps]2097152 1000 228.77 205.87 0.000103
---------------------------------------------------------------------------------------Performance counter stats for 'ib_send_bw -d rxe0 -R -s 2M 192.168.159.131':10,027.98 msec task-clock # 0.993 CPUs utilized143 context-switches # 14.260 /sec1 cpu-migrations # 0.100 /sec1,260 page-faults # 125.648 /sec<not supported> cycles<not supported> instructions<not supported> branches<not supported> branch-misses10.100792733 seconds time elapsed0.274651000 seconds user9.542177000 seconds sys输出解释如下：
task-clock：任务真正占用的处理器时间，单位为ms
CPUs utilized = task-clock/time elapsed (CPU的占用率)
context-swichees：程序在运行过程中的上下文切换次数
CPU-migrations：程序在运行过程中发生的处理器迁移次数。Linux为了维持多个处理器的负载均衡在特定条件下会将某个任务从一个CPU迁移到另一个CPU。CPU迁移和上下文切换：发生上下文切换不一定会发生CPU迁移，而发生CPU迁移时肯定会发生上下文切换。发生上下文切换有可能只是把上下文从当前CPU换出，下一次调度器还是将进程安排在这个CPU上执行。
page-faults:缺失异常的次数。当应用程序请求的页面尚未建立，请求的页面不在内存中，或者请求的页面虽然在内存中，但物理地址和虚拟地址的映射关系尚未建立时，都会触发一次却也异常。另外TLB不命中，页面访问权限不匹配等情况也会触发缺页异常。
cycles：消耗的处理器周期数。
stalled-cycles-frontend：指令读取或解码的步骤，未能按理想状态发挥并行左右，发生停滞的时钟周期。
stalled-cycles-backend：指令执行步骤，发生停滞的时钟周期。
instructions：执行了多少条指令。IPC为平均每个cpu cycle执行了多少条指令。
branches：遇到的分支指令数。
branch-misses ：是预测错误的分支指令数。
相关示例
perf top -e cycles:k #显示内核和模块中，消耗最多CPU周期的函数perf top -e kmem:kmem_cache_alloc #显示分配高速缓存最多的函数perf top -g #得到调用关系图perf top -e cycles #指定性能事件perf top -p 23015,32476 #查看这两个进程的cpu cycles使用情况perf top -s comm,pid,symbol #显示调用symbol的进程名和进程号perf top --comms nginx,top #仅显示属于指定进程的符号perf top --symbols kfree #仅显示指定的符号perf stat -r 10 ls > /dev/null #执行10次程序，给出标准偏差与期望的比值perf stat -v ls > /dev/null #显示更详细的信息perf stat -n ls > /dev/null #只显示任务执行时间，不显示性能计数器perf stat -a -A ls > /dev/null #单独给出每个CPU上的信息perf stat -C 0 #统计CPU 0的信息perf stat -e syscalls:sys_enter ls #ls命令执行了多少次系统调用perf record -p `pgrep -d ',' nginx` #记录nginx进程的性能数据perf record ls -g #记录执行ls时的性能数据perf record -e syscalls:sys_enter ls #记录执行ls时的系统调用，可以知道哪些系统调用最频繁perf lock record ls #记录perf lock report #报告Name：内核锁的名字。
aquired：该锁被直接获得的次数，因为没有其它内核路径占用该锁，此时不用等待。
contended：该锁等待后获得的次数，此时被其它内核路径占用，需要等待。
total wait：为了获得该锁，总共的等待时间。
max wait：为了获得该锁，最大的等待时间。
min wait：为了获得该锁，最小的等待时间。
perf kmem record ls #记录perf kmem stat --caller --alloc -l 20 #报告Callsite：内核代码中调用kmalloc和kfree的地方。
Total_alloc/Per：总共分配的内存大小，平均每次分配的内存大小。
Total_req/Per：总共请求的内存大小，平均每次请求的内存大小。
Hit：调用的次数。
Ping-pong：kmalloc和kfree不被同一个CPU执行时的次数，这会导致cache效率降低。
Frag：碎片所占的百分比，碎片 = 分配的内存 - 请求的内存，这部分是浪费的。
有使用--alloc选项，还会看到Alloc Ptr，即所分配内存的地址。perf sched record sleep 10 perf report latency --sort max
TASK：进程名和pid。
Runtime：实际的运行时间。
Switches：进程切换的次数。
Average delay：平均的调度延迟。
Maximum delay：最大的调度延迟。
Maximum delay at：最大调度延迟发生的时刻。perf probe --line schedule #前面有行号的可以探测，没有行号的就不行了perf report latency --sort max #在schedule函数的12处增加一个探测点
😶
🛒
👒
参考
Tutorial - Perf Wiki (kernel.org)
绿色记忆:利用perf剖析Linux应用程序 (gmem.cc)
第 18 章 perf 入门 Red Hat Enterprise Linux 8 | Red Hat Customer Portal
Linux perf命令详解及常用参数解析 - 寒冰宇若 - 博客园 (cnblogs.com)
系统级性能分析工具perf的介绍与使用 - ArnoldLu - 博客园 (cnblogs.com)
系統級性能分析工具 — Perf | Jason note (jasonblog.github.io)
Linux 性能诊断 perf使用指南-阿里云开发者社区 (aliyun.com)
Linux Perf 性能分析工具及火焰图浅析 – 滴滴云博客 (didiyun.com)
性能优化工具：perf – duanple
perf性能分析 | Hexo (melonshell.github.io)
Linux性能分析工具Perf简介 - 老王系统屋 - SegmentFault 思否
