前言

在这之前, 我也曾使用过ebpf来改造我自己的项目, 最后也成功引入了项目, 有兴趣的同学可以查看此文章.

如何用ebpf开启tun网卡的TUNSETSTEERINGEBPF功能_我不买vip的博客-CSDN博客

但是该文章里并没有实质性的内容, 比如ebpf的map未曾涉及, 探测类型也未曾涉及, 只是一个空壳ebpf程序, 虽然能用, 但是是依赖内核开发者已开发出来的功能, 并未真正使用ebpf.

最近一段时间, 公司让我优化某个项目, 就借此机会又研究了下ebpf. 当然了, 研究ebpf最好的方法肯定是研究linux源码下samples/bpf的相关例子. 本文也是根据samples/bpf的例子改造的.

该文章主要目的是如何使用kprobe探测内核函数. 而在本文里则是ebpf的内核态代码用kprobe探测connect的系统调用函数__sys_connect, 并在探测时解析出dest port作为key, 获取应用层pid(比如本文里的测试程序iperf3)作为value放入map里. 而ebpf的用户态程序遍历此map, 并打印相关信息.

环境

Ubuntu-22.10环境, 5.19.0-23-generic内核, x86_64架构, 所下载的linux源码为5.19.0.

编译

关于如何编译linux源码下的samples/bpf程序, 可以参考此文章.

如何使用linux源码编译bpf_我不买vip的博客-CSDN博客

注意, ubuntu20编译linux-5.4.0和ubuntu22编译linux-5.19.0方法的最后一步不一样, 该篇文章编译的最后一步为

make VMLINUX_BTF=/sys/kernel/btf/vmlinux -C samples/bpf

源码

源码包含两个部分, for_conn_kern.c和for_conn_user.c两部分, 分别对应ebpf的内核态程序和ebpf的用户态程序. 实际代码如下:

for_conn_kern.c

// for_conn_kern.c#include <linux/skbuff.h>
#include <linux/netdevice.h>
#include <linux/version.h>
#include <uapi/linux/bpf.h>
#include <bpf/bpf_helpers.h>
#include <bpf/bpf_tracing.h>
#include <bpf/bpf_core_read.h>
#include <net/sock.h>
#include "trace_common.h"#define MAX_ENTRIES 1024struct {__uint(type, BPF_MAP_TYPE_HASH);__type(key, u32);__type(value, u32);__uint(max_entries, MAX_ENTRIES);
} port_2_pid_map SEC(".maps");SEC("kprobe/__sys_connect")
int trace_sys_conn(struct pt_regs *ctx)
{int ret = 0;u16 port = 0;u32 key = 0;u32 pid = 0;struct sockaddr_in *in4 = (struct sockaddr_in *)PT_REGS_PARM2_CORE(ctx);if ((ret = bpf_probe_read_user(&port, sizeof(port), &in4->sin_port))){return 0;}key = ntohs(port);pid = bpf_get_current_pid_tgid() >> 32;bpf_map_update_elem(&port_2_pid_map, &key, &pid, BPF_ANY);return 0;
}char _license[] SEC("license") = "GPL";
u32 _version SEC("version") = LINUX_VERSION_CODE;

for_conn_user.c

// for_conn_user.c#define _GNU_SOURCE
#include <sched.h>
#include <stdio.h>
#include <sys/types.h>
#include <asm/unistd.h>
#include <unistd.h>
#include <assert.h>
#include <sys/wait.h>
#include <stdlib.h>
#include <signal.h>
#include <string.h>
#include <time.h>
#include <arpa/inet.h>
#include <errno.h>#include <bpf/bpf.h>
#include <bpf/libbpf.h>int main(int argc, char **argv)
{struct bpf_object *obj = NULL;int i = 0;int mfd = 0;struct bpf_link *link = NULL;struct bpf_program *prog;char filename[256];snprintf(filename, sizeof(filename), "%s_kern.o", argv[0]);//-----------------//obj = bpf_object__open_file(filename, NULL);if (libbpf_get_error(obj)) {fprintf(stderr, "ERROR: opening BPF object file failed\n");return -1;}if (bpf_object__load(obj)) {fprintf(stderr, "ERROR: loading BPF object file failed\n");goto END;}//-----------------//prog = bpf_object__find_program_by_name(obj, "trace_sys_conn");if (!prog) {printf("finding a prog in obj file failed\n");goto END;}//-----------------//mfd = bpf_object__find_map_fd_by_name(obj, "port_2_pid_map");if (mfd < 0){fprintf(stderr, "ERROR: finding a map fd in obj file failed\n");goto END;    }//-----------------//link = bpf_program__attach(prog);if (libbpf_get_error(link)) {fprintf(stderr, "ERROR: bpf_program__attach link failed\n");link = NULL;goto END;}for (i = 0; i < 1000; i++){unsigned int key = 0;unsigned int next_key = 0;while (bpf_map_get_next_key(mfd, &key, &next_key) == 0) {unsigned int value = 0;bpf_map_lookup_elem(mfd, &next_key, &value);fprintf(stdout, "port: %u, pid: %d\n", next_key, value);key = next_key;}printf("-----------------------\n");sleep(1);}END:bpf_link__destroy(link);bpf_object__close(obj);return 0;
}

其实在<<编译>>部分, 我们已经编译好了samples/bpf程序, 现在只需要把for_conn_kern.c和for_conn_user.c加入到samples/bpf/Makefile文件里即可, 而我们可以根据tracex3在对应的部分添加这两个文件即可. 比如:

测试

1, 在一台服务器用iperf3启动一个tcp服务, 比如: iperf3 -s 0.0.0.0 -p 6230

2, 启动该ebpf程序, ./for_conn

3, 在本机启动一个iperf3客户端, 连接6230端口, 比如: iperf3 -c 192.168.20.1xx -p 6230

4, 查看本机iperf3进程id, 查看./for_conn打印信息

测试结果入下图: