研发效能 | Jacoco dump基于k8s的实现

embedded/2024/12/22 20:01:45/

问题描述

总所周知,jacoco的dump操作如果是使用server模式只需要使用以下命令就能获取到 exec 文件。

java -jar jacococli.jar dump --address 192.169.110.1 --port 6300 --destfile ./jacoco-demo.exec

如果是非 k8s 的集群,也只需要遍历执行这条命令即可,但是对于 k8s 服务的处理有有点力所不逮。

当我们使用 k8s 部署服务后,应用实例将会无状态话,用户不再去关心实例的 ip,端口等信息,service 自动会帮我们做负载均衡等操作,pod 不会暴露出 ip 和端口等信息给集群外部访问,这样对我们的 dump 操作带来了困难。

问题解决

针对上述问题,网络上也有一些解决方案,最常用的方式是切换 jacooc server 模式为 client 模式,这样当 jvm 关闭时就会将 dump 数据写入指定服务的文件里。虽然能从一定程度解决问题,但是这样生成报告的节奏就会被打断,就不能随时生成报告了,这里提供一种解决方式。

首先,我们还是采用 server 模式,在服务启动时注入

-javaagent:/jacoco/agent/jacocoagent.jar=includes=*,output=tcpserver,port=6300,address=0.0.0.0

然后,当我们想要去获取 exec 文件时,可以在 pod 中执行

java -jar /jacoco/agent/jacococli.jar dump --address 127.0.0.1 --port 36300 --destfile /app/jacoco.exec

然后我们从 pod 读取文件/app/jacoco.exec 写入我们的报告生成服务即可

怎么去 pod 内部执行 shell 命令,各种手动都有,这里我们 java 基于一个 k8s 的 sdk 工具 fabric8 实现

  1. public List<String> dumpK8sExecData(K8sDumpParam k8sDumpParam) {

  2.    try {

  3.        String dumpCmd = "JAVA_TOOL_OPTIONS=\"\" java -jar /jacoco/agent/jacococli.jar dump --address 127.0.0.1 --port 6300 --destfile /app/jacoco.exec";

  4.        if (k8sDumpParam.getResetFlag()) {

  5.            dumpCmd += " --reset";

  6.        }

  7.        String[] cmd = {"sh", "-c", dumpCmd};

  8.        K8sCmdParam k8sCmdParam = OrikaMapperUtils.map(k8sDumpParam, K8sCmdParam.class);

  9.        k8sCmdParam.setCmd(cmd);

  10.        k8sCmdParam.setExecutor(executor);

  11.        return executeCmd(k8sCmdParam);

  12.    } catch (Exception e) {

  13.        log.error("dump操作失败,失败原因:", e);

  14.        throw new BizException(BizCode.JACOCO_DUMP_ERROR);

  15.    }

 
  1. public List<String> executeCmd(K8sCmdParam k8sCmdParam) {

  2.    KubernetesClient client = K8sClientProxy.getOrCreateClient(k8sCmdParam.getKubeConfig());

  3.    if (client == null || k8sCmdParam.getNameSpace() == null || CollectionUtil.isEmpty(k8sCmdParam.getPodList())) {

  4.        throw new BizException(BizCode.JACOCO_DUMP_PARAM_ERROR);

  5.    }

  6.    List<CompletableFuture<String>> priceFuture = k8sCmdParam.getPodList().stream().map(pod ->

  7.            CompletableFuture.supplyAsync(() -> {

  8.                String filename = "";

  9.                // 异步操作

  10.                dumpFileService.podExec(pod, k8sCmdParam.getCmd(), k8sCmdParam.getNameSpace(), client);

  11.                try {

  12.                    //中间等待文件写入一段时间,再去尝试获取

  13.                    Thread.sleep(1000);

  14.                    filename = dumpFileService.downloadFile(pod, k8sCmdParam.getNameSpace(), client, k8sCmdParam.getTaskWorkspace());

  15.                } catch (Exception e) {

  16.                    throw new BizException(BizCode.DUMP_FILE_GET_ERROR);

  17.                }

  18.                return filename;

  19.            }, k8sCmdParam.getExecutor())

  20.    ).collect(Collectors.toList());

  21.    // 等待所有异步操作完成,多个pod并发执行以上操作,减少dump的时间消耗

  22.    CompletableFuture.allOf(priceFuture.toArray(new CompletableFuture[0])).join();

  23.    return priceFuture.stream().map(CompletableFuture::join).filter(Objects::nonNull).collect(Collectors.toList());

  24. }

  1. /**

  2. * 执行单个pod命令

  3. *

  4. * @param podName   pod名字

  5. * @param cmd       cmd

  6. * @param namespace 名称空间

  7. * @param client    客户端

  8. */

  9. public void podExec(String podName, String[] cmd, String namespace, KubernetesClient client) {

  10.    try (ExecWatch watch = client.pods().inNamespace(namespace)

  11.            .withName(podName)

  12.            .redirectingOutput()

  13.            .exec(cmd)) {

  14.    }

  15. }

  16. /**

  17. * 获取文件

  18. *

  19. * @param podName   pod名字

  20. * @param namespace 名称空间

  21. * @param client    客户端

  22. * @param workspace 工作空间

  23. */

  24. @Retryable(value = {IOException.class}, backoff = @Backoff(delay = 1000))

  25. public String downloadFile(String podName, String namespace, KubernetesClient client, String workspace) throws IOException {

  26.    try (InputStream is = client.pods().inNamespace(namespace)

  27.            .withName(podName)

  28.            .file("/app/jacoco.exec").read()) {

  29.        String execPath = workspace + "/exec/" + podName + "/jacoco.exec";

  30.        FileUtil.writeFromStream(is, execPath);

  31.        return execPath;

  32.    }

  33. }

这里有两个细节点

  • Thread.sleep(1000) 操作,是因为执行 dump 命令后,我们无法判定 exec 文件什么时候能在本地生成完成,立马获取就会抛出 IO 异常,等待一定时间后即可获取到文件,这个时间的等待只是第一层保障,具体等待时间,可以视自己的 dump 文件大小调整,当然哪怕没调整也没有关系

  • @Retryable(value = {IOException.class}, backoff = @Backoff(delay = 1000)) 这段代码是使用了 spring 的一个重试框架,当文件获取失败后,默认会重试 3 次,每次重试间隔 1 秒,这是获取文件的第二步保障,用户可以通过调整重试次数来减少文件获取失败风险

这里说明下 spring Retryable 必须在 public 方法上,而且调用它的方法不能和他处于同一个类,否则不会生效重试。

通过以上手段就可以主动去 dump 出想要的数据,当然更好的方式是判断 exec 文件是否存在,或者还在写入中,等写入完成再去获取文件,这个操作也可以通过 shell 去完成,本文只是提供一种实现方案。

行动吧,在路上总比一直观望的要好,未来的你肯定会感 谢现在拼搏的自己!如果想学习提升找不到资料,没人答疑解惑时,请及时加入扣群: 320231853,里面有各种软件测试+开发资料和技术可以一起交流学习哦。

最后感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:

这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!


http://www.ppmy.cn/embedded/37310.html

相关文章

unity华为sdk接入指路指南

目前比较靠谱的几个方案&#xff1a;试过几个仅供参考 温馨提示&#xff1a;最高目前可支持方案到unity2021版本以下&#xff0c;以上请联系华为官方寻求技术支持 Unity集成华为游戏服务SDK方式&#xff08;一&#xff09;&#xff1a;集成Unity官方游戏SDK&#xff1a; 华为…

MACHENIKE M7 无线鼠标快捷键

MACHENIKE M7 无线鼠标快捷键 前后灯 颜色&#xff1a;红-紫-蓝&#xff08;默认值&#xff09;-绿-青-黄-粉 操作&#xff1a;同时按下鼠标左键右键 呼吸灯 模式&#xff1a;单色常亮、单色呼吸、七彩呼吸 操作&#xff1a;同时按下鼠标左键右键中键

【练习2】

1.汽水瓶 ps:注意涉及多个输入&#xff0c;我就说怎么老不对&#xff0c;无语~ #include <cmath> #include <iostream> using namespace std;int main() {int n;int num,flag,kp,temp;while (cin>>n) {flag1;num0;temp0;kpn;while (flag1) {if(kp<2){if(…

智能实训-wheeltec小车-抓取(源代码)

语言 :C 源代码&#xff1a; #include <ros/ros.h> #include <image_transport/image_transport.h> #include <cv_bridge/cv_bridge.h> #include <sensor_msgs/image_encodings.h> #include <sensor_msgs/JointState.h> #include <geometry…

QML 本地存储(Setting,sqlite)

Qt hello - 专注于Qt的技术分享平台 QML 原生的储存方有两种&#xff1a; 1&#xff0c;Settings 跟QWidget 中的QSettings 一样&#xff0c;可以简单的存储一些配置。 2&#xff0c;Sqlite sqlite数据库。可以存储一些复杂的数据。 一&#xff0c;Settings 我们以一个按钮的位…

three.js 效果细节提升

1. three.js 效果细节提升 加载模型时&#xff0c;给模型设置接受阴影&#xff0c;反射阴影 gltfLoader.load("./model/court-transformed.glb", (gltf) > {gltf.scene.traverse(child > {if (child.isMesh) {child.castShadow true; // 设置阴影可以投射阴…

SSM【Spring SpringMVC Mybatis】——Maven

目录 1、为什么使用Maven 1️⃣获取jar包 2️⃣添加jar包 3️⃣使用Maven便于解决jar包冲突及依赖问题 2、什么是Maven 3、Maven基本使用 3.1 Maven准备 3.2 Maven基本配置 3.3 Maven之Helloworld 4、Maven及Idea的相关应用 4.1 将Maven整合到IDEA中 4.2 在IDEA中新建…

Vue 过渡

点击按钮 控件背景颜色简单过渡变更。 <style> /* 过渡 */.transtion {transition: 3s background-color ease;}.blue {background-color: blue;}.green {background-color: green;}</style><body><div id"root"></div> </body>…