A7. Jenkins Pipeline自动化构建过程，可灵活配置多项目、多模块服务实战

ops/2025/2/1 1:24:30/

  • 服务容器化构建的环境配置
  • 构建前需要解决什么
  • 下面我们带着问题分析构建的过程：
    • 1. 如何解决jenkins执行环境与shell脚本执行环境不一致问题？
    • 2. 构建之前动态修改项目的环境变量
    • 3. 在通过容器打包时避免不了会产生比较多的不可用的镜像资源，这些资源要是不及时删除掉时会导致服务器磁盘暴满，导致资源浪费。此时我们在构建之前也要执行不可用的镜像清除操作；
    • 4. 本地LLama大模型服务地址，如何以容器部署时作为参数传入？
    • 5. 单工程服务和多工程服务如何合并成一个构建方案？
    • 6. 服务构建重复性校验
    • 7. 构建本次服务的镜像
    • 8. 缓存签名信息
  • 构建服务的完整脚本（build.sh）
  • 介绍了脚本构建的执行过程，下面jenkins端是如何进行配置的
  • 构建成功会在harbor仓库中显示相应的产物
  • 总结

下面我们接着上一篇文章《A6.Springboot-LLama3.2服务自动化构建（三）——编写Pipeline构建仓库初始化脚本》继续往下分析，编写Pipeline构建脚本。

服务容器化构建的环境配置

  1. 准备平台
    • 容器私有仓库Harbor的账号与密码，Harbor的安装与部署请参考我前面的文章《Harbor容器镜像私有仓库部署（For Liunx）》
  2. 构建主机
    • 安装xmlstarlet、jq工具；
      #主要用于项目的pom.xml文件解析
apt install xmlstarlet
#主要用于harbor仓库检测镜像时返回json数据的解析
apt install jq
    • Docker容器管理工具安装，这个可以参考我前面的文章《Liunx安装Docker容器化管理工具（记录篇）》
  3. 部署主机
    • Docker容器管理工具安装，这个可以参考我前面的文章《Liunx安装Docker容器化管理工具（记录篇）》

构建前需要解决什么

  • 本地LLama大模型服务地址，如何以容器部署时作为参数传入？
  • 单工程服务和多工程服务如何合并成一个构建方案？
  • 如何解决jenkins执行环境与shell脚本执行环境不一致问题？
  • 构建成功后如何将容器上传到harbor镜像仓库中？

下面我们带着问题分析构建的过程：

1. 如何解决jenkins执行环境与shell脚本执行环境不一致问题？

在jenkins构建过程中由于平台用户环境与sh脚本执行环境不是同一个权限，为了解决这个问题网上有些解决方案说将当前用户添加到Admin Group当中，还有些通过安装SSH plugin登录到远程主机来执行来解决脚本调度过程中的权限问题。这里我们通过在Pipeline使用证书远程登录到相应的主机再执行相应逻辑：

def remote = [:]
remote.name = "${BUILD_HOST}"
remote.host = "${BUILD_HOST}"
remote.port = Integer.parseInt("${BUILD_PORT}")
remote.allowAnyHosts = true
withCredentials([sshUserPrivateKey(credentialsId: "${DEPLOY_HOST_CREDENTIALS_ID}", keyFileVariable: 'identity', usernameVariable: 'username')]) {remote.user = usernameremote.identityFile = identitysshCommand remote: remote, command: "/bin/bash 这里执行你的远程脚本"
}

2. 构建之前动态修改项目的环境变量

利用xmlstarlet动态修改项目pom.xml中的环境变量配置

<properties><!--dev:开发环境；test:测试环境；pre:预发环境；prod:正式环境；--><project.env.tag>dev</project.env.tag>
</properties>

#其中project_dir为项目根目录，jenkins脚本配置中传入
$(xmlstarlet ed --inplace -N ns=http://maven.apache.org/POM/4.0.0 -u "/ns:project/ns:properties/ns:project.env.tag" -v "$env" "$project_dir/pom.xml")

只要替换pom.xml中配置的值，在application.yml我们就可以通过@project.env.tag@方式来获取；

spring:profiles:active: @project.env.tag@

3. 在通过容器打包时避免不了会产生比较多的不可用的镜像资源，这些资源要是不及时删除掉时会导致服务器磁盘暴满，导致资源浪费。此时我们在构建之前也要执行不可用的镜像清除操作；

docker image prune -a --force

4. 本地LLama大模型服务地址，如何以容器部署时作为参数传入？

有时我们在部署某些docker容器时直接传入一些环境变量来达到相应参数的赋值。那么在我们开发的服务当中，如果打包成docker镜像也实现两样的效果应该怎么去配置呢，继续往下看阐述具体的步骤。

在Springboot服务配置文件application.yml中添加自定义配置（这里以llama主机地址为例）

llama:service:host: ${LLAMA_HOST:@llama.host@}

在这里插入图片描述
根据结构原理分析打包镜像后，我们只要在docker run之后添加-e LLAMA_HOST=xxx变量即可实现将参数值赋值到程序内部对应的配置中。

5. 单工程服务和多工程服务如何合并成一个构建方案？

配置jenkins服务构建时，我们希望无论是单工程形式还是多工程模块服务形式，脚本构建的过程是同一段打包逻辑。基于这一点考虑，是否只要将要打包的服务名放入一个数组中，然后循环依次构建对应的服务，这样无论是父工程方式还是单工程方式就不受影响了。

在项目中新建servers.sh来定义要构建的服务集合

#!/bin/bash
declare -a service_array
service_array=("ey-gateway" "ey-device")

在脚本中偏历service_array依次构建服务

#导入项目定义的数组，project_dir为项目根目录
source "${project_dir}/servers.sh"
for service in "${service_array[@]}"; do#移除每个服务对应的前缀作为构建服务名last_element=$(echo "$service" | cut -d'-' -f2-)#这里处理每个服务的构建逻辑
done

6. 服务构建重复性校验

当项目在迭代的过程开发人员每提交一个小版本以及测试工程师需要功能测试、单元测试和集成测试等，每个小间段都需要进行打包，构建次数会非常频繁。大部分情况测试人员需要构建项目时，往往是项目配置或代码逻辑没做任何改动的，难道jenkins在构建服务镜像时每次都需要重新构建会不会显得资源有点浪费（或者说是无意义构建）。那么有没有办法解决呢，即开发人员提交更改后执行打包才重新构建，如果没有做任何更改或项目版本号没有发生任务变量执行打包不重新构建延用原有的镜像。下面我们来看一下具体的实现部分：

首先需要创建校验签名文件，用于记录上一次构建的镜像签名值、版本号、镜像服务名等信息；在下次构建时作为比较的相关维度

#在上一步for循环前定义签名文件存储路径，以便之后的信息写入
#organization：组织机构名称，主要在harbor镜像仓库中用于区分不同公司或不同项目构建的服务，该参数值由jenkins平台端传入
build_sign_file=".${organization}_build_sign_config.ini"
for service in "${service_array[@]}"; do#这里处理每个服务的构建逻辑
done

取出当前服务的md5与上一次签名进行比较是否一致，如果不一致则进行构建动作，否则进行下一个条件判断

#通过服务的几个指标，计算出服务md5值：服务根目录下所有文件、服务iml后缀文件、如果存在HELP.md如果发生改变、如果存在mvn后缀文件且有发生改变、如果存在mvnw文件且有发生改变，根据这些指标重新计算md5值并写入到md5sums.txt文件中
find "$service" -type f -print0 | grep -vFz "$project_dir/$service/$service.iml" | grep -vFz "$project_dir/$service/HELP.md" | grep -vFz "$project_dir/$service/.mvn" | grep -vFz "$project_dir/$service/mvnw" | xargs -0 md5sum >md5sums.txt#取出md5sums.txt文件中的md5值
current_md5=$(awk '{print $1}' md5sums.txt | sort | md5sum)#将md5去掉连接符，作为当前要构建的服务签名值
current_environment_md5=$(tr -d ' -' <<<"$current_md5")#当前我们得到签名值后，将md5sums.txt临时文件移除
rm -rf md5sums.txt#如果首次执行或本地签名缓存文件不存在需要创建它
if [[ ! -f "$user_dir/${build_sign_file}" ]]; thentouch "$user_dir/${build_sign_file}"
fi#从签名文件中取出上一次构建对应服务的签名值,其中JENKINS_DEPLOY_HOME为环境变量值，即脚本根目录
#$user_dir/${build_sign_file}：表示将签名文件存储在用户目录下
#${service}_${env}_md5：以服务名称+环境+md5作为key存储
#其中kvs.py为python实现的操作本地文件的key=value类型的文件数据
old_environment_md5=$(python3 "${JENKINS_DEPLOY_HOME}/kvs.py" "take" "$user_dir/${build_sign_file}" "${service}_${env}_md5")

根据服务从harbor镜像仓库中查找一下看是否存在，如果不存在则进行构建动作，否则进行下一个条件判断


http://www.ppmy.cn/ops/154621.html

相关文章

Maven的单元测试

Maven的单元测试

1. 单元测试的基本概念 单元测试&#xff08;Unit Testing&#xff09; 是一种软件测试方法&#xff0c;专注于测试程序中的最小可测试单元——通常是单个类或方法。通过单元测试&#xff0c;可以确保每个模块按预期工作&#xff0c;从而提高代码的质量和可靠性。 2.安装和配…
阅读更多...
Nginx中部署多个前端项目

Nginx中部署多个前端项目

1&#xff0c;准备前端项目 tlias系统的前端资源 外卖项目的前端资源 2&#xff0c;nginx里面的html文件夹中新建&#xff0c;tlias和sky两个文件夹。 切记这是在nginx/html下创建的 mkdir sky mkdir tlias 把tlias和sky的资源都放到对应的文件夹中 3&#xff0c;编辑配置ngi…
阅读更多...
JxBrowser 7.41.7 版本发布啦！

JxBrowser 7.41.7 版本发布啦！

JxBrowser 7.41.7 版本发布啦&#xff01; • 已更新 #Chromium 至更新版本 • 实施了多项质量改进 &#x1f517; 点击此处了解更多详情。 &#x1f193; 获取 30 天免费试用。
阅读更多...
基于物联网的智能环境监测系统（论文+源码）

基于物联网的智能环境监测系统（论文+源码）

1系统的功能及方案设计 本课题为基于物联网的智能环境监测系统的设计与实现&#xff0c;整个系统采用stm32f103单片机作为主控制器&#xff0c;通过DHT11传感器实现智能环境监测系统温度和湿度的检测&#xff0c;通过MQ传感器实现CO2浓度检测&#xff0c;通过光照传感器实现光照…
阅读更多...
浅谈Linux 权限、压缩、进程与服务

浅谈Linux 权限、压缩、进程与服务

概述 放假回家&#xff0c;对Linux系统的一些知识进行重新的整理&#xff0c;做到温故而知新&#xff0c;对用户权限管理、文件赋权、压缩文件、进程与服务的知识进行了一次梳理和总结。 权限管理 Linux最基础的权限是用户和文件&#xff0c;先了解基础的用户权限和文件权限…
阅读更多...
自定义数据集 使用pytorch框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测

自定义数据集 使用pytorch框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测

代码1实现逻辑回归并保存模型 import torch import numpy as np import torch.nn as nn from torch.utils.data import DataLoader, TensorDatasetdata [[-0.5, 7.7], [1.8, 98.5], [0.9, 57.8], [0.4, 39.2], [-1.4, -15.7], [-1.4, -37.3], [-1.8, -49.1], [1.5, 75.6],[0.…
阅读更多...
EtherNet/IP转Modbus协议网关在现代工业自动化领域的应用

EtherNet/IP转Modbus协议网关在现代工业自动化领域的应用

在一个典型的工业自动化环境中&#xff0c;可能存在多种不同品牌和型号的设备&#xff0c;这些设备往往采用不同的通信协议进行数据传输。例如&#xff0c;某些品牌的PLC可能采用EtherNet/IP协议&#xff0c;而一些较旧的仪表和传感器则可能使用Modbus协议。这种协议的不一致性…
阅读更多...
C++小病毒-1.0勒索(更新次数:2)

C++小病毒-1.0勒索(更新次数:2)

内容供学习使用,不得转卖,代码复制后请1小时内删除,此代码会危害计算机安全,谨慎操作 在C20环境下,并在虚拟机里运行此代码!&#xff0c;病毒带来后果自负! 使用时请删除在main()里的注释,并修改位置至C:\\(看我代码注释)//可以改成WIN　Main() #include <iostream> #i…
阅读更多...
最新文章

Copyright @ 2022~2023