使用argo workflow 实现springboot 项目的CI、CD

embedded/2024/11/28 2:29:41/

文章目录

  • 基础镜像制作
    • 基础镜像
    • 设置镜像源并安装工具git
    • 下载和安装 Maven
    • 设置环境变量
    • 设置工作目录
    • 默认命令
    • 最终dockerfile
  • 制作ci argo workflow 模版
    • volumeClaimTemplates
    • templates
    • volumes
    • 完整workflow文件
  • 制作cd argo workflow 模版
    • Workflow 结构
    • Templates 定义
      • 创建 Kubernetes 服务 (create-service)
      • 启动 Spring Boot 容器 (springboot-container)
    • 完整workflow内容

在实现 Spring Boot 项目的 CI/CD 流程时，可以使用 Argo Workflows 来自动化构建、测试和部署过程。Argo Workflows 是一个 Kubernetes 原生的工作流引擎，能够在 Kubernetes 集群中定义、运行、监控和管理复杂的工作流。

基础镜像制作

基础镜像

FROM openjdk:8-jdk-slim

这行指定了构建的基础镜像是 openjdk:8-jdk-slim。这是一个包含了 Java 8 开发工具包（JDK）的精简版镜像，适用于 Java 开发和运行环境。

设置镜像源并安装工具git

RUN echo "deb https://mirrors.aliyun.com/debian/ bullseye main non-free contrib" > /etc/apt/sources.list \&& apt-get update \&& apt-get install -y git wget tar \&& apt-get clean \&& rm -rf /var/lib/apt/lists/*

  • 更改 apt 源：使用阿里云的 Debian 镜像源（bullseye），提高安装软件包时的速度和稳定性，尤其是在中国地区。

  • 更新软件包索引：apt-get update 更新包索引。

  • 安装软件包：通过 apt-get install -y 安装 git（用于版本控制）、wget（用于下载文件）、和 tar（用于解压文件）。

  • 清理缓存：使用 apt-get clean 清理下载缓存，减少镜像体积。然后，rm -rf /var/lib/apt/lists/* 删除 apt 包索引文件，进一步减小镜像体积。

下载和安装 Maven

RUN wget https://maven.aliyun.com/nexus/content/groups/public/org/apache/maven/apache-maven/3.8.6/apache-maven-3.8.6-bin.tar.gz -P /tmp || (echo "Maven download failed!" && exit 1)
  • 下载 Maven：使用 wget 从阿里云镜像站点下载 Maven 3.8.6 的二进制压缩包。如果下载失败，将输出错误消息并终止构建。
RUN tar -xvzf /tmp/apache-maven-3.8.6-bin.tar.gz -C /usr/share/ \&& rm -f /tmp/apache-maven-3.8.6-bin.tar.gz \&& ln -s /usr/share/apache-maven-3.8.6/bin/mvn /usr/bin/mvn

  • 解压 Maven：解压下载的 Maven 压缩包到 /usr/share/目录。

  • 清理临时文件：删除下载的压缩包。

  • 创建符号链接：通过 ln -s 创建一个符号链接，将 Maven 的可执行文件 mvn 链接到 /usr/bin/mvn，使得 Maven 命令可以在任何地方使用。

设置环境变量

ENV MAVEN_HOME=/usr/share/apache-maven-3.8.6
ENV PATH=$MAVEN_HOME/bin:$PATH
  • MAVEN_HOME：设置 Maven 的环境变量，指向解压后的 Maven 目录。
  • 更新 PATH：将 Maven 的 bin 目录添加到 PATH 环境变量中，这样就可以直接在命令行使用 mvn 命令。

设置工作目录

WORKDIR /app

设置容器的工作目录为 /app。所有后续的命令（如构建、运行程序）将会在该目录下执行。这个目录是你在容器中执行应用程序的默认位置。

默认命令

CMD ["bash"]
  • 这个命令指定了容器启动时的默认命令是 bash。也就是说，如果你运行这个容器但没有指定其他命令，它将启动一个交互式的 bash shell。

最终dockerfile

FROM openjdk:8-jdk-slim# 使用 Debian 11 (bullseye) 的镜像源
RUN echo "deb https://mirrors.aliyun.com/debian/ bullseye main non-free contrib" > /etc/apt/sources.list \&& apt-get update \&& apt-get install -y git wget tar \&& apt-get clean \&& rm -rf /var/lib/apt/lists/*# 下载 Maven
RUN wget https://maven.aliyun.com/nexus/content/groups/public/org/apache/maven/apache-maven/3.8.6/apache-maven-3.8.6-bin.tar.gz -P /tmp || (echo "Maven download failed!" && exit 1)# 解压 Maven 并创建符号链接
RUN tar -xvzf /tmp/apache-maven-3.8.6-bin.tar.gz -C /usr/share/ \&& rm -f /tmp/apache-maven-3.8.6-bin.tar.gz \&& ln -s /usr/share/apache-maven-3.8.6/bin/mvn /usr/bin/mvn# 设置环境变量
ENV MAVEN_HOME=/usr/share/apache-maven-3.8.6
ENV PATH=$MAVEN_HOME/bin:$PATH# 设置工作目录
WORKDIR /app# 默认命令
CMD ["bash"]

执行构建：

docker build -t git-maven-base:v1 . -f Dockerfile

制作ci argo workflow 模版

volumeClaimTemplates

volumeClaimTemplates:- metadata:name: shared-workdirspec:accessModes: ["ReadWriteMany"]resources:requests:storage: 1Gi- metadata:name: maven-repo-cachespec:accessModes: [ "ReadWriteMany" ]resources:requests:storage: 2Gi

  • shared-workdir: 这个 PVC 用于在工作流中的不同任务之间共享数据。它的存储请求为 1 GiB，并且支持 ReadWriteMany，意味着多个 pod 可以同时读写该存储。

  • maven-repo-cache : 用于缓存 Maven 本地仓库的数据。它的存储请求为 2 GiB，同样支持 ReadWriteMany，可以在不同的 pod 之间共享缓存数据，避免每次构建时都重新下载依赖。

templates

在 templates 部分定义了多个步骤的模板，每个步骤会在不同的容器中执行。

main 模板

- name: maindag:tasks:- name: git-clonetemplate: git-clone- name: docker-buildtemplate: docker-builddependencies: [git-clone]
  • dag：这里使用的是 DAG（有向无环图） 结构，git-clone 任务是 docker-build 的前置依赖（即 docker-build 需要在 git-clone 完成后才开始执行）。

git-clone 模板

- name: git-clonecontainer:image: git-maven-base:v1command: [sh, -c]args:- |git clone https://gitee.com/qfxcoffee/shield.git /srccd /src/arthas-study && mvn clean package -DskipTestscd /src/arthas-study/targetmv arthas-study.jar /src/arthas-study.jarmv /src/arthas-study/docker/Dockerfile /src/cp -r /src/. /mnt/  # 将文件复制到挂载的 PVC 中volumeMounts:- name: shared-workdirmountPath: /mnt  # 挂载到容器的 /mnt 目录- name: maven-repo-cachemountPath: /root/.m2/repository  # 挂载到 Maven 本地仓库路径

git-clone 任务使用一个 git-maven-base:v1 的镜像来执行 Git 克隆操作，并且使用 Maven 构建项目。

构建过程中，Maven 会将依赖缓存到 /root/.m2/repository，并且将源码和构建产物（如 arthas-study.jar 和 Dockerfile）复制到 /mnt，这个路径会映射到共享的 PVC (shared-workdir)，保证不同任务之间的数据共享。

docker-build 模板

- name: docker-buildcontainer:image: docker:19.03.12-dindcommand: [ "/bin/sh", "-c" ]args: ["docker info && cd /mnt && docker build -t my-image:v1 ."]volumeMounts:- name: shared-workdirmountPath: /mnt  # 挂载到容器的 /mnt 目录- name: docker-socketmountPath: /var/run/docker.sock- name: maven-repo-cachemountPath: /root/.m2/repository  # 挂载到 Maven 本地仓库路径

  • docker-build 任务使用 docker:19.03.12-dind 镜像（Docker-in-Docker），这意味着可以在容器内执行 Docker 命令。它会进入挂载的 /mnt 目录，执行 docker build 来构建 Docker 镜像。

  • 挂载了 docker-socket，这样容器可以与宿主机上的 Docker 服务进行通信，执行构建命令。

volumes

volumes:- name: docker-sockethostPath:path: /var/run/docker.socktype: Socket- name: maven-repo-cachehostPath:path: /root/.m2/repositorytype: Directory

  • docker-socket: 宿主机上的 Docker 套接字 (/var/run/docker.sock) 被挂载到容器中，使得容器能够访问宿主机的 Docker 引擎，从而执行 Docker 命令。

  • maven-repo-cache: 这里挂载了宿主机上的 /root/.m2/repository 目录到容器中，用于缓存 Maven 本地仓库。这意味着 Maven 任务在执行时会使用这个缓存，而不必每次都从远程仓库下载依赖，减少了构建时间。

hostPath 和 volumeClaimTemplates 中的 PVC 用法：

hostPath 通过指定宿主机上的目录或套接字，让容器能够访问宿主机的资源。
volumeClaimTemplates 则是在 Kubernetes 中动态创建 PVC，并在 Pod 内部挂载这些 PVC，使得多个任务之间可以共享文件和数据。

这两种挂载方式在某些场景下配合使用，可以提供灵活的数据共享和存储策略。

完整workflow文件

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: pvs-demo-
spec:entrypoint: mainvolumeClaimTemplates:- metadata:name: shared-workdir  # 共享的 PVC 名称spec:accessModes: ["ReadWriteMany"]  # 多个 Pod 可以同时读取和写入resources:requests:storage: 1Gi- metadata:name: maven-repo-cache  # 用于缓存 Maven 本地仓库spec:accessModes: [ "ReadWriteMany" ]resources:requests:storage: 2Gitemplates:- name: maindag:tasks:- name: git-clonetemplate: git-clone- name: docker-buildtemplate: docker-builddependencies: [git-clone]- name: git-clonecontainer:image: git-maven-base:v1command: [sh, -c]args:- |git clone https://gitee.com/qfxcoffee/shield.git /srccd /src/arthas-study && mvn clean package -DskipTestscd /src/arthas-study/targetmv arthas-study.jar /src/arthas-study.jarmv /src/arthas-study/docker/Dockerfile /src/cp -r /src/. /mnt/  # 将文件复制到挂载的 PVC 中volumeMounts:- name: shared-workdir  # 挂载 PVCmountPath: /mnt  # 挂载到容器的 /mnt 目录- name: maven-repo-cachemountPath: /root/.m2/repository  # 将 PVC 挂载到 Maven 本地仓库路径- name: docker-buildcontainer:image: docker:19.03.12-dindcommand: [ "/bin/sh", "-c" ]args: ["docker info && cd /mnt && docker build -t my-image:v1 ."]volumeMounts:- name: shared-workdir  # 挂载共享 PVC，确保构建上下文可用mountPath: /mnt  # 挂载到容器的 /mnt 目录- name: docker-socketmountPath: /var/run/docker.sock- name: maven-repo-cachemountPath: /root/.m2/repository  # 将 PVC 挂载到 Maven 本地仓库路径volumes:- name: docker-sockethostPath:path: /var/run/docker.socktype: Socket- name: maven-repo-cachehostPath:path: /root/.m2/repository  # 宿主机上的目录路径type: Directory  # 可以是 Directory 或 File，取决于你的需求

在这里插入图片描述

在这里插入图片描述

可以看到maven构建及docker构建镜像成功

制作cd argo workflow 模版

Workflow 结构

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: springboot-service-workflow-
spec:entrypoint: springboot-workflow

  • apiVersion: argoproj.io/v1alpha1 和 kind: Workflow：这定义了这是一个 Argo Workflow 类型的资源，表示这个文件用于定义一个工作流。

  • metadata.generateName: springboot-service-workflow-：这个字段为工作流生成一个唯一的名称。generateName 表示 Argo 会在每次创建工作流时，为该工作流添加一个随机的后缀，以确保工作流名称的唯一性。

  • spec.entrypoint: springboot-workflow：指定工作流的入口点，即从哪个模板开始执行。在这个例子中，工作流会从 springboot-workflow 模板开始执行。

Templates 定义

接下来的部分定义了工作流中的多个步骤 (steps)，这些步骤会按顺序执行。

创建 Kubernetes 服务 (create-service)

- name: create-serviceresource:action: applymanifest: |apiVersion: v1kind: Servicemetadata:name: springboot-servicespec:selector:app: springboot-appports:- protocol: TCPport: 8080targetPort: 8080type: NodePort  # 可以根据需要修改为 LoadBalancer 或 NodePort
  • name: create-service：这个步骤的名称。
  • resource:
    • action: apply：表示使用 kubectl apply 命令应用 Kubernetes 资源，创建一个服务。
    • manifest: 这是一个 Kubernetes Service 的 YAML 定义，描述了服务的配置。
    • apiVersion: v1 和 kind: Service：表示这个资源是一个 Kubernetes 服务。
    • metadata.name: springboot-service：服务的名称是 springboot-service。
      • spec:
        • selector: 用于选择应用的 Pod。这里的选择器选择标签为 app: springboot-app 的 Pod。
        • ports: 定义服务的端口，服务监听 8080 端口，并将请求转发到目标端口 8080。
        • type: NodePort：指定服务类型为 NodePort，这意味着服务将暴露在 Kubernetes 节点的一个端口上，便于从外部访问应用。你可以根据需要将其改为 LoadBalancer 或 ClusterIP，具体取决于你的网络需求。

启动 Spring Boot 容器 (springboot-container)


- name: springboot-containercontainer:name: springboot-appimage: my-image:v1  # 替换成你的 Docker 镜像command: [ "java" ]  # 显式指定命令为 `java`args: [ "-jar", "arthas-study.jar" ]  # 显式指定 `arthas-study.jar` 文件作为参数ports:- containerPort: 8080env:- name: SPRING_PROFILES_ACTIVEvalue: "prod"metadata:labels:app: springboot-app

完整workflow内容

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: springboot-service-workflow-
spec:entrypoint: springboot-workflowtemplates:- name: springboot-workflowsteps:- - name: create-servicetemplate: create-service- - name: start-springboot-containertemplate: springboot-container- name: create-serviceresource:action: applymanifest: |apiVersion: v1kind: Servicemetadata:name: springboot-servicespec:selector:app: springboot-appports:- protocol: TCPport: 8080targetPort: 8080type: NodePort  # 可以根据需要修改为 LoadBalancer 或 NodePort- name: springboot-containercontainer:name: springboot-appimage: my-image:v1  # 替换成你的 Docker 镜像command: [ "java" ]  # 显式指定命令为 `java`args: [ "-jar", "arthas-study.jar" ]  # 显式指定 `arthas-study.jar` 文件作为参数ports:- containerPort: 8080env:- name: SPRING_PROFILES_ACTIVEvalue: "prod"metadata:labels:app: springboot-app

在这里插入图片描述

可以看到springboot项目已经运行成功。

kubectl get svc -n argo

在这里插入图片描述

http://192.168.56.115:32356/user/1

在这里插入图片描述


http://www.ppmy.cn/embedded/141066.html

相关文章

Linux各种并发服务器优缺点

Linux各种并发服务器优缺点

本文旨在介绍针对“无并发C/S模型”改进的方法总结以及各种改进方法的优缺点，具体函数的实现并不介绍。 1. 无并发C/S模型 创建服务器流程分析： socket()创建服务器的监听套接字bind()将服务器给服务器的监听套接字绑定IP地址和Port端口号listen()设置…
阅读更多...
java虚拟机——频繁发生Full GC的原因有哪些？如何避免发生Full GC

java虚拟机——频繁发生Full GC的原因有哪些？如何避免发生Full GC

什么是Full GC Full GC（Full Garbage Collection）是Java垃圾收集过程中的一种形式，它涉及整个堆内存（包括年轻代和老年代）以及方法区的垃圾收集。Full GC是一个相对重量级的操作，因为它需要遍历和回收整个…
阅读更多...
Spring Boot英语知识网站：开发策略

Spring Boot英语知识网站：开发策略

5系统详细实现 5.1 管理员模块的实现 5.1.1 用户信息管理 英语知识应用网站的系统管理员可以对用户信息添加修改删除以及查询操作。具体界面的展示如图5.1所示。 图5.1 用户信息管理界面 5.1.2 在线学习管理 系统管理员可以对在线学习信息进行添加，修改&#xff0…
阅读更多...
ASP.NET Web（.Net Framework） Http服务器搭建以及IIS站点发布

ASP.NET Web（.Net Framework） Http服务器搭建以及IIS站点发布

ASP.NET Web（.Net Framework） Http服务器搭建以及IIS站点发布 介绍创建ASP.NET Web （.Net Framework）http服务器创建项目创建脚本部署Http站点服务器测试 Get测试编写刚才的TestWebController.cs代码如下测试写法1测试写法2 Post测…
阅读更多...
快速简单的视频下载器——lux

快速简单的视频下载器——lux

文章目录 前言1.环境检查1.1 检查 lux 安装1.2 检查FFmpeg安装1.3 备注 2. lux指令2.1 无OPTIONS2.2 -i 指令2.3 - f 指令2.4 -c 指令2.5 -o 指令2.6 备注 3.结语 前言 在学习之余，发现了一个简单并且高效的视频下载器lux,能够帮你快速且高效的下载文件&#xff08…
阅读更多...
Elasticsearch客户端在和集群连接时，如何选择特定的节点执行请求的？

Elasticsearch客户端在和集群连接时，如何选择特定的节点执行请求的？

大家好，我是锋哥。今天分享关于【Elasticsearch客户端在和集群连接时，如何选择特定的节点执行请求的？】面试题。希望对大家有帮助； Elasticsearch客户端在和集群连接时，如何选择特定的节点执行请求的？ 100…
阅读更多...
自主研发，基于PHP+ vue2+element+ laravel8+ mysql5.7+ vscode开发的不良事件管理系统源码，不良事件管理系统源码

自主研发，基于PHP+ vue2+element+ laravel8+ mysql5.7+ vscode开发的不良事件管理系统源码，不良事件管理系统源码

不良事件上报系统源码，不良事件管理系统源码，PHP源码 不良事件上报系统通过 “事前的人员知识培训管理和制度落地促进”、“事中的事件上报和跟进处理”、 以及 “事后的原因分析和工作持续优化”，结合预存上百套已正在使用的模板&#xff0…
阅读更多...
双向链表、循环链表、栈

双向链表、循环链表、栈

双向循环链表 class Node:#显性定义出构造函数def __init__(self,data):self.data data #普通节点的数据域self.next None #保存下一个节点的链接域self.prior None #保存前一个节点饿链接域 class DoubleLinkLoop:def __init__(self, node Node):self.head nodeself.siz…
阅读更多...
最新文章

Copyright @ 2022~2023