1. Harbor介绍
前面在部署项目时,我们主要采用Jenkins推送jar包到指定服务器,再通过脚本命令让目标服务器对当前jar进行部署,这种方式在项目较多时,每个目标服务器都需要将jar包制作成自定义镜像再通过docker进行启动,重复操作比较多,会降低项目部署时间。我们可以通过Harbor作为私有的Docker镜像仓库。让Jenkins统一将项目打包并制作成Docker镜像发布到Harbor仓库中,只需要通知目标服务,让目标服务统一去Harbor仓库上拉取镜像并在本地部署即可。Docker官方提供了Registry镜像仓库,但是Registry的功能相对简陋。Harbor是VMware公司提供的一款镜像仓库,提供了权限控制、分布式发布、强大的安全扫描与审查机制等功能
2. Harbor下载安装
- 安装docker和docker-compose
- 下载harbor
# 下载软件
# 下载Harbor安装包:
# https://github.com/goharbor/harbor/releases/mkdir /data/{softs,server} -p && cd /data/softs
wget https://github.com/goharbor/harbor/releases/download/v2.5.0/harbor-offline-installer-v2.3.4.tgz# 解压软件
tar -zxvf harbor-offline-installer-v2.3.4.tgz -C /usr/local/# 加载镜像
docker load < harbor.2.3.4.tar.gz
docker images# 备份配置
cd harbor
cp harbor.yml.tmpl harbor.yml
- 修改配置
# 修改配置
[root@kubernetes-register /data/server/harbor]# vim harbor.yml.tmpl# 修改主机名hostname: kubernetes-register.sswang.comhttp:port: 80#https: 注释ssl相关的部分# port: 443# certificate: /your/certificate/path# private_key: /your/private/key/path# 修改harbor的登录密码harbor_admin_password: 123456# 设定harbor的数据存储目录data_volume: /data/server/harbor/data
- 配置harbor
配置harbor
./prepare启动harbor
./install.sh检查效果
docker-compose ps
- 定制启动文件(可以省略)
# 定制服务启动文件 /etc/systemd/system/harbor.service
[Unit]
Description=Harbor
After=docker.service systemd-networkd.service systemd-resolved.service
Requires=docker.service
Documentation=http://github.com/vmware/harbor[Service]
Type=simple
Restart=on-failure
RestartSec=5
#需要注意harbor的安装位置
ExecStart=/usr/bin/docker-compose --file /data/server/harbor/docker-compose.yml up
ExecStop=/usr/bin/docker-compose --file /data/server/harbor/docker-compose.yml down[Install]
WantedBy=multi-user.target
加载配置文件
加载服务配置文件
systemctl daemon-reload
启动服务
systemctl start harbor
检查状态
systemctl status harbor
设置开机自启动
systemctl enable harbor
- harbor仓库定制
docker 添加配置
# 添加主机配置
vim /etc/hosts
# 添加下面配置
192.168.201.123 habor.com harbor
192.168.201.111 jenkins.com jenkins
192.168.201.112 gitlab.com gitlab# docker配置
vim /etc/docker/daemon.json
{"exec-opts": ["native.cgroupdriver=systemd"],"registry-mirrors": ["https://docker.m.daocloud.io","https://dockerhub.icu","https://registry.aliyuncs.com","https://docker.nju.edu.cn"],# 添加harbor地址配置"insecure-registries": ["harbor.com"]
}
浏览器访问域名,用户名: admin, 密码:123456
创建repo用户专用的项目仓库,名称为 repo,权限为公开的
- haibor仓库测试
# docker login -u 用户名 -p 密码 Harbor地址
# 登录仓库 A123456a docker login kubernetes-register.sswang.com -u sswang
docker login harbor.com -u admin
Password: # 输入登录密码 A12345678a# 下载镜像
docker pull busybox# 定制镜像标签
# docker tag busybox kubernetes-register.sswang.com/sswang/busybox:v0.1
docker tag test:v1.0.0 kubernetes-register.sswang.com/sswang/test:v1.0.0
# 推送镜像
# docker push kubernetes-register.sswang.com/sswang/busybox:v0.1
docker push kubernetes-register.sswang.com/sswang/test:v1.0.0
3. Jenkins容器使用宿主机Docker
构建镜像和发布镜像到harbor都需要使用到docker命令。而在Jenkins容器内部安装Docker官方推荐直
接采用宿主机带的Docker即可。
设置Jenkins容器使用宿主机Docker
- 设置宿主机docker.sock权限
cd /var/run/sudo chown root:root /var/run/docker.sock
sudo chmod o+rw /var/run/docker.sock
- 添加数据卷
修改Jenkins的docker-compse.yml,添加新的数据卷映射,然后重启jenkins
version: "3.1"
services:jenkins:image: jenkins/jenkinscontainer_name: jenkinsports:- 8080:8080- 50000:50000volumes:- ./data/:/var/jenkins_home/- /usr/bin/docker:/usr/bin/docker- /var/run/docker.sock:/var/run/docker.sock- /etc/docker/daemon.json:/etc/docker/daemon.json
首先删除之前添加的推送的配置
然后在添加一个构建后的操作,执行shell
mv target/*.jar docker/
docker build -t mytest:$tag docker/
docker login -u sswang -p A123456a kubernetes-register.sswang.com
docker tag mytest:$tag kubernetes-register.sswang.com/sswang/mytest:$tag
docker push kubernetes-register.sswang.com/sswang/mytest:$tag
然后再次构建,然后再去harbor上查看镜像是否推送成功。这里看已经推送到harbor了
如何在目标服务器运行容器?
- 告知目标服务器需要拉取哪个镜像
- 判断当前服务器是否正在运行容器,需要删除
- 如果目标服务器已经存在当前镜像,需要删除
- 目标服务器拉取harbor上的镜像
- 将拉去下来的镜像运行成为一个容器
- 需要知道 harbor地址/harbor仓库/镜像名称:版本 端口号 kubernetes-register.sswang.com/sswang/mytest:v1.0.0
部署项目需要通过Publish Over SSH插件,让目标服务器执行命令。为了方便一次性实现拉取镜像和启动的命令,推荐采用脚本文件的方式。
添加脚本文件到目标服务器,再通过Publish Over SSH插件让目标服务器执行脚本即可。在根目录下。
# 在根目录下
vim deploy.sh
# 放到环境变量中 echo $PATH
mv deploy.sh /usr/binchmod a+x deploy.sh
deploy.sh 文件
harbor_addr=$1
harbor_repo=$2
project=$3
version=$4
container_port=$5
host_port=$6imageName=$harbor_addr/$harbor_repo/$project:$version
echo $imageNamecontainerId=`docker ps -a | grep ${project} | awk '{print $1}'`
echo $containerId
if [ "$containerId" != "" ] ; thendocker stop $containerIddocker rm $containerIdecho "Delete Container Success"
fitag=`docker images | grep ${project} | awk '{print $3}'`
echo $tag
if [ "$tag" != "" ] ; thendocker rmi -f $tagecho "Delete Image Success"
fidocker login -u sswang -p A123456a $harbor_addr
docker pull $imageName
docker run -d -p $host_port:$container_port --name $project $imageName
echo "Start Container Success"
echo $project
Jenkins任务添加配置1.添加构建后操作 deploy.sh kubernetes-register.sswang.com sswang ${JOB_NAME} $tag $port
2.添加port参数git参数里面添加一个字符参数
因为我的8080端口被占用了,所以映射端口改为了8081,但是项目启动的默认端口为8080,所以这里又加了一个容器端口