在Ubuntu24.04上安装多主多从的高可用Kubernetes节点

devtools/2024/11/18 0:37:37/

前言

因为镜像拉取失败，所以好多小伙伴说calico网络插件安装失败。之前写过CentOS7上安装多主节点的Kubernets集群，而CentOS7又停止维护了。所以借着在Ubuntu上安装多主的Kubernetes集群的机会，使用国内镜像安装calico网络插件。

视频教程地址：https://www.bilibili.com/video/BV1cus5ehE6y

环境准备

拓扑图

本次安装的为3主3从堆叠etcd集群的k8s集群，使用keepalived和haproxy作为负载均衡器。拓扑图为（图片来自官网）：
在这里插入图片描述

安装版本

本次操作系统的版本为 Ubuntu Server 24.04 ，下载地址为：https://mirrors.aliyun.com/ubuntu-releases/noble/ubuntu-24.04-live-server-amd64.iso。

安装的Kubernetes版本为：1.30 也是目前第二新的版本：
在这里插入图片描述

安装的容器运行时为containerd，版本号为 v1.7.20，下载地址为：https://github.com/containerd/containerd/releases/download/v1.7.20/cri-containerd-cni-1.7.20-linux-amd64.tar.gz。

内网环境

我内网的网段为 172.18.0.0/16，所以我分配的IP为每台电脑分配的IP地址为：

IP地址主机名称配置作用
172.18.88.80k8s-control-plane012c4gk8s的第一个主节点
172.18.88.81k8s-control-plane022c4gk8s的第二个主节点
172.18.88.82k8s-control-plane032c4gk8s的第三个主节点
172.18.88.83k8s-apiserver-lb012c2g安装keepalived和haproxy，做主节点apiserver的负载均衡01
172.18.88.84k8s-apiserver-lb022c2g安装keepalived和haproxy，做主节点apiserver的负载均衡02
172.18.88.85k8s-worker012c4gk8s的第一个工作节点
172.18.88.86k8s-worker022c4gk8s的第二个工作节点
172.18.88.87k8s-worker032c4gk8s的第三个工作节点

同时也需要一个虚拟IP地址来负责负载均衡主节点的apiserver，这个IP地址为：172.18.88.88

安装准备

安装ssh软件包

| 此步骤所有服务器都需要做

因为Ubuntu Server默认不支持远程连接，所以需要安装ssh软件包，并启动ssh（同时设置开机自启动），这样我们才能远程连接Ubuntu服务器。执行下面命令安装ssh：

sudo apt install -y ssh

同时执行下面命令启动ssh，并设置ssh开机自启动：

sudo systemctl enable --now ssh

如图：
在这里插入图片描述

接下来就可以连接所有服务器了：
在这里插入图片描述

关闭防火墙

| 这个步骤所有服务器都要做

因为是内网安装，所以可以直接关闭防火墙。ubuntu下执行这行命令关闭并且永久关闭：

sudo systemctl disable --now ufw

关闭Swap分区

| 这个步骤所有安装Kubernetes的节点都要执行，负载均衡节点选择性执行

临时关闭

执行下面命令可临时关闭Swap分区：

sudo swapoff -a

永久关闭

需要修改 /etc/fstab 文件注释掉带 /swap.img 的这一行：
在这里插入图片描述

时间同步

| 这个步骤所有的服务器都要做

设置上海时区

因为ubuntu默认时间并不是中国国内时区，所以需要执行这一行命令设置为中国上海时区：

sudo timedatectl set-timezone Asia/Shanghai

时间同步

首先需要安装ntpdate，执行下面命令安装：

sudo apt install -y ntpdate

执行下面命令进行时间同步：

sudo ntpdate ntp.aliyun.com

修改hosts配置

需要将所有服务器的服务器名和域名绑定一下，所以需要修改 /etc/hosts 文件，修改描述为：
在这里插入图片描述

添加内容为：

172.18.88.80 k8s-control-plane01
172.18.88.81 k8s-control-plane02
172.18.88.82 k8s-control-plane03
172.18.88.83 k8s-apiserver-lb01
172.18.88.84 k8s-apiserver-lb02
172.18.88.85 k8s-worker01
172.18.88.86 k8s-worker02
172.18.88.87 k8s-worker03

启用 IPv4 数据包转发

| 这个步骤所有k8s节点都要做

手动启用 IPv4 数据包转发：

# 设置所需的 sysctl 参数，参数在重新启动后保持不变
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
EOF# 应用 sysctl 参数而不重新启动
sudo sysctl --system

使用以下命令验证 net.ipv4.ip_forward 是否设置为 1：

sysctl net.ipv4.ip_forward

执行如图：
在这里插入图片描述

安装软件

安装容器运行时

下载Containerd

这次选用的容器运行时是 containerd，版本号为 1.7.20。可直接执行下面这行命令下载此安装包：

curl -LO https://github.com/containerd/containerd/releases/download/v1.7.20/cri-containerd-cni-1.7.20-linux-amd64.tar.gz

下载后如图：
在这里插入图片描述

解压压缩包

直接将这个压缩包解压到根目录就可以了，直接执行这行命令：

sudo tar -zxvf cri-containerd-cni-1.7.20-linux-amd64.tar.gz -C /

解压后可以执行这行命令查看版本号：

sudo containerd --version

可以看到安装的 1.7.20 这个版本的containerd：
在这里插入图片描述

修改配置文件

因为安装后默认是不自带配置文件的，所以需要创建目录并生成配置文件。执行这行命令创建目录：

sudo mkdir /etc/containerd

然后执行这行命令生成配置文件：

containerd config default | sudo tee /etc/containerd/config.toml

因为默认的pause镜像是在谷歌上拉取的，国内拉取不下来，所以需要修改 /etc/containerd/config.toml 配置文件，将pause镜像改为 registry.aliyuncs.com/google_containers/pause:3.9，如图所示：
在这里插入图片描述

然后需要开启cgroup，用于限制分配给进程的资源。将SystemCgroup设置为true，如图所示：
在这里插入图片描述

注意要保存哦。

启动containerd

执行这行命令启动containerd，并设置为开机自启动：

sudo systemctl enable --now containerd

然后可以查看启动结果：
在这里插入图片描述

安装Kubernetes

安装keepalived和haproxy

| 此步骤仅用在负载均衡服务器上做即可

执行下面命令安装：

sudo apt install -y keepalived haproxy

修改keepalived配置文件

配置文件地址为/etc/keepalived/keepalived.conf，keepalived配置文件主节点和从节点内容不同，配置文件如下：

! /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {router_id LVS_DEVEL
}
vrrp_script check_apiserver {script "/etc/keepalived/check_apiserver.sh"interval 3weight -2fall 10rise 2
}vrrp_instance VI_1 {! 主节点为MASTER，从节点为BACKUPstate MASTER/BACKUP! 网卡接口名字interface ens160virtual_router_id 51! 主节点为101，从节点为100priority 101/100authentication {auth_type PASSauth_pass XiaoHH}virtual_ipaddress {! 虚拟IP地址，注意修改为你自己的地址172.18.88.88}track_script {check_apiserver}
}

内容：

  • state: 状态，主节点为MASTER，从节点为BACKUP
  • interface：物理接口名称，获取可执行下面命令：
ip a

获取内容如下：
在这里插入图片描述

  • priority：优先级，主节点为101，从节点为100
  • virtual_ipaddress：虚拟IP地址，我的为 172.18.88.88 ，注意修改为你自己规划的IP地址

所以主节点配置文件内容为：

! /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {router_id LVS_DEVEL
}
vrrp_script check_apiserver {script "/etc/keepalived/check_apiserver.sh"interval 3weight -2fall 10rise 2
}vrrp_instance VI_1 {state MASTERinterface ens160virtual_router_id 51priority 101authentication {auth_type PASSauth_pass XiaoHH}virtual_ipaddress {172.18.88.88}track_script {check_apiserver}
}

从节点配置文件内容为：


! /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {router_id LVS_DEVEL
}
vrrp_script check_apiserver {script "/etc/keepalived/check_apiserver.sh"interval 3weight -2fall 10rise 2
}vrrp_instance VI_1 {state BACKUPinterface ens160virtual_router_id 51priority 100authentication {auth_type PASSauth_pass XiaoHH}virtual_ipaddress {172.18.88.88}track_script {check_apiserver}
}

keepalived还需要一个健康检查脚本，脚本地址为 /etc/keepalived/check_apiserver.sh ，注意我规划的负载均衡端口为6443，如果不同注意修改为你自己的。内容为（主从节点内容一样）：

#!/bin/sherrorExit() {echo "*** $*" 1>&2exit 1
}curl -sfk --max-time 2 https://localhost:6443/healthz -o /dev/null || errorExit "Error GET https://localhost:6443/healthz"

然后需要将这个文件添加执行权限，执行下面命令：

sudo chmod +x /etc/keepalived/check_apiserver.sh

修改haproxy配置文件

该配置文件地址为 /etc/haproxy/haproxy.cfg，需要修改到内容为：

# /etc/haproxy/haproxy.cfg
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
globallog stdout format raw local0daemon#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaultsmode                    httplog                     globaloption                  httplogoption                  dontlognulloption http-server-closeoption forwardfor       except 127.0.0.0/8option                  redispatchretries                 1timeout http-request    10stimeout queue           20stimeout connect         5stimeout client          35stimeout server          35stimeout http-keep-alive 10stimeout check           10s#---------------------------------------------------------------------
# apiserver frontend which proxys to the control plane nodes
#---------------------------------------------------------------------
frontend apiserver# 负载均衡端口bind *:6443mode tcpoption tcplogdefault_backend apiserverbackend#---------------------------------------------------------------------
# round robin balancing for apiserver
#---------------------------------------------------------------------
backend apiserverbackendoption httpchkhttp-check connect sslhttp-check send meth GET uri /healthzhttp-check expect status 200mode tcpbalance     roundrobin# 主节点列表，注意IP地址修改为你自己的server k8s-control-plane01 172.18.88.80:6443 check verify noneserver k8s-control-plane02 172.18.88.81:6443 check verify noneserver k8s-control-plane03 172.18.88.82:6443 check verify none

修改结果为：
在这里插入图片描述

启动keepalived和haproxy

使用下面命令启动keepalived和haproxy，并开机自启动：

sudo systemctl enable --now keepalived
sudo systemctl enable --now haproxy

看到下面结果代表启动成功：
在这里插入图片描述

安装kubelet kubeadm kubectl

以下指令适用于 Kubernetes 1.30。更新 apt 包索引并安装使用 Kubernetes apt 仓库所需要的包：

sudo apt-get update
# apt-transport-https 可能是一个虚拟包（dummy package）；如果是的话，你可以跳过安装这个包
sudo apt-get install -y apt-transport-https ca-certificates curl gpg

下载用于 Kubernetes 软件包仓库的公共签名密钥。所有仓库都使用相同的签名密钥，因此你可以忽略URL中的版本：

# 如果 `/etc/apt/keyrings` 目录不存在，则应在 curl 命令之前创建它，请阅读下面的注释。
# sudo mkdir -p -m 755 /etc/apt/keyrings
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.30/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg

添加 Kubernetes apt 仓库：

# 此操作会覆盖 /etc/apt/sources.list.d/kubernetes.list 中现存的所有配置。
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.30/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list

更新 apt 包索引，安装 kubelet、kubeadm 和 kubectl，并锁定其版本：

sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

安装成功后可以查看版本：
在这里插入图片描述

初始化集群

首先可以只在主节点上拉取镜像，执行下面命令：

sudo kubeadm config images pull --image-repository=registry.aliyuncs.com/google_containers --kubernetes-version=v1.30.4

在这里插入图片描述

然后在任意一台主节点上执行下面命令进行初始化：

sudo kubeadm init \
--apiserver-advertise-address=172.18.88.80 \
--control-plane-endpoint="172.18.88.88:6443" \
--upload-certs \
--image-repository=registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.30.4 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--cri-socket=unix:///run/containerd/containerd.sock

参数解释：

  • –apiserver-advertise-address：执行这行命令的主节点IP地址，注意修改为你自己的
  • –control-plane-endpoint：负载均衡apiserver的虚拟IP地址和端口，注意修改为自己的
  • –upload-certs：标志用来将在所有控制平面实例之间的共享证书上传到集群
  • –image-repository：因为官方镜像在谷歌，国内拉取不下来，所以使用国内的阿里云镜像
  • –kubernetes-version：Kubernetes的版本号
  • –service-cidr：Service的网段地址
  • –pod-network-cidr：pod的网段地址
  • –cri-socket：标志使用containerd作为容器运行时

执行后初始化成功如图：
在这里插入图片描述

在初始化成功的主节点本地执行：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

其余主节点执行这条命了加入主节点集群，注意后面加上了 --cri-socket=unix:///run/containerd/containerd.sock 来使用containerd作为容器运行时（注意复制你自己的）：

sudo kubeadm join 172.18.88.88:6443 --token xsp48h.uzkxsr9bd58vmey2 \
--discovery-token-ca-cert-hash sha256:2ed5ad71a9adfcc2f4fb7e4c3b3f5bca53fae29bd21d4788820ed34eddf27049 \
--control-plane --certificate-key e0472e957c5a54cea8eb41aefc47abe52c701ed3f65a1cc17c524b34163404a8 \
--cri-socket=unix:///run/containerd/containerd.sock

执行成功后可以看到提示，同样圈起来命令需要本地执行一下：
在这里插入图片描述

然后可以执行如下命令查看已经加入的节点：

kubectl get nodes -o wide

可以看到三个主节点加入成功：
在这里插入图片描述

然后在所有工作节点下执行下面命令，以加入工作节点。注意同样添加了 --cri-socket=unix:///run/containerd/containerd.sock 参数（注意复制你自己的）：

sudo kubeadm join 172.18.88.88:6443 --token xsp48h.uzkxsr9bd58vmey2 \
--discovery-token-ca-cert-hash sha256:2ed5ad71a9adfcc2f4fb7e4c3b3f5bca53fae29bd21d4788820ed34eddf27049 \
--cri-socket=unix:///run/containerd/containerd.sock

执行后可以看到加入成功：
在这里插入图片描述

安装calico网络插件

calico网络插件的地址为：https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart

我事先将镜像做好了，并且提交到了阿里云。安装分两种情况安装calico：

如果你的节点数量小于等于50，执行下面这行命令安装calico：

kubectl create -f https://raw.githubusercontent.com/xiaohh-me/kubernetes-yaml/main/network/calico/calico-v3.28.1.yaml

如果你的节点数量大于50个，执行这行命令进行安装calico：

kubectl create -f https://raw.githubusercontent.com/xiaohh-me/kubernetes-yaml/main/network/calico/calico-typha-v3.28.1.yaml

根据你的的节点数量进行选择性安装，因为我的节点数量包括主节点只有六个，所以选择上面那行命令。执行结果如图：
在这里插入图片描述

可以执行下面命令查看是否安装成功：

kubectl get pod -o wide -n kube-system

当这些calico的pod都为执行状态的时候则代表calico安装完成：
在这里插入图片描述

测试部署一个应用程序

将安装一个nginx应用程序来测试这个kubernetes是否搭建成功，执行下面命令：

kubectl apply -f https://raw.githubusercontent.com/xiaohh-me/kubernetes-yaml/main/deployment/nginx/nginx-deploy-1.25.5.yaml

执行这行命令可以看结果：
在这里插入图片描述

访问任意一个节点的30080端口可以看到nginx访问成功：
在这里插入图片描述

Kubernetes多主节点的集群就安装完成了，你们也可以参考我之前的文章或视频，了解包括metallb，ingress等组件的安装，使自己的kubernetes集群更加完善。


http://www.ppmy.cn/devtools/104919.html

相关文章

320mm*160mmP1.86超微小间距LED显示屏COB与GOB的工艺区别

320mm*160mmP1.86超微小间距LED显示屏COB与GOB的工艺区别

随着科技的飞速发展&#xff0c;320mm*160mm P1.86超微小间距LED显示屏在COB与GOB技术之间的选择&#xff0c;不仅体现了对画质与性能的极致追求&#xff0c;更彰显了技术创新的无限可能。相较于GOB工艺&#xff0c;COB技术凭借其直接将LED芯片封装于PCB板上的独特优势&#xf…
阅读更多...
概率论原理精解【11】

概率论原理精解【11】

文章目录 测度论拓扑基定义性质应用拓扑基生成拓扑的过程1. 拓扑基的定义2. 由拓扑基生成拓扑3. 例子说明 4. 总结例子 子基基础例子构造由子基生成的拓扑基础拓扑子基的定义解释例子总结 子基&#xff08;subbase&#xff09;是一个用于生成拓扑的较弱的工具定义构造过程性质示…
阅读更多...
ET6框架(一)介绍及环境部署

ET6框架(一)介绍及环境部署

文章目录 一、什么是ET框架&#xff1f;二、ET框架特色&#xff1a;三、开发环境准备&#xff1a;四、.Net Core下载安装五、安装Visual Studio六、下载Mongodb七、安装Robo 3T八、下载ET版本分支 一、什么是ET框架&#xff1f; 1.ET(客户端&#xff0c;服务器端)是一个开源的…
阅读更多...
复习：虚析构函数(√)、纯虚析构函数(√)、虚构造函数(X)

复习：虚析构函数(√)、纯虚析构函数(√)、虚构造函数(X)

虚析构函数 虚析构函数是为了解决基类的指针指向派生类对象&#xff0c;并用基类的指针删除派生类对 象。 #include <bits/stdc.h> #include <cstdio> #include <cstring> #include <iostream> using namespace std;class Base { public:Base(){cout…
阅读更多...
Unity(2022.3.41LTS) - UI详细介绍-TMP

Unity(2022.3.41LTS) - UI详细介绍-TMP

目录 零. 简介 一、主要特点 二、使用方法 三.组件详情 四.制作TMP字体 五、优化和注意事项 零. 简介 在 Unity 中&#xff0c;TextMesh Pro&#xff08;TMP&#xff09;是一种高级的文本渲染解决方案&#xff0c;相比传统的 Unity 文本组件&#xff0c;它提供了更多的功…
阅读更多...
数组扁平化方法

数组扁平化方法

参考文章 法1&#xff1a;朴质的递归实现 遍历数组的每一项&#xff0c;如果每一项依然是数组&#xff0c;就继续调用递归方法&#xff1b;如果是基本数据类型&#xff0c;就添加到结果数组里面 const a [1, [2, [3, [4, 5]]]];const flatten (arr) > {let result [];f…
阅读更多...
github私有仓库通过action部署hexo到公开仓库

github私有仓库通过action部署hexo到公开仓库

github私有仓库通过action部署hexo到公开仓库 有一段时间一直将博客md文件直接放到公开仓库然后通过工作流action创建一个gh-page分支&#xff0c;来实现部署 但是这样做有一个问题&#xff0c;如果你的源文件&#xff0c;或者配置文件中有涉及变量&#xff0c;或者密钥key&a…
阅读更多...
【Python报错已解决】“ModuleNotFoundError: No module named ‘mne‘”

【Python报错已解决】“ModuleNotFoundError: No module named ‘mne‘”

&#x1f3ac; 鸽芷咕&#xff1a;个人主页 &#x1f525; 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想&#xff0c;就是为了理想的生活! 文章目录 引言&#xff1a;一、问题描述1.1 报错示例&#xff1a;当我们尝试导入MNE-Python库时&#xff0c;可能会看到以下错误…
阅读更多...
最新文章

Copyright @ 2022~2023