K8s集群平滑升级（Smooth Upgrade of K8S Cluster）

简介：

Kubernetes ‌ （简称K8s）是一个开源的容器编排和管理平台，由Google开发并维护。它最初是为了解决谷歌内部大规模容器管理的问题而设计的，后来在2014年开源，成为云原生技术的核心组成部分。‌‌1

K8s的主要功能和特点包括：

‌自动化部署和大规模伸缩‌：K8s支持自动化的应用部署和扩展，能够根据需求动态调整应用实例的数量，从而实现负载均衡和高可用性。
‌应用容器化管理‌：K8s提供了容器生命周期管理、健康检查、日志记录等功能，确保应用的稳定运行和高效维护。
‌多租户和隔离‌：K8s支持多租户环境，每个租户可以在独立的命名空间中运行应用，确保资源隔离和安全。
‌自我修复‌：K8s具有自我修复的能力，能够检测并修复应用故障，确保服务的连续性。

K8s在多个行业中得到了广泛应用，特别是在金融行业，许多银行的内部结算系统都部署在K8s平台上。随着云原生技术的不断发展，K8s也在不断进化，以满足更复杂的工作负载管理需求。

升级前版本：1.28.2

升级后版本：1.29.10

升级概要

升级集群版本建议逐步升级，k8s版本以 x.y.z 表示，其中 x 是主要版本， y 是次要版本，z 是补丁版本,尽量不能跳过次要版本升级，比如1.28.0->1.30.0可能遭遇失败，补丁版本可以跳跃更新，比如1.28.2->1.28.10
尽量将kubelet和kubeadm版本保持一致，可以偏差一个版本
升级后，因为容器spec的哈希值已更改，所有容器都会被重新启动

kubernetes官方升级参考：升级工作的基本流程如下：

升级控制节点（master）
升级其他控制平面节点（高可用集群）
升级工作节点（worker）

更改软件包仓库（所有节点）

现在新版本都使用单独的软件仓库，需要修改里面的版本值，如你需要1.29版本，就需要将版本改为v1.29。

cat <<EOF | tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.29/rpm/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.29/rpm/repodata/repomd.xml.key
EOF

将软件仓库配置分发到node节点

scp /etc/yum.repos.d/kubernetes.repo root@10.0.0.101:/etc/yum.repos.d
scp /etc/yum.repos.d/kubernetes.repo root@10.0.0.102:/etc/yum.repos.d

升级前备份

# 备份目录
cp -a /etc/kubernetes/  /etc/kubernetes.bakcp -a /var/lib/etcd   /var/lib/etcd.bak# 备份etcd数据
ETCDCTL_API=3 etcdctl snapshot save /data/etcd/etcd_bak.db \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key # 如果没有etcdctl工具需要安装一下
yum install -y etcd

控制平台节点（master）升级

1 升级kubeadm

yum install -y kubeadm-'1.29.10-*' --disableexcludes=kubernetes

说明：--disableexcludes=kubernetes：禁掉除了这个kubernetes之外的别的仓库

2 验证下载操作正常，并且 kubeadm 版本正确

可见版本已经升级到1.29.10

3、验证升级计划：

kubeadm upgrade plan

此命令检查你的集群是否可被升级，并取回你要升级的目标版本。命令也会显示一个包含组件配置版本状态的表格。

4 选择要升级到的目标版本

kubeadm upgrade apply v1.29.10

5 腾空节点

将节点标记为不可调度并驱逐所有负载，准备节点的维护：

# 将 <node-to-drain> 替换为你要腾空的控制面节点名称
kubectl drain <node-to-drain> --ignore-daemonsetskubectl drain k8s-master --ignore-daemonsets

说明：--ignore-daemonsets 忽略DaemonSet管理下的Pod

6 升级 kubelet 和 kubectl

（1）升级 kubelet 和 kubectl：

yum install -y kubelet-'1.29.10-*' kubectl-'1.29.10-*' --disableexcludes=kubernetes

（2）重启 kubelet：

sudo systemctl daemon-reload
sudo systemctl restart kubelet

7 解除节点的保护

# 将 <node-to-uncordon> 替换为你的节点名称
kubectl uncordon <node-to-uncordon>kubectl uncordon k8s-master

此时master节点已经升上去了。

升级工作节点

工作节点上的升级过程应该一次执行一个节点，以不影响运行工作负载所需的最小容量。

我的集群有两个工作节点，先升级节点1，再升级2，步骤是一样的

1 升级 kubeadm

# 将 1.29.x-* 中的 x 替换为最新的补丁版本
sudo yum install -y kubeadm-'1.29.x-*' --disableexcludes=kubernetesyum install -y kubeadm-'1.29.10-*' --disableexcludes=kubernetes

2 执行 "kubeadm upgrade"

对于工作节点，下面的命令会升级本地的 kubelet 配置：

kubeadm upgrade node

3 腾空节点（master上执行）

将节点标记为不可调度并驱逐所有负载，准备节点的维护：

# 将 <node-to-drain> 替换为你正腾空的节点的名称节点1：
kubectl drain k8s-node1 --ignore-daemonsets节点2：
kubectl drain k8s-node2 --ignore-daemonsets

4 升级 kubelet 和 kubectl

（1）升级 kubelet 和 kubectl

尽量跟kubeadm版本保持一致

yum install -y kubelet-'1.29.10-*' kubectl-'1.29.10-*' --disableexcludes=kubernetes

（2）重启 kubelet

sudo systemctl daemon-reload
sudo systemctl restart kubelet

5 解除节点的保护（master上执行）

通过将节点标记为可调度，让节点重新上线：

# 在控制平面节点上执行此命令
# 将 <node-to-uncordon> 替换为你的节点名称
kubectl uncordon <node-to-uncordon>节点1：
kubectl uncordon k8s-node1节点2：
kubectl uncordon k8s-node2

6 查看节点情况

其他工作节点也按照升级工作节点来操作的步骤进行操作

最后结果：

升级成功后，需要确保所有的对象资源的状态跟升级前是一样的。