k8s下的网络通信与调度

一、k8s网络通信

1、k8s通信整体架构

2、flannel网络插件

（1）flannel跨主机通信原理

（2）flannel支持的后端模式

3、calico网络插件

（1）简介

（2）网络架构

（3）部署calico

二、k8s调度（Scheduling）

kubernetes%E4%B8%AD%E7%9A%84%E4%BD%9C%E7%94%A8-toc" style="margin-left:40px;">1、调度在kubernetes中的作用

2、调度原理

3、调度器种类

4、常用调度方法

（1）nodename

（2）Nodeselector

5、affinity（亲和性）

（1）亲和与反亲和

（2）nodeAffinity节点亲和

（3）podaffinity（pod的亲和）

（4）Podantiaffinity（pod反亲和）

6、Taints（污点模式，禁止调度）

示例

tolerations（污点容忍）

情形一设置容忍所有污点

情节二容忍effect为Noschedule的污点

情节三容忍指定kv的NoSchedule污点

一、k8s网络通信

1、k8s通信整体架构

k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel，calico等
CNI插件存放位置：cat /etc/cni/net.d/10-flannel.conflist
插件使用的解决方案如下
- 虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信。
- 多路复用：MacVLAN，多个容器共用一个物理网卡进行通信。
- 硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。
容器间通信：
- 同一个pod内的多个容器间的通信，通过lo即可实现pod之间的通信
- 同一节点的pod之间通过cni网桥转发数据包。
- 不同节点的pod之间的通信需要网络插件支持
pod和service通信: 通过iptables或ipvs实现通信，ipvs取代不了iptables，因为ipvs只能做负载均衡，而做不了nat转换
pod和外网通信：iptables的MASQUERADE
Service与集群外部客户端的通信；（ingress、nodeport、loadbalancer）

2、flannel网络插件

插件	功能
VXLAN	即Virtual Extensible LAN（虚拟可扩展局域网），是Linux本身支持的一网种网络虚拟化技术。VXLAN可以完全在内核态实现封装和解封装工作，从而通过“隧道”机制，构建出覆盖网络（Overlay Network）
VTEP	VXLAN Tunnel End Point（虚拟隧道端点），在Flannel中 VNI的默认值是1，这也是为什么宿主机的VTEP设备都叫flannel.1的原因
Cni0	网桥设备，每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）
Flannel.1	TUN设备(虚拟网卡)，用来进行 vxlan 报文的处理（封包和解包）。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端
Flanneld	flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库，为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息

（1）flannel跨主机通信原理

当容器发送IP包，通过veth pair 发往cni网桥，再路由到本机的flannel.1设备进行处理。
VTEP设备之间通过二层数据帧进行通信，源VTEP设备收到原始IP包后，在上面加上一个目的MAC地址，封装成一个内部数据帧，发送给目的VTEP设备。
内部数据桢，并不能在宿主机的二层网络传输，Linux内核还需要把它进一步封装成为宿主机的一个普通的数据帧，承载着内部数据帧通过宿主机的eth0进行传输。
Linux会在内部数据帧前面，加上一个VXLAN头，VXLAN头里有一个重要的标志叫VNI，它是VTEP识别某个数据桢是不是应该归自己处理的重要标识。
flannel.1设备只知道另一端flannel.1设备的MAC地址，却不知道对应的宿主机地址是什么。在linux内核里面，网络设备进行转发的依据，来自FDB的转发数据库，这个flannel.1网桥对应的FDB信息，是由flanneld进程维护的。
linux内核在IP包前面再加上二层数据帧头，把目标节点的MAC地址填进去，MAC地址从宿主机的ARP表获取。
此时flannel.1设备就可以把这个数据帧从eth0发出去，再经过宿主机网络来到目标节点的eth0设备。目标主机内核网络栈会发现这个数据帧有VXLAN Header，并且VNI为1，Linux内核会对它进行拆包，拿到内部数据帧，根据VNI的值，交给本机flannel.1设备处理,flannel.1拆包，根据路由表发往cni网桥，最后到达目标容器。

#默认网络通信路由
[root@k8s-master ~]# ip route 
default via 172.25.254.2 dev eth0 proto static metric 100 
172.25.254.0/24 dev eth0 proto kernel scope link src 172.25.254.200 metric 100 #桥接转发数据库
[root@k8s-master ~]# bridge fdb
01:00:5e:00:00:01 dev eth0 self permanent
01:00:5e:00:00:fb dev eth0 self permanent
33:33:00:00:00:01 dev eth0 self permanent
33:33:00:00:00:fb dev eth0 self permanent
33:33:ff:8b:58:76 dev eth0 self permanent
33:33:00:00:00:01 dev docker0 self permanent
01:00:5e:00:00:6a dev docker0 self permanent
33:33:00:00:00:6a dev docker0 self permanent
01:00:5e:00:00:01 dev docker0 self permanent
02:42:9c:dc:8c:61 dev docker0 vlan 1 master docker0 permanent
02:42:9c:dc:8c:61 dev docker0 master docker0 permanent
06:f2:9c:9f:ae:ff dev flannel.1 dst 172.25.254.20 self permanent
9e:f7:ac:55:c9:4d dev flannel.1 dst 172.25.254.10 self permanent
01:00:5e:00:00:6a dev cni0 self permanent
01:00:5e:00:00:01 dev cni0 self permanent
33:33:00:00:00:6a dev cni0 self permanent
33:33:00:00:00:01 dev cni0 self permanent
4a:2e:ca:b5:48:a8 dev cni0 vlan 1 master cni0 permanent
4a:2e:ca:b5:48:a8 dev cni0 master cni0 permanent
33:33:00:00:00:01 dev vethad69e73d self permanent
01:00:5e:00:00:01 dev vethad69e73d self permanent
33:33:ff:4f:a9:02 dev vethad69e73d self permanent
33:33:00:00:00:fb dev vethad69e73d self permanent
33:33:00:00:00:01 dev veth91ca1a5b self permanent
01:00:5e:00:00:01 dev veth91ca1a5b self permanent
33:33:ff:d7:f8:4e dev veth91ca1a5b self permanent
33:33:00:00:00:fb dev veth91ca1a5b self permanent
33:33:00:00:00:01 dev kube-ipvs0 self permanent#arp列表
[root@k8s-master ~]# arp -n
Address                  HWtype  HWaddress           Flags Mask            Iface
172.25.254.10            ether   00:0c:29:40:7b:63   C                     eth0
172.25.254.1             ether   00:50:56:c0:00:08   C                     eth0
172.25.254.100           ether   00:0c:29:13:fd:c6   C                     eth0
172.25.254.20            ether   00:0c:29:16:26:1b   C                     eth0
172.25.254.2             ether   00:50:56:e7:b1:57   C                     eth0

（2）flannel支持的后端模式

网络模式	功能
vxlan	报文封装，默认模式
Directrouting	直接路由，跨网段使用vxlan，同网段使用host-gw模式
host-gw	主机网关，性能好，但只能在二层网络中，不支持跨网络如果有成千上万的Pod，容易产生广播风暴，不推荐
UDP	性能差，不推荐

更改flannel的默认模式

[root@k8s-master ~]# kubectl -n kube-flannel edit cm kube-flannel-cfg

#重启pod
[root@k8s-master ~]# kubectl -n kube-flannel delete pod --all

3、calico网络插件

官网：

Install Calico networking and network policy for on-premises deployments | Calico Documentation

（1）简介

纯三层的转发，中间没有任何的NAT和overlay，转发效率最好。
Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。

（2）网络架构

Felix：监听ECTD中心的存储获取事件，用户创建pod后，Felix负责将其网卡、IP、MAC都设置好，然后在内核的路由表里面写一条，注明这个IP应该到这张网卡。同样如果用户制定了隔离策略，Felix同样会将该策略创建到ACL中，以实现隔离。
BIRD：一个标准的路由程序，它会从内核里面获取哪一些IP的路由发生了变化，然后通过标准BGP的路由协议扩散到整个其他的宿主机上，让外界都知道这个IP在这里，路由的时候到这里

（3）部署calico

删除flannel插件

[root@k8s-master ~]# kubectl delete  -f kube-flannel.yml

删除所有节点上flannel配置文件,避免冲突

[root@k8s-master & node1-2 ~]# rm -rf /etc/cni/net.d/10-flannel.conflist

下载部署文件

[root@k8s-master calico]# curl https://raw.githubusercontent.com/projectcalico/calico/v3.28.1/manifests/calico-typha.yaml -o calico.yaml

下载镜像上传至仓库

[root@k8s-master ~]# mkdir calico
[root@k8s-master ~]# cd calico/
[root@k8s-master calico]# ls
calico-3.28.1.tar  calico.yaml
[root@k8s-master calico]# docker load -i calico-3.28.1.tar 
6b2e64a0b556: Loading layer   3.69MB/3.69MB
38ba74eb8103: Loading layer  205.4MB/205.4MB
5f70bf18a086: Loading layer  1.024kB/1.024kB
Loaded image: calico/cni:v3.28.1
3831744e3436: Loading layer  366.9MB/366.9MB
Loaded image: calico/node:v3.28.1
4f27db678727: Loading layer  75.59MB/75.59MB
Loaded image: calico/kube-controllers:v3.28.1
993f578a98d3: Loading layer  67.61MB/67.61MB
Loaded image: calico/typha:v3.28.1[root@k8s-master calico]# docker tag calico/cni:v3.28.1 reg.zx.org/calico/cni:v3.28.1
[root@k8s-master calico]# docker tag calico/node:v3.28.1 reg.zx.org/calico/node:v3.28.1
[root@k8s-master calico]# docker tag calico/kube-controllers:v3.28.1 reg.zx.org/calico/kube-controllers:v3.28.1
[root@k8s-master calico]# docker tag calico/typha:v3.28.1 reg.zx.org/calico/typha:v3.28.1[root@k8s-master calico]# docker push reg.zx.org/calico/cni:v3.28.1
[root@k8s-master calico]# docker push reg.zx.org/calico/node:v3.28.1
[root@k8s-master calico]# docker push reg.zx.org/calico/kube-controllers:v3.28.1
[root@k8s-master calico]# docker push reg.zx.org/calico/typha:v3.28.1

更改yml设置，修改镜像位置等信息

[root@k8s-master calico]# vim calico.yaml
[root@k8s-master calico]# kubectl apply -f calico.yaml
[root@k8s-master calico]# kubectl -n kube-system get pods

测试

[root@k8s-master calico]# kubectl run web --image reg.zx.org/library/myapp:v1
pod/web created
[root@k8s-master calico]# kubectl get pods -o wide
NAME      READY   STATUS    RESTARTS      AGE   IP               NODE               NOMINATED NODE   READINESS GATES
testpod   1/1     Running   1 (72m ago)   77m   10.244.2.117     k8s-node2.zx.org   <none>           <none>
web       1/1     Running   0             9s    10.244.101.129   k8s-node1.zx.org   <none>           <none>[root@k8s-master calico]# curl 10.244.101.129
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>