LVS负载均衡群集——DR直接路由模式

news/2024/12/22 2:21:56/

一.LVS数据包流向分析

1.数据包流向

（1）客户端发送请求到 Director Server（负载均衡器），请求的数据报文（源 IP 是 CIP,目标 IP 是 VIP）到达内核空间。
（2）Director Server 和 Real Server 在同一个网络中，数据通过二层数据链路层来传输。
（3）内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虚拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包。修改源 MAC 地址为 Director Server 的 MAC地址，修改目标 MAC 地址为 Real Server 的 MAC 地址，源 IP 地址与目标 IP 地址没有改变，然后将数据包发送给 Real Server。
（4）到达 Real Server 的请求报文的 MAC 地址是自身的 MAC 地址，就接收此报文。数据包重新封装报文(源 IP 地址为 VIP，目标 IP 为 CIP)，将响应报文通过 lo 接口传送给物理网卡然后向外发出。
（5）Real Server 直接将响应报文传送到客户端。

2.DR 模式的特点

（1）Director Server 和 Real Server 必须在同一个物理网络中。

（2）Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。

（3）Director Server作为群集的访问入口，但不作为网关使用。

（4）所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。

（5）Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过 Director Server。

（6）Real Server 上的 lo 接口配置 VIP 的 IP 地址。

二.LVS-DR中ARP的问题

1.问题1

在LVS-DR负载均衡群集中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱；

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播，应该只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

1.1 解决办法

对节点服务器进行处理，使其不响应针对VIP的ARP请求

  • 使用虚接口lo:0承载VIP地址
  • 设置内核参数arp_ignore=1：代表系统只响应目的IP为本地IP的ARP请求   

2.问题2

RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址，发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，此时路由器的路由表进行更新，VIP的MAC地址由原先的均衡器变为节点服务器，路由器根据ARP表项，会将新来的请求报文转发给节点服务器，导致均衡器的VIP失效，又会造成VIP的紊乱。

2.1 解决办法

对节点服务器进行处理，设置内核参数arp_announce=2：代表不使用IP包的源地址来设置ARP请求的源地址，而选择发送ens33接口的IP地址

修改/etc/sysctl.conf文件
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce =2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce =2

三.LVS-DR特性

1.LVS-DR模式需要注意

保证前端路由将目标地址为VIP报文系统发给调度器 (DS)LVS-DR模式需要注意的是,而不是节点服务器 (RS )

解决法案:修改
RS上内核参数 (arp ingore和arp announce) 将节点服务器上VIP地址配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。

arp ingore=1 表示系统只响应目的IP为本地的ARP请求
arp annouce=2表示系统不使用IP包的源地址来设置的ARP请求的源地址，而选择发送接口的IP地址

2.优点

负载均衡器只负责将请求的包分发给物理服务器，而物理服务器将应答包直发送给用户。所以 负载均衡器处理很巨大请求量，这种方式台负载均衡能为超过100台的物理服务器的服务负载均衡不再是西永的瓶颈。使用LVS-DR方式，如果你的负载均衡器有100M全双工网卡的话，就能使得整个Vs能达到1G的吞吐量,甚至更高.

3.缺点

这种方式需要所有的负载均衡和节点服务器都在同一广播域:不支持异地容灾。

LVS-DR 负载均衡群集的部署

实验环境：

DR服务器：192.168.158.20/24

两台WEB服务器：192.168.158.30/24，192.168.158.40/24

VIP：192.168.158.200/32

NFS服务器：192.168.158.192/24

客户端：192.168.72.77/24

1.LVS-DR集群构架图

 

（NFS服务器：192.168.158.20）

第一台web节点服务器（192.168.158.25/24），VIP：192.168.158.200/32

第二台web节点服务器（192.168.72.40/24），VIP：192.168.72.200/32

配置负载调度器（192.168.158.22/24）

浏览器输入VIP地址：192.168.158.200

部署共享服务（NFS服务器：192.168.158.20）

 #1、关闭防火墙
[root@localhost ~]# systemctl disable --now firewalld
[root@localhost ~]# setenforce 0

 

 #2、安装nfs-utils、rpcbind软件包
[root@localhost yum.repos.d]# yum install nfs-utils rpcbind -y


 #3、新建共享目录，并创建站点文件[root@localhost yum.repos.d]# mkdir /share/
[root@localhost yum.repos.d]# cd /share/
[root@localhost share]# mkdir tt nn
[root@localhost share]# echo "tt is a girl" > tt/index.html
[root@localhost share]#  echo "nn is a boy" > nn/index.html

 

 #4、修改共享配置文件，设置共享策略
[root@localhost share]# pwd
/share[root@localhost share]#  vim /etc/exports   #设置共享策略/share/tt  192.168.158.0/24
/share/nn  192.168.158.0/24

 

 #5、启动两个服务，查看本机的NFS共享目录[root@localhost share]# systemctl start rpcbind
[root@localhost share]#  systemctl start nfs
[root@localhost share]# showmount -e      #查看本机发布的NFS共享目录

  部署Web节点服务器

第一台web节点服务器（192.168.158.25/24），VIP：192.168.158.200/32 

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled

 

安装httpd，开启服务

 #1、关闭防火墙
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# setenforce 0


 #2、安装httpd，开启服务
[root@localhost ~]# mount /dev/sr0 /mnt     #挂载光盘
[root@localhost ~]# yum install httpd -y    #安装httpd服务    
[root@localhost ~]# systemctl start httpd   #开启httpd服务


#3、配置虚拟IP地址（VIP:192.168.158.200），添加虚接口lo:0。#此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。#因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0   #设置虚接口lo:0CE=lo:0
IPADDR=192.168.158.200
NETMASK=255.255.255.255
ONBOOT=yes

 

 

  

 #4、添加静态路由信息，dev指定出站网卡[root@localhost network-scripts]#  route add -host 192.168.158.200 dev lo:0  
[root@localhost network-scripts]# route -n


#5、调整内核的ARP响应参数
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
vim /etc/sysctl.confnet.ipv4.conf.lo.arp_ignore = 1 ?
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2[root@localhost network-scripts]# sysctl -p #刷新配置，读取修改后的配置


#6、挂载站点。将NFS服务器的共享目录，挂载到httpd服务的根目录[root@localhost network-scripts]# showmount -e 192.168.158.20   #查看NFS服务器的共享信息[root@localhost network-scripts]#  mount 192.168.158.20:/share/tt/ /var/www/html[root@localhost network-scripts]# df[root@localhost network-scripts]# cat /var/www/html/index.html 
tt is a girl

 

第二台web节点服务器（192.168.72.40/24），VIP：192.168.72.200/32

和第一台的配置步骤相同。

#1、关闭防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled


 #2、安装httpd，开启服务
[root@localhost ~]# mount /dev/sr0 /mnt     #挂载光盘mount: /dev/sr0 写保护，将以只读方式挂载
[root@localhost ~]# yum install httpd -y     #安装httpd服务
[root@localhost ~]# systemctl start httpd    #开启httpd服务

 

#3、配置虚拟IP地址（VIP:192.158.20.200），添加虚接口lo:0。#此地址仅用作发送We响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。#因此使用虚接口lo:0来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。[root@localhost ~]# d /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vim ifcfg-lo:0 DEVICE=lo:0
IPADDR=192.168.158.200
NETMASK=255.255.255.255     
ONBOOT=yes

[root@localhost network-scripts]# ifup lo:0        #启动虚接口
[root@localhost network-scripts]# ifconfig lo:0    #查看虚接口的信息


 #4、添加静态路由信息，dev指定出站网卡[root@localhost network-scripts]# route add -host 192.168.158.200 dev lo:0  
[root@localhost network-scripts]# route -n    #以数字形式显示路由信息
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.158.2   0.0.0.0         UG    100    0        0 ens33
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0
192.168.158.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.158.200 0.0.0.0         255.255.255.255 UH    0      0        0 lo


#5、调整内核的ARP响应参数
#arp_ignore=1，使本机只响应目的IP为本地物理网卡IP的ARP请求。
#arp_announce=2，使本机系统采用发送接口的IP作为ARP请求报文源地址。
[root@localhost network-scripts]# vim /etc/sysctl.confnet.ipv4.conf.lo.arp_ignore = 1 
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2[root@localhost network-scripts]# sysctl -p  #刷新配置，读取修改后的配置

 #6、挂载站点。将NFS服务器的共享目录，挂载到httpd服务的根目录
[root@localhost network-scripts]# showmount -e 192.168.158.20[root@localhost network-scripts]# mount 192.168.158.20:/share/nn/ /var/www/html
[root@localhost network-scripts]# df [root@localhost network-scripts]# cat /var/www/html/index.html
nn is a boy

配置负载调度器（192.168.158.22/24）

#1、关闭防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
setenforce: SELinux is disabled

 

 #2、加ip_vs模块
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs

#3、安装ipvsadm工具
[root@localhost yum.repos.d]# yum install ipvsadm -y


 #4、配置虚拟IP地址（VIP：192.168.158.200），添加虚拟网卡ens33:0
[root@localhost network-scripts]# vim ifcfg-ens33:0DEVICE=ens33:0
ONBOOT=YES
IPADDR=192.168.158.200
NETMASK=255.255.255.255  #子网掩码必须全为1

#5、调整proc响应参数
#由于LVS负载调度器和各节点需要共用VIP地址，需要关闭icmp的重定向，不充当路由器。
​
[root@localhost network-scripts]# vim /etc/sysctl.conf
[root@localhost network-scripts]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0​

 

#6、设置负载分配策略（调度策略），-s rr表示指定轮询算法，-g表示使用DR模式
[root@localhost network-scripts]# ipvsadm -C 
[root@localhost network-scripts]# ipvsadm -A -t 192.168.158.200:80 -s rr
[root@localhost network-scripts]# ipvsadm -a -t 192.168.158.200:80 -r 192.168.158.30:80 -g
[root@localhost network-scripts]# ipvsadm -a -t 192.168.158.200:80 -r 192.168.158.40:80 -g[root@localhost network-scripts]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  localhost.localdomain:http rr-> 192.168.158.30:http          Route   1      0          0         -> 192.168.158.40:http          Route   1      0          0         
[root@localhost network-scripts]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.158.200:80 rr-> 192.168.158.30:80            Route   1      0          0         -> 192.168.158.40:80            Route   1      0          0    

 #7、保存策略，启动ipvsadm。启动服务前一定要保存策略，生成相应文件。
[root@localhost network-scripts]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost network-scripts]# systemctl start ipvsadm

 客户机访问测试

浏览器输入VIP地址：192.168.158.200

 

 

 


http://www.ppmy.cn/news/736031.html

相关文章

差分进化算法（Differential Evolution，DE，附简单案例及详细matlab源码）

差分进化算法（Differential Evolution，DE，附简单案例及详细matlab源码）

作者：非妃是公主 专栏：《智能优化算法》 博客地址：https://blog.csdn.net/myf_666 个性签：顺境不惰，逆境不馁，以心制境，万事可成。——曾国藩 文章目录 专栏推荐序一、概论二、差分进化算法&a…
阅读更多...
微信测试公众号申请配置

微信测试公众号申请配置

打开此网页进行申请测试公众号微信公众平台 点击登录进入到二维码扫描界面，使用微信扫描进入如下界面： 界面自动获取appID、appsecret(需要记录一下，后面会用到)。 域名输入Tomcat访问地址 注意不要加上http或后缀 下拉配置网页账号&#x…
阅读更多...
香港等海外公司如何开通认证微信公众号？

香港等海外公司如何开通认证微信公众号？

这是个微信营销的时代，通过微信渠道将品牌推广给上亿的微信用户，减少宣传成本，提高品牌知名度，打造更具影响力的品牌形象。随着微信营销如火如荼的发展，大量海外商家也试图分一杯羹，但是国内微信用户无法关…
阅读更多...
微信公众号测试号配置 适用于登录注册

微信公众号测试号配置 适用于登录注册

微信小程序注册登录 配置微信公众测试号 配置微信公众测试号 https://mp.weixin.qq.com/cgi-bin/home?thome/index&langzh_CN&token279116570 进入配置页面 2.配置接口配置信息 token随便找个生成的就行 URL内网穿透的生成的加上你写的签名接口地址进行验证绑定 Res…
阅读更多...
海外主体企业微信公众号如何开通及认证？

海外主体企业微信公众号如何开通及认证？

公众平台可以将品牌、企业信息等推送给上亿的微信用户，降低宣传成本，提升知名度。公众号认证认证后，用户将在微信中看到特有的标识，同时公众号将获得更丰富的高级接口，可向用户提供更有价值的个性化服务。 海外主体公…
阅读更多...
微信公众号认证法人信息验证失败怎么办？

微信公众号认证法人信息验证失败怎么办？

个体工商户认证公众号时，提示： “企业不存在或企业信息未更新”或“企业法定代表人身份证号码不一致”，法定代表人验证失败，该怎么办呢？ 公众号快速认证流程 1.准备资料：个体户营业执照、经营者身份号码、…
阅读更多...
没有对公账户怎么开通认证微信公众号？

没有对公账户怎么开通认证微信公众号？

公众平台主要面向名人、政府、媒体、企业等机构推出的合作推广业务。在这里可以通过微信渠道将品牌推广给上亿的微信用户，减少宣传成本，提高品牌知名度，打造更具影响力的品牌形象。 公众号认证类型 目前可通过认证的类型有政府机关、企业、个…
阅读更多...
微信公众帐号测试号申请及配置

微信公众帐号测试号申请及配置

测试号的申请不需要注册微信公众号的帐号，只需普通微信号即可。 1. 进入微信公众平台接口测试账号申请 2. 点击登录，然后微信扫码登录 3. 服务端添加验证微信后台访问的逻辑代码 先看下微信的官方文档怎么说： 微信官方文档只给出了PHP的代…
阅读更多...
最新文章

Copyright @ 2022~2023