投稿
  1. 极客之音首页
  2. 技术随笔

部署LVS-DR集群

小半 • • 技术随笔 • 阅读 224

导读：本篇文章讲解 部署LVS-DR集群，希望对大家有帮助，欢迎收藏，转发！站点地址：www.bmabk.com

文章目录

一、LVS-DR工作原理

LVS-DR（Linux Virtual Server Director Server）工作模式，是生产环境中最常用的一 种工作模式。

  • LVS-DR 模式，Director Server 作为群集的访问入口，不作为网关使用
  • 节点 Director Server 与 Real Server 需要在同一个网络中，返回给客户端的数据不需要经过 Director Server。
  • 为了响应对整个群集的访问，Director Server 与 Real Server 都需要配置 VIP 地址。
客户机发起请求，经过调度服务器（lvs），经过算法调度，去访问真实服务器（RS）

由于不原路返回，客户机不知道，真实主机的ip地址，

所以只能通过调度服务器的外网ip（vip）去反回报文信息。

  • Director Server作为群集的访问入口，但不作为网关使用，后端服务器池中的Real Server与Director Server在同一个物理网络中，发送给客户机的数据包不需要经过Director Server。为了响应对整个群集的访问，DS（前端负载均衡节点服务器）与RS（后端真实服务器）都需要配置有VIP地址。

  • 每个Real Server上都有两个IP：VIP（负载均衡对外提供访问的 IP 地址）和RIP（负载均衡后端的真实服务器 IP 地址），但是VIP是隐藏的，就是不能提供解析等功能，只是用来做请求回复的源IP的，Director上只需要一个网卡，然后利用别名来配置两个IP：VIP和DIP（负载均衡与后端服务器通信的 IP 地址），在DIR接收到客户端的请求后，DIR根据负载算法选择一台rs sever的网卡mac作为客户端请求包中的目标mac，通过arp转交给后端RS serve处理，后端再通过自己的路由网关回复给客户端。

二、LVS-DR数据流向

数据包流向分析：

  • 用户发送请求到Director Server,请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间。
  • 由于DS和RS在同一个网络中，所以是通过二层数据链路层来传输。
  • 内核空间判断数据包的目标IP是本机IP，此时IPVS比对数据包请求的服务是否为集群服务，若是，重新封装数据包，修改源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server.
  • RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文，重新封装报文(源IP地址为VIP，目标IP为CIP),将响应报文通过lo接口传送给ens33网卡然后向外发出。
  • ​RS直接将响应报文传送到客户端。

三、DR模式特点及优缺点

1、DR模式特点

  • Director Server 和 Real Server 必须在同一个物理网络中。
  • Real Server 可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对 RIP 进行直接访问。
  • Director Server作为群集的访问入口，但不作为网关使用。
  • 所有的请求报文经由 Director Server，但回复响应报文不能经过 Director Server。
  • Real Server 的网关不允许指向 Director Server IP，即Real Server发送的数据包不允许经过
    Director Server。
  • Real Server 上的 lo 接口配置 VIP 的 IP 地址。

2、LVS-DR的优缺点

优点：

  • 负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为 超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-DR方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个 Virtual Server能达到1G的吞吐量。甚至更高；

缺点：

  • 这种方式需要所有的DIR和RIP都在同一广播域；不支持异地容灾。

四、ARP解析问题

4.1 问题一：IP 地址冲突

  • 在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地 址。势必会造成各服务器ARP通信的紊乱

  • 当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会接收到ARP广播
    只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播
    解决方法：

  • 对节点服务器进行处理，使其不响应针对VIP的ARP请求

  • 用虚接口lo:0承载VIP地址

  • 设置内核参数arp_ ignore=1: 系统只响应目的IP为本地IP的ARP请求

路由器发送ARP请求（广播）
ARP---->广播去找ip地址解析成mac地址
默认使用调度服务器上的外网地址（vip地址）响应，
需要在真实服务器上修改内核参数
使真实服务器只对自己服务器上的真实IP地址响应ARP解析。

4.2 问题二：第二次再有访问请求

  • RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址，发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址，路由器收到ARP请求后，将更新ARP表项，原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址。路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效

解决方法：

  • 对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址
路由器上绑定了 真实服务器1的mac信息，
请求到达真实服务器
在真实服务器上修改内核参数
只对所有服务器真实网卡上的地址进行反馈，解析

五、部署LVS-DR群集

1.实验环境

负载均衡器：192.168.28.10 192.168.28.100
后端server1：192.168.28.200
后端server2：192.168.28.250

2.配置LVS调度服务器（主备）

2.1 配置LVS的IP

基础工作

[root@yzq ~]# systemctl stop firewalld
[root@yzq ~]# systemctl disable firewalld
[root@yzq ~]# setenforce 0

lvs01

[root@lvs01 network-scripts]# cat ifcfg-ens33:0
DEVICE=ens33:0
IPADDR=192.168.28.20
NETMASK=255.255.255.255
ONBOOT=yes

在这里插入图片描述
lvs02
在这里插入图片描述

2.2 加载开启ip_vs模块

[root@lvs01 ~]# modprobe ip_vs   #手动加载ip_vs模块
[root@lvs01 ~]# cat /proc/net/ip_vs  #查看版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

在这里插入图片描述

2.3 下载安装ipvsadm管理工具

在这里插入图片描述在这里插入图片描述

2.4调整/proc响应参数

对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能。
lvs01和lvs02均相同操作

vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

在这里插入图片描述
在这里插入图片描述

2.5配置负载分配策略

[root@lvs01 network-scripts]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@lvs01 network-scripts]# systemctl status ipvsadm.service 
● ipvsadm.service - Initialise the Linux Virtual Server
   Loaded: loaded (/usr/lib/systemd/system/ipvsadm.service; disabled; vendor preset: disabled)
   Active: inactive (dead)

在这里插入图片描述
lvs01

[root@lvs01 opt]# cat /opt/dr.sh  
ipvsadm -C  #清空原有策略
ipvsadm -A -t 192.168.28.20:80 -s rr 
ipvsadm -a -t 192.168.28.20:80 -r 192.168.28.200:80 -g    
ipvsadm -a -t 192.168.28.20:80 -r 192.168.28.250:80 -g
ipvsadm  #启用策略

2.6启动策略，测试

在这里插入图片描述

[root@lvs01 opt]# ipvsadm -ln  
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.28.20:80 rr
  -> 192.168.28.200:80            Route   1      0          0         
  -> 192.168.28.250:80            Route   1      0          0

3.web站点服务器配置

3.1配置虚拟机IP

此地址仅用作发送 Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发）。因此使用虚接口 lo∶0 来承载 VIP 地址，并为本机添加一条路由记录，将访问 VIP 的数据限制在本地，以避免通信紊乱。
server1

[root@server01 ~]# cd /etc/sysconfig/network-scripts/
[root@server01 network-scripts]# cp -p ifcfg-lo ifcfg-lo:0
[root@server01 network-scripts]# vim ifcfg-lo:0
[root@server01 network-scripts]# cat ifcfg-lo:0
DEVICE=lo:0
IPADDR=192.168.28.20
NETMASK=255.255.255.255
ONBOOT=yes
[root@server01 network-scripts]# ifup ifcfg-lo:0
[root@server01 network-scripts]# ifconfig lo:0
lo:0: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 192.168.28.20  netmask 255.255.255.255
        loop  txqueuelen 1000  (Local Loopback)

server2
在这里插入图片描述
禁锢路由
在这里插入图片描述

[root@server02 network-scripts]# route add -host 192.168.28.20 dev lo:0 #禁锢路由，只能主动访问它，不让它主动访问

3.2配置启动管理执行路由禁锢

设置系统自动识别，并设置执行权限

vim /etc/rc.local
/sbin/route add -host 192.168.28.20 dev lo:0
chmod +x /etc/rc.d/rc.local

3.3调整内核的ARP响应参数以阻止更新VIP的MAC地址，避免发生冲突

[root@server01 network-scripts]# vim /etc/sysctl.conf 
[root@server01 network-scripts]# sysctl -p #查看内核配置参数
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1 #系统只响应目的IP为本地IP的ARP请求
net.ipv4.conf.lo.arp_announce = 2 #系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

在这里插入图片描述

3.4安装启动编辑httpd页面

yum install -y httpd
systemctl start httpd

web1
在这里插入图片描述
web2

[root@server02 network-scripts]# cd /var/www/html/
[root@server02 html]# vim index.html
[root@server02 html]# cat index.html 
this is serve2

查看web页面
在这里插入图片描述

4.测试

在这里插入图片描述

5.DR + Keepalived

上面已经配置过IP规则等，现在配置keepalived

1.配置keepalived

上面已经安装keepalived，直接配置

keepalived配置文件备份

[root@lvs01 ~]# cd /etc/keepalived/
[root@lvs01 keepalived]# ls
keepalived.conf
[root@lvs01 keepalived]# cp keepalived.conf keepalived.conf.ba

修改配置文件

lvs01

[root@lvs01 keepalived]# vim keepalived.conf


global_defs {  #定义全局参数
      router_id lvs_01 #定义VRRP热备实例参数
}
vrrp_instance vi_1 {
      state MASTER  #指定热备状态，主为MASTER，备为BACKUP
      interface ens33 #指定承载vip地址的物理接口
      virtual_router_id 51 #指定虚拟路由器的ID号，每个热备组保持一致	
      priority 110 #指定优先级，数值越大优先级越高，这里设置主为110
      advert_int 1 ##通告间隔秒数(心跳频率)
      authentication { ##定义认证信息,每个热备组保持一致
           auth_type PASS #认证类型
           auth_pass 6666 #指定验证密码，主备服务器保持一致
 }
virtual_ipaddress { #指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
      192.168.28.20
}
}
virtual_server 192.168.28.20 80 {
      lb_algo rr #指定调度算法，轮询(rr)
      lb_kind DR
      persistence_timeout 6 #连接保持时间(秒)
      protocol TCP #应用服务采用的是 TCP协议
real_server 192.168.28.200 80 {
      weight 1 #节点的权重
      TCP_CHECK {
          connect_port 80 #添加检查的目标端口
          connect_timeout 3 #添加连接超时(秒)
          nb_get_retry 3 #添加重试次数
          delay_before_retry 3 #添加重试间隔
   }
}
real_server 192.168.28.250 80 { #添加第二个 Web节点的地址、端口
      weight 1
      TCP_CHECK {
          connect_port 80
          connect_timeout 3
          nb_get_retry 3
          delay_before_retry 3
   }
}
}

lvs02

[root@lvs02 network-scripts]# cd /etc/keepalived/
[root@lvs02 keepalived]# ls
keepalived.conf
[root@lvs02 keepalived]# cp keepalived.conf  keepalived.conf .bak
cp: 目标".bak" 不是目录
[root@lvs02 keepalived]# cp keepalived.conf  keepalived.conf.bak
[root@lvs02 keepalived]# vim keepalived.conf

在这里插入图片描述

2.测试

启动keepalived

systemctl start keepalived.service

master
在这里插入图片描述

backup
在这里插入图片描述

访问网页

在这里插入图片描述

在这里插入图片描述

关闭LVS01的keepalived

在这里插入图片描述
在这里插入图片描述

访问网页

在这里插入图片描述

打开master的Keepalived

模拟修复，VIP回来
在这里插入图片描述
lvs02
在这里插入图片描述

访问网页

在这里插入图片描述

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/76538.html

赞 (0)
小半的头像小半
0 0

相关推荐

极客之音——专业性很强的中文编程技术网站，欢迎收藏到浏览器，订阅我们！