高可用集群KEEPALIVED

高可用集群KEEPALIVED

一.高可用集群

1.1 集群类型

  • LB:Load Balance 负载均衡

    ​ LVS/HAProxy/nginx(http/upstream, stream/upstream)

  • HA:High Availability 高可用集群 数据库、Redis

  • SPoF: Single Point of Failure**,解决单点故障**

    HPC:High Performance Computing 高性能集群

1.2 系统可用性

SLA:Service-Level Agreement 服务等级协议(提供服务的企业与客户之间就服务的品质、水准、性能 等方面所达成的双方共同认可的协议或契约)

1.3 系统故障

  • 硬件故障:设计缺陷、wear out(损耗)、非人为不可抗拒因素
  • 软件故障:设计缺陷 bug

1.4 实现高可用

提升系统高用性的解决方案:降低MTTR- Mean Time To Repair(平均故障时间)

解决方案:建立冗余机制

  • ​ active/passive 主/备-------->一台服务器工作一台不工作(浪费资源)

    active<------->HEARTBEAT(心跳检测)<---------->passive/active

  • 引出active/active 双主

1.5.VRRP:Virtual Router Redundancy Protocol

虚拟路由冗余协议,解决静态网关单点风险

  • 物理层:路由器、三层交换机
  • 软件层:keepalived
1.5.1 VRRP 相关术语

虚拟路由器:Virtual Router

虚拟路由器标识:VRID(0-255),唯一标识虚拟路由器

VIP:Virtual IP

VMAC:Virutal MAC (00-00-5e-00-01-VRID)

物理路由器:

  • master:主设备
  • backup:备用设备
  • priority:优先级
1.5.2 VRRP 相关技术

通告:心跳,优先级等;周期性

工作方式:抢占式,非抢占式

安全认证:

  • 无认证
  • 简单字符认证:预共享密钥
  • MD5

工作模式:

  • 主/备:单虚拟路由器
  • 主/主:主/备(虚拟路由器1),备/主(虚拟路由器2)

在这里插入图片描述

#工作流程
工作流程

1. 初始选举:
组内节点启动时(20.1.1.1、20.1.1.2),向组播地址发送自己状态和优先级等相关信息,根据配置的优先级(数值越高优先级越高)选举主节点。优先级相同则比较 IP 地址,IP 更大的当选。

2. 主节点工作:
主节点绑定 VIP(201.1.1.3),对外提供服务,并按设定的间隔(如 1 秒)发送 VRRP 心跳报文,告知备节点自己正常。若发生vip实现漂移,会把VIP和mac地址变化的信息通知其他网络中的设备

3. 故障检测与切换:
若备节点在超时时间(如 3 秒)内未收到主节点的心跳,判定主节点故障,备节点立即升级为主节点,绑定 VIP 并接管服务。

4. 主节点恢复:
故障主节点恢复后,若其优先级高于当前主节点,则重新抢占成为主节点(可配置为非抢占模式,避免频繁切换)。


二、keepalived部署

2.1 keepalived 简介

vrrp 协议的软件实现,原生设计目的为了高可用 ipvs服务

官网:http://keepalived.org/
在这里插入图片描述
功能:

  • 基于vrrp协议完成地址流动
  • 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)–跟随VIP自动生成
  • 为ipvs集群的各RS做健康状态检测-----动态调整ipvs调度策略
  • 基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务

2.2 Keepalived 架构

官方:https://keepalived.org/doc/IPip

​ http://keepalived.org/documentation.html

在这里插入图片描述

  • 用户空间核心组件:

    ​ vrrp stack:VIP消息通告

    ​ checkers:监测real server

    ​ system call:实现 vrrp 协议状态转换时调用脚本的功能

    ​ SMTP:邮件组件

    ​ IPVS wrapper:生成IPVS规则

    ​ Netlink Reflector:网络接口

    ​ WatchDog:监控进程

  • 控制组件:提供keepalived.conf 的解析器,完成Keepalived配置

  • IO复用器:针对网络目的而优化的自己的线程抽象

  • 内存管理组件:为某些通用的内存管理功能(例如分配,重新分配,发布等)提供访问权限

2.3 Keepalived 环境准备

在这里插入图片描述

  • 各节点时间必须同步:ntp, chrony
  • 关闭防火墙及SELinux
  • 各节点之间可通过主机名互相通信:非必须
  • 建议使用/etc/hosts文件实现:非必须
  • 各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信:非必须

2.4Keepalived 相关文件

  • 软件包名:keepalived
  • 主程序文件:/usr/sbin/keepalived
  • 主配置文件:/etc/keepalived/keepalived.conf
  • 配置文件示例:/usr/share/doc/keepalived/
  • Unit File:/lib/systemd/system/keepalived.service
  • Unit File的环境配置文件:/etc/sysconfig/keepalived

2.5KeepAlived 配置说明

2.5.1 配置文件组成部分

配置文件:/etc/keepalived/keepalived.conf

2.5.2配置语法说明

**2.5.2.1全局配置

! Configuration File for keepalived

global_defs {   
	notification_email {      
    	timiniglee-zln@163.com     #keepalived 发生故障切换时邮件发送的目标邮箱,可以按行区分写多个          }  
    notification_email_from keepalived@KA1.timinglee.org #发邮件的地址  
    smtp_server 127.0.0.1                                #邮件服务器地址   
    smtp_connect_timeout 30                              #邮件服务器连接timeout   
    router_id KA1.timinglee.org                          #每个keepalived主机唯一标识                                                        #建议使用当前主机名,但多节点重名不影响    
    vrrp_skip_check_adv_addr                              #对所有通告报文都检查,会比较消耗性能,启用此配置后,如果收到的通告报文和上一个报文是同一个路由器,则跳过检查,默认值为全检查       
    vrrp_strict									 #建议不加此项配置	#严格遵循vrrp协议                                                						   #启用此项后以下状况将无法启动服务:                                                			#1.无VIP地址                                                 							 #2.配置了单播邻居                                                 						 #3.在VRRP版本2中有IPv6地    
    vrrp_garp_interval 1                          #免费 ARP(Gratuitous ARP)报文时间间隔                                                     #免费 ARP用于通知网络中其他设备,某 IP 地址对应的 MAC 地址发生了变化帮助网络设备更新 ARP 缓存,确保数据能正确转发到新的主节点                                                  
    vrrp_gna_interval 1                           #用于配置发送 Gratuitous NA(免费邻居通告)报文的时间间隔通知网络中其他设备,某 IPv6 地址对应的链路层地址(MAC 地址)发生了变化帮助网络设备更新邻居缓存(Neighbor Cache确保 IPv6 数据包能正确转发到新的主节点                                                   
    vrrp_mcast_group4 224.0.0.44                  #指定组播IP地址范围:   

2.5.2.2 配置虚拟路由器

vrrp_instance VI_1 {    
	state MASTER   
    interface eth0          #绑定为当前虚拟路由器使用的物理接口,如:eth0,可以和VIP不在一个网卡        
    virtual_router_id 51    #每个虚拟路由器惟一标识,范围:0-255,每个虚拟路由器此值必须唯一                                   #否则服务无法启动                            
                            #同属一个虚拟路由器的多个keepalived节点必须相同                                               #务必要确认在同一网络中此值必须唯一     
    priority 100            #当前物理节点在此虚拟路由器的优先级,范围:1-254                                               #值越大优先级越高,每个keepalived主机节点此值不同       
    advert_int 1            #vrrp通告的时间间隔,默认1s    
    authentication {        #认证机制        
    	auth_type AH|PASS   #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)                	 
    	uth_pass 1111       #预共享密钥,仅前8位有效                            
    	                    #同一个虚拟路由器的多个keepalived节点必须一样 
}   virtual_ipaddress {     #虚拟IP,生产环境可能指定上百个IP地址                
		<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>        		172.25.254.100      #指定VIP,不指定网卡,默认为eth0,注意:不指定/prefix,默认32        		  
	   172.25.254.101/24 dev eth1    
       172.25.254.102/24 dev eth2 label eth2:1    }   
    accept                  #开启vip 对外响应ping包,注意此处功能需要关闭vrrp_strict                            #默认使用nftab策略禁用ping包响应,nft list ruleset 显示策略中即可看到
    }

主备准备

设备名称ip
KA1(主服务器)172.25.250.50
KA2(备用服务器)172.25.250.51
RS1(后端真实服务器)172.25.250.10
RS2172.25.250.20
VIP172.25.250.60、172.25.250.61

1.用其中一台服务器去进行时间同步

#安装chrony时间服务
dnf install chrony -y
#进行时间同步配置
vim  /etc/chrony.conf 

在这里插入图片描述

2.把另外一台主机同上一个主机进行时间同步

vim /etc/chrony.conf

在这里插入图片描述
3.安装keepalived服务KA1/KA2

dnf install keepalived

在这里插入图片描述
4.主备模式的部署

#KA1
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
   	notification_email {
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.0
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   #vrrp_strict                           #默认关闭此
   vrrp_garp_interval 1					  #免费ARP报文时间间隔,用于通知网络中其他设备某IP地址对应的Mac地址发生改变确保数据能够转发到新的主节点上
   vrrp_gna_interval 1
   vrrp_mcast_group4 224.0.0.50			#指定组播IP地址范围
}

[root@ka1 ~]#scp /etc/keepalived/keepalived.conf 172.25.250.51:/etc/keepalived/keepalived.conf
#需要输入对端的密码就可拷贝到指定路径下

在这里插入图片描述
在这里插入图片描述

#KA2
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
#验证keepalived.conf文件是否有语法错误
[root@ka1 ~]# keepalived -t -f /etc/keepalived/keepalived.conf
#(/etc/keepalived/keepalived.conf: Line 29) Unknown configuration entry 'eth0' for ip address - ignoring   会清楚地指出错误的配置

[root@ka1 ~]#

在这里插入图片描述

5.启动keepalived,查看主备选举情况,VIP在哪台服务器上,那台就是主

[root@ka1 ~]# systemctl enable --now keepalived.service
Created symlink /etc/systemd/system/multi-user.target.wants/keepalived.service → /usr/lib/systemd/system/keepalived.service.
[root@ka2 ~]#  systemctl enable --now keepalived.service
Created symlink /etc/systemd/system/multi-user.target.wants/keepalived.service → /usr/lib/systemd/system/keepalived.service.
#查看VIP分配到那台服务器上,
#查看流量信息

在这里插入图片描述
在这里插入图片描述

2.5.3自定义Keepalived日志功能
[root@ka1 ~]# vim /etc/sysconfig/keepalived

					KEEPALIVED_OPTIONS="-D -S 6"
#-D:启用调试模式 生产环境不建议长期开启 -D 会增加日志量,影响服务器性能
·#Keepalived 会输出更详细的日志信息(包括调试级别的日志)。
·#帮助排查配置错误、状态切换问题或网络故障。
·#日志通常输出到系统日志(如 /var/log/syslog 或 /var/log/messages),或通过 syslog 配置指定其他位置。


#-S 设置日志级别 为 6
#-S 6 表示 Keepalived 的日志会通过 local6 设施记录。


#添加keepalived日志功能
[root@ka1 ~]# vim /etc/rsyslog.conf

local6.*          /var/log/keepalived.log     

#重启服务查看效果

[root@ka1 ~]# systemctl restart keepalived.service

[root@ka1 ~]# tail -f /var/log/keepalived.log

在这里插入图片描述

选举主服务器的过程看得到
在这里插入图片描述

2.5.4 实现独立子配置文件

当生产环境复杂时, /etc/keepalived/keepalived.conf 文件中内容过多,不易管理

将不同集群的配置,比如:不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf

global_defs {
         。
         。
         。
}
 include /etc/keepalived/conf.d/*.conf
需要建立/etc/keepalived/conf.d 目录
#把虚拟路由的配置写到对应服务的子配置文件中
[root@ka1 ~]# vim /etc/keepalived/conf.d/web.conf
vrrp_instance WEB_VIP {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
     172.25.250.60/24 dev eth0 label eth0:0
    }
}

#重启服务
[root@ka1 ~]# systemctl restart keepalived.service

三、Keepalived 企业应用示例

3.1抢占模式和非抢占模式(默认抢占模式)

3.1.1非抢占模式(不存在MASTER,否则keepalived服务起不来)

默认为抢占模式preempt,即当高优先级的主机恢复在线后,会抢占低先级的主机的master角色,

这样会使vip在KA主机中来回漂移,造成网络抖动,

建议设置为非抢占模式 nopreempt ,即高优先级主机恢复后,并不会抢占低优先级主机的master角色

非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机

注意:要关闭 VIP抢占,必须将各 keepalived 服务器state配置为BACKUP

#ka1主机配置
vrrp_instance WEB_VIP {    
	state BACKUP    
	interface eth0    
	virtual_router_id 20    
	priority 100        #优先级高    
	nopreempt           #非抢占模式    
	advert_int 1    
	authentication {        
		auth_type PASS        
		auth_pass 1111    
		}    
	virtual_ipaddress {       
    	172.25.250.60/24 dev eth0 label eth0:0    }
    }

#KA2主机配置
vrrp_instance WEB_VIP {    
	state BACKUP    
	interface eth0    
	virtual_router_id 20    
	priority 80         #优先级低   
	nopreempt           #非抢占模式    
	advert_int 1    
	authentication {        
		auth_type PASS        
		auth_pass 1111    
		}    
	virtual_ipaddress {       
    	172.25.250.60/24 dev eth0 label eth0:0    }
    }

在这里插入图片描述

测试:手动停掉VIP所在服务器再重启看VIP是否会在漂移回来

#关闭服务在重启
[root@ka1 ~]# systemctl stop keepalived.service
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka1 ~]# ip a

在这里插入图片描述

在这里插入图片描述

3.1.2抢占延时模式

抢占延迟模式,即优先级高的主机恢复后,不会立即抢回VIP,而是延迟一段时间(默认300s,让备份服务器完成请求的时间)再抢回VIP

注意:需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict

#ka1主机配置
vrrp_instance WEB_VIP{    
	state BACKUP    
	interface eth0    
	virtual_router_id 20    
	priority 100        #优先级高    
	preempt_dealy  10   #抢占延时10s 默认时间为s    
	advert_int 1    
	authentication {        
		auth_type PASS        
		auth_pass 1111    
		}    
	virtual_ipaddress {       
    	172.25.250.60/24 dev eth0 label eth0:0    }
    }
    
#KA2主机配置
vrrp_instance WEB_VIP{    
	state BACKUP    
	interface eth0    
	virtual_router_id 20    
	priority 80         #优先级低    
	preempt_dealy  10   #抢占延时10s 默认时间为s    
	advert_int 1    
	authentication {        
		auth_type PASS        
		auth_pass 1111    
		}    
	virtual_ipaddress {       
    	172.25.250.60/24 dev eth0 label eth0:0    }
    }

测试:手动关闭服务在重启看是否会实现VIP漂移到原本的服务器上

在这里插入图片描述

3.2VIP单播配置

默认keepalived主机之间利用多播相互通告消息,会造成网络拥塞,可以替换成单播,减少网络流量

用业务网络
unicast_src_ip <IPADDR>  #指定发送单播的源IP
unicast_peer {   <IPADDR>     #指定接收单播的对方目标主机IP  
......
}
#master 主机配置
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
	。
	。
	。

}

vrrp_instance WEB_VIP{    
	state BACKUP    
	interface eth0    
	virtual_router_id 20    
	priority 100        #优先级高   
	advert_int 1    
	authentication {        
		auth_type PASS        
		auth_pass 1111    
		}    
	virtual_ipaddress {       
    	172.25.250.60/24 dev eth0 label eth0:0 
        }
    unicast_src_ip 172.25.250.50   #本机IP
    unicast_peer{
    	172.25.250.51                #指向对方主机
    }								 #如果有多个Keepalived,再加其他节点IP
       									
    }
    
    
    
#KA2
vrrp_instance WEB_VIP{    
	state BACKUP    
	interface eth0    
	virtual_router_id 20    
	priority 100        #优先级高   
	advert_int 1    
	authentication {        
		auth_type PASS        
		auth_pass 1111    
		}    
	virtual_ipaddress {       
    	172.25.250.60/24 dev eth0 label eth0:0 
        }
    unicast_src_ip 172.25.250.51   #本机IP
    unicast_peer{
    	172.25.250.50                #指向对方主机
    }								 #如果有多个Keepalived,再加其他节点IP
       									
    }
    

查看抓包单播效果

[root@KA1 ~]# tcpdump -i eth0 -nn src host 172.25.250.50 and dst 172.25.250.51

在这里插入图片描述

3.3实现master/master的Keepalived双主架构

master/slave的单主架构,同一时间只有一个Keepalived对外提供服务,此主机繁忙,而另一台主机却很空闲,利用率低下,可以使用master/master的双主架构,解决此问题。

master/master 的双主架构:

即将两个或以上VIP分别运行在不同的keepalived服务器,以实现服务器并行提供web访问的目的,提高服务器资源利用率

#KA1
[root@rhel7-ka1 ~]# vim /etc/keepalived/keepalived.conf
@@@@ 内容省略 @@@@
vrrp_instance WEB_VIP {   
	state MASTER            #主    
	interface eth0    
	virtual_router_id 51    
	priority 100    
	advert_int 1
	authentication {        
		auth_type PASS        
		auth_pass 1111   
    }    
		virtual_ipaddress {       
        	172.25.250.60/24 dev eth0 label eth0:0    
        	}
}


vrrp_instance SQL_VIP {   
	state BACKUP            #备  
	interface eth0   
	virtual_router_id 52    
	priority 80    
	advert_int 1
	authentication {        
		auth_type PASS        
		auth_pass 1111   
    }    
		virtual_ipaddress {       
        	172.25.250.61/24 dev eth0 label eth0:1    
        	}
}


#KA2
[root@rhel7-ka1 ~]# vim /etc/keepalived/keepalived.conf
@@@@ 内容省略 @@@@
vrrp_instance WEB_VIP {   
	state BACKUP           #备    
	interface eth0    
	virtual_router_id 51    
	priority 80  
	advert_int 1
	authentication {        
		auth_type PASS        
		auth_pass 1111   
    }    
		virtual_ipaddress {       
        	172.25.250.60/24 dev eth0 label eth0:0    
        	}
}


vrrp_instance SQL_VIP {   
	state MASTER            #主 
	interface eth0   
	virtual_router_id 52    
	priority 100   
	advert_int 1
	authentication {        
		auth_type PASS        
		auth_pass 1111   
    }    
		virtual_ipaddress {       
        	172.25.250.61/24 dev eth0 label eth0:1    
        	}
}

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3.4实现IPVS的高可用性

3.4.1 IPVS相关配置

3.4.1.1 虚拟服务器配置结构

virtual_server IP port {  
	... 
	real_server {
    ... 
    } 
    real_server {
    ... 
    }}

3.4.1.2 virtual server (虚拟服务器)的定义格式

virtual_server IP port      #定义虚拟主机IP地址及其端口
virtual_server fwmark int   #ipvs的防火墙打标,实现基于防火墙的负载均衡集群
virtual_server group string #使用虚拟服务器组

3.4.1.3 虚拟服务器配置

virtual_server IP port {            #VIP和PORT 

delay_loop <INT>                   #检查后端服务器的时间间隔 
lb_algo rr|wrr|lc|wlc|lblc|sh|dh   #定义调度方法
lb_kind NAT|DR|TUN                 #集群的类型,注意要大写 
persistence_timeout <INT>          #持久连接时长 protocol 
TCP|UDP|SCTP              #指定服务协议,一般为TCP 
sorry_server <IPADDR> <PORT>           #所有RS故障时,备用服务器地址 
real_server <IPADDR> <PORT> {          #RS的IP和PORT    
	weight <INT>                        #RS权重    
	notify_up <STRING>|<QUOTED-STRING>      #RS上线通知脚本    
	notify_down <STRING>|<QUOTED-STRING>    #RS下线通知脚本    
	HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... }    #定义当前主机健康状       
    态检测方法    } 
}
#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

3.4.1.4 应用层监测

应用层检测:HTTP_GET|SSL_GET

HTTP_GET|SSL_GET { 
	url {   path <URL_PATH>          #定义要监控的URL   
	status_code <INT>        #判断上述检测机制为健康状态的响应码,一般为 200 
} 
	connect_timeout <INTEGER>  #客户端请求的超时时长, 相当于haproxy的timeout server 
	nb_get_retry <INT>         #重试次数 
	delay_before_retry <INT>   #重试之前的延迟时长 
	connect_ip <IP ADDRESS>    #向当前RS哪个IP地址发起健康状态检测请求 
	connect_port <PORT>        #向当前RS的哪个PORT发起健康状态检测请求 
	bindto <IP ADDRESS>        #向当前RS发出健康状态检测请求时使用的源地址
	bind_port <PORT>           #向当前RS发出健康状态检测请求时使用的源端口}

3.4.1.5 TCP监测

传输层检测:TCP_CHECK

TCP_CHECK {     
	connect_ip <IP ADDRESS>        #向当前RS的哪个IP地址发起健康状态检测请求     
	connect_port <PORT>            #向当前RS的哪个PORT发起健康状态检测请求     
	bindto <IP ADDRESS>            #发出健康状态检测请求时使用的源地址     
	bind_port <PORT>               #发出健康状态检测请求时使用的源端口     
	connect_timeout <INTEGER>      #客户端请求的超时时长                                        #等于haproxy的timeout server   }
3.4.2 实战案例

3.4.2.1 实战案例:实现单主的 LVS-DR 模式

准备web服务器并使用脚本绑定VIP至web服务器lo网卡

#准备两台后台RS主机
#安装nginxWeb服务发布默认访问文件
echo RS-1 172.25.250.10 > /usr/share/nginx/html/index.html
echo RS-2 172.25.250.20 > /usr/share/nginx/html/index.html

#关闭防火墙
#添加VIP到lo接口上
ip a a 172.25.250.60/32 dev lo  #临时添加
#关闭arp应答
echo net.ipv4.conf.lo.arp_announce = 2 >/etc/sysctl.conf
echo net.ipv4.conf.lo.arp_ignore =1 >>/etc/sysctl.conf
#使配置命令生效,不用去重载问价
[root@rs1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

在这里插入图片描述

配置keepalived

#ka1节点的配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
@@@@ 省略内容 @@@@
virtual_server 172.25.250.60 80 {    
	delay_loop 6    
	lb_algo rr    
	lb_kind DR    
	protocol TCP    
	#sorry_server 172.25.254.30    如果部署了就可以添加
   real_server 172.25.250.10 80 {
		weight 1       
        TCP_CHECK {           
        	connect_timeout 5          
            retry 3           
            delay_before_retry 3       
            connect_port 80 
            }
   }
  real_server 172.25.250.20 80 {
		weight 1       
        HTTP_GET {  
        	url{
        		path / #指定任意一个目录,访问的到就说明服务器状态健康
        		status_code 200 #访问完成后返回状态码为200
        	}
        	connect_timeout 5          
            retry 3           
            delay_before_retry 3      
            }
   
   	}
   
   }
 #KA2配置
 [root@ka1 ~]# vim /etc/keepalived/keepalived.conf
@@@@ 省略内容 @@@@
virtual_server 172.25.250.60 80 {    
	delay_loop 6    
	lb_algo rr    
	lb_kind DR    
	protocol TCP    
	#sorry_server 172.25.254.30    如果部署了就可以添加
   real_server 172.25.250.10 80 {
		weight 1       
        TCP_CHECK {           
        	connect_timeout 5          
            retry 3           
            delay_before_retry 3       
            connect_port 80 
            }
   }
  real_server 172.25.250.20 80 {
		weight 1       
        HTTP_GET {  
        	url{
        		path / #指定任意一个目录,访问的到就说明服务器状态健康
        		status_code 200 #访问完成后返回状态码为200
        	}
        	connect_timeout 5          
            retry 3           
            delay_before_retry 3      
            }
   
   	}
   
   }

在这里插入图片描述

测试:需要关掉会话保持persistence_timeout ,否则就会在一段时间内只访问一台服务器

在这里插入图片描述

关闭后台一个真实服务器,看ipvsadm策略

在这里插入图片描述

模拟故障:

高可用集群服务器故障

关前
在这里插入图片描述

关后看VIP是否漂移:
在这里插入图片描述

在这里插入图片描述

VIP实现漂移,且client访问服务正常

单点是否可以实现流量转发
在这里插入图片描述

测试:

在这里插入图片描述

单点故障流量转移成功

3.4.3实战: 双主分别实现httpd和mysql服务的调度

在这里插入图片描述

实验前准备:

设备操作
RS1/RS2需在lo环回接口上添加2个服务的vip,并且要准备web和mydql服务
KA1/KA2设置双主模式,准备ipvsadm
client测试高可用负载均衡,需安装mysql
#RS1/RS2
#VIP准备,临时添加
[root@rs1 ~]# ip a a 172.25.250.60/32 dev lo
[root@rs1 ~]# ip a a 172.25.250.61/32 dev lo
#DR模式,关闭arp响应
[root@rs1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
#安装mariadb

[root@rs1 ~]# vim /etc/my.cnf.d/mariadb-server.cnf #为了实验效果修改一下server-id
[root@rs1 ~]# mysql -e "grant ALL on *.* to lee@'%' identified by 'lee'"
[root@rs1 ~]# mysql -ulee -plee -h172.25.254.101 -e 'select @@server_id'

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

#KA1/KA2

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
	。
	。
	。
}
#KA1设定web服务为主,msyql服务为备,KA2只需更改web服务的优先级和mysql服务的优先级
vrrp_instance WEB_VIP {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
     172.25.250.60/24 dev eth0 label eth0:0
    }
    unicast_src_ip 172.25.250.50
    unicast_peer{
            172.25.250.51
    }

}

vrrp_instance DB_VIP {
    state MASTER
    interface eth0
    virtual_router_id 52
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
     172.25.250.61/24 dev eth0 label eth0:1
    }
    unicast_src_ip 172.25.250.50
    unicast_peer{
            172.25.250.51
    }

}
#用于生成ipvsadm调度策略/web服务
virtual_server 172.25.250.60 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    protocol TCP

    real_server 172.25.250.10 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 3
            retry 3
            delay_before_retry 3
        }
    }

    real_server 172.25.250.20 80 {
        weight 1
        TCP_CHECK {
            connect_port 80
            connect_timeout 3
            retry 3
            delay_before_retry 3
        }
    }
}
#mysql服务
virtual_server 172.25.250.61 3306 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    protocol TCP

    real_server 172.25.250.10 3306 {
        weight 1
        TCP_CHECK {
            connect_port 3306
            connect_timeout 3
            delay_before_retry 3
        }
    }


    real_server 172.25.250.20 3306 {
        weight 1
        TCP_CHECK {
            connect_port 3306
            connect_timeout 3
            delay_before_retry 3
        }
    }
}

在这里插入图片描述

在这里插入图片描述

测试:

mysql四层服务

关闭一台服务器:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.5实现其它应用的高可用性 VRRP Script

keepalived利用 VRRP Script 技术,可以调用外部的辅助脚本进行资源监控,并根据监控的结果实现优先 动态调整,从而实现其它应用的高可用性功能 参考配置文件:/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck

3.5.1VRRP Script 配置

分两步实现:

  • 定义脚本

vrrp_script:自定义资源监控脚本,vrrp实例根据脚本返回值,公共定义,可被多个实例调用,定 义在vrrp实例之外的独立配置块,一般放在global_defs设置块之后。

通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常,则触发对MASTER节点的权重减至 低于SLAVE节点,从而实现 VIP 切换到 SLAVE 节点

vrrp_script <SCRIPT_NAME> {
 script <STRING>|<QUOTED-STRING>   #此脚本返回值为非0时,会触发下面OPTIONS执行
 OPTIONS 
}
  • 调用脚本

track_script:调用vrrp_script定义的脚本去监控资源,定义在VRRP实例之内,调用事先定义的 vrrp_script

track_script {
 SCRIPT_NAME_1
 SCRIPT_NAME_2
}

3.5.7.1

vrrp_script <SCRIPT_NAME> { #定义一个检测脚本,在global_defs 之外配置
     script <STRING>|<QUOTED-STRING> #shell命令或脚本路径
     interval <INTEGER> #间隔时间,单位为秒,默认1秒
     timeout <INTEGER> #超时时间
     weight <INTEGER:-254..254> #默认为0,如果设置此值为负数,
     #当上面脚本返回值为非0时
     #会将此值与本节点权重相加可以降低本节点权重, 
#即表示fall. 
     #如果是正数,当脚本返回值为0,
     #会将此值与本节点权重相加可以提高本节点权重
     #即表示 rise.通常使用负值
     
     fall <INTEGER>       #执行脚本连续几次都失败,则转换为失败,建议设为2以上
     rise <INTEGER>       #执行脚本连续几次都成功,把服务器从失败标记为成功
     user USERNAME [GROUPNAME] #执行监测脚本的用户或组
     init_fail         #设置默认标记为失败状态,监测成功之后再转换为成功状态
}

3.5.1.2调用 VRRP script

vrrp_instance test {
... ...
 track_script {
 check_down
 }
}
3.5.2实战案例:实现HAProxy高可用
#在两个ka1和ka2先实现haproxy的配置
listen webserver
   bind 172.25.254.100:80
   server web1 172.25.254.101:80 check
   server web2 172.25.254.102:80 check
#在两个ka1和ka2两个节点启用内核参数
[root@rhel7-ka1 & ka2 ~]# vim /etc/sysctl.conf 
net.ipv4.ip_nonlocal_bind = 1
[root@rhel7-ka1 & ka2 ~]# sysctl -p

#在ka1中编写检测脚本
[root@rhel7-ka1 ~]# vim /etc/keepalived/scripts/haproxy.sh
#!/bin/bash
/usr/bin/killall -0 haproxy

[root@rhel7-ka1 ~]# chmod +X /etc/keepalived/scripts/haproxy.sh


#在ka1中配置keepalived,只需在一台上配即可
[root@ka1-centos8 ~]#cat /etc/keepalived/keepalived.conf
vrrp_script check_haproxy {
   script "/etc/keepalived/scripts/haproxy.sh"
   interval 1
   weight -30
   fall 2
   rise 2
   timeout 2
}
vrrp_instance web {
   state MASTER
   interface ens33
   virtual_router_id 50
   priority 100
   advert_int 1
   authentication {
       auth_type PASS
       auth_pass 1111
   }
   virtual_ipaddress {
       172.25.254.100 dev ens33 label ens33:0
   }
   track_script {
       check_haproxy
   }
}

#haproxy配置
listen webcluster
    bind    *:80
    mode    http
    balance roundrobin
    server web1 172.25.250.10:80 check
    server web2 172.25.250.20:80 check
listen webserver
    bind    *:3306
    mode    tcp
    balance roundrobin
    server db1 172.25.250.10:3306 check
    server db2 172.25.250.20:3306 check

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

单点故障转移:haproxy

关闭KA1上的haproxy服务,可以发现VIP已实现漂移
在这里插入图片描述
在这里插入图片描述

client:测试

在这里插入图片描述

动态监测tcp报文:

在这里插入图片描述

在这里插入图片描述

总结:VIP漂移实现有2种方式

1.通过脚本监测haproxy的状态实现优先级的变化来实现VIP漂移。

2.通过vrrp来实现VIP漂移,主服务器定期给备用服务器发送报文,来确认主服务器存活,当备用服务器接收不到主服务器发送的报文时,默认主服务器挂了,自己升级为主服务器。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值