高可用集群KEEPALIVED
一.高可用集群
1.1 集群类型
-
LB:Load Balance 负载均衡
LVS/HAProxy/nginx(http/upstream, stream/upstream)
-
HA:High Availability 高可用集群 数据库、Redis
-
SPoF: Single Point of Failure**,解决单点故障**
HPC:High Performance Computing 高性能集群
1.2 系统可用性
SLA:Service-Level Agreement 服务等级协议(提供服务的企业与客户之间就服务的品质、水准、性能 等方面所达成的双方共同认可的协议或契约)
1.3 系统故障
- 硬件故障:设计缺陷、wear out(损耗)、非人为不可抗拒因素
- 软件故障:设计缺陷 bug
1.4 实现高可用
提升系统高用性的解决方案:降低MTTR- Mean Time To Repair(平均故障时间)
解决方案:建立冗余机制
-
active/passive 主/备-------->一台服务器工作一台不工作(浪费资源)
active<------->HEARTBEAT(心跳检测)<---------->passive/active
-
引出active/active 双主
1.5.VRRP:Virtual Router Redundancy Protocol
虚拟路由冗余协议,解决静态网关单点风险
- 物理层:路由器、三层交换机
- 软件层:keepalived
1.5.1 VRRP 相关术语
虚拟路由器:Virtual Router
虚拟路由器标识:VRID(0-255),唯一标识虚拟路由器
VIP:Virtual IP
VMAC:Virutal MAC (00-00-5e-00-01-VRID)
物理路由器:
- master:主设备
- backup:备用设备
- priority:优先级
1.5.2 VRRP 相关技术
通告:心跳,优先级等;周期性
工作方式:抢占式,非抢占式
安全认证:
- 无认证
- 简单字符认证:预共享密钥
- MD5
工作模式:
- 主/备:单虚拟路由器
- 主/主:主/备(虚拟路由器1),备/主(虚拟路由器2)

#工作流程
工作流程
1. 初始选举:
组内节点启动时(20.1.1.1、20.1.1.2),向组播地址发送自己状态和优先级等相关信息,根据配置的优先级(数值越高优先级越高)选举主节点。优先级相同则比较 IP 地址,IP 更大的当选。
2. 主节点工作:
主节点绑定 VIP(201.1.1.3),对外提供服务,并按设定的间隔(如 1 秒)发送 VRRP 心跳报文,告知备节点自己正常。若发生vip实现漂移,会把VIP和mac地址变化的信息通知其他网络中的设备
3. 故障检测与切换:
若备节点在超时时间(如 3 秒)内未收到主节点的心跳,判定主节点故障,备节点立即升级为主节点,绑定 VIP 并接管服务。
4. 主节点恢复:
故障主节点恢复后,若其优先级高于当前主节点,则重新抢占成为主节点(可配置为非抢占模式,避免频繁切换)。
二、keepalived部署
2.1 keepalived 简介
vrrp 协议的软件实现,原生设计目的为了高可用 ipvs服务
官网:http://keepalived.org/

功能:
- 基于vrrp协议完成地址流动
- 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)–跟随VIP自动生成
- 为ipvs集群的各RS做健康状态检测-----动态调整ipvs调度策略
- 基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务
2.2 Keepalived 架构
官方:https://keepalived.org/doc/IPip
http://keepalived.org/documentation.html

-
用户空间核心组件:
vrrp stack:VIP消息通告
checkers:监测real server
system call:实现 vrrp 协议状态转换时调用脚本的功能
SMTP:邮件组件
IPVS wrapper:生成IPVS规则
Netlink Reflector:网络接口
WatchDog:监控进程
-
控制组件:提供keepalived.conf 的解析器,完成Keepalived配置
-
IO复用器:针对网络目的而优化的自己的线程抽象
-
内存管理组件:为某些通用的内存管理功能(例如分配,重新分配,发布等)提供访问权限
2.3 Keepalived 环境准备

- 各节点时间必须同步:ntp, chrony
- 关闭防火墙及SELinux
- 各节点之间可通过主机名互相通信:非必须
- 建议使用/etc/hosts文件实现:非必须
- 各节点之间的root用户可以基于密钥认证的ssh服务完成互相通信:非必须
2.4Keepalived 相关文件
- 软件包名:keepalived
- 主程序文件:/usr/sbin/keepalived
- 主配置文件:/etc/keepalived/keepalived.conf
- 配置文件示例:/usr/share/doc/keepalived/
- Unit File:/lib/systemd/system/keepalived.service
- Unit File的环境配置文件:/etc/sysconfig/keepalived
2.5KeepAlived 配置说明
2.5.1 配置文件组成部分
配置文件:/etc/keepalived/keepalived.conf
2.5.2配置语法说明
**2.5.2.1全局配置
! Configuration File for keepalived
global_defs {
notification_email {
timiniglee-zln@163.com #keepalived 发生故障切换时邮件发送的目标邮箱,可以按行区分写多个 }
notification_email_from keepalived@KA1.timinglee.org #发邮件的地址
smtp_server 127.0.0.1 #邮件服务器地址
smtp_connect_timeout 30 #邮件服务器连接timeout
router_id KA1.timinglee.org #每个keepalived主机唯一标识 #建议使用当前主机名,但多节点重名不影响
vrrp_skip_check_adv_addr #对所有通告报文都检查,会比较消耗性能,启用此配置后,如果收到的通告报文和上一个报文是同一个路由器,则跳过检查,默认值为全检查
vrrp_strict #建议不加此项配置 #严格遵循vrrp协议 #启用此项后以下状况将无法启动服务: #1.无VIP地址 #2.配置了单播邻居 #3.在VRRP版本2中有IPv6地
vrrp_garp_interval 1 #免费 ARP(Gratuitous ARP)报文时间间隔 #免费 ARP用于通知网络中其他设备,某 IP 地址对应的 MAC 地址发生了变化帮助网络设备更新 ARP 缓存,确保数据能正确转发到新的主节点
vrrp_gna_interval 1 #用于配置发送 Gratuitous NA(免费邻居通告)报文的时间间隔通知网络中其他设备,某 IPv6 地址对应的链路层地址(MAC 地址)发生了变化帮助网络设备更新邻居缓存(Neighbor Cache确保 IPv6 数据包能正确转发到新的主节点
vrrp_mcast_group4 224.0.0.44 #指定组播IP地址范围:
2.5.2.2 配置虚拟路由器
vrrp_instance VI_1 {
state MASTER
interface eth0 #绑定为当前虚拟路由器使用的物理接口,如:eth0,可以和VIP不在一个网卡
virtual_router_id 51 #每个虚拟路由器惟一标识,范围:0-255,每个虚拟路由器此值必须唯一 #否则服务无法启动
#同属一个虚拟路由器的多个keepalived节点必须相同 #务必要确认在同一网络中此值必须唯一
priority 100 #当前物理节点在此虚拟路由器的优先级,范围:1-254 #值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 #vrrp通告的时间间隔,默认1s
authentication { #认证机制
auth_type AH|PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
uth_pass 1111 #预共享密钥,仅前8位有效
#同一个虚拟路由器的多个keepalived节点必须一样
} virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL> 172.25.254.100 #指定VIP,不指定网卡,默认为eth0,注意:不指定/prefix,默认32
172.25.254.101/24 dev eth1
172.25.254.102/24 dev eth2 label eth2:1 }
accept #开启vip 对外响应ping包,注意此处功能需要关闭vrrp_strict #默认使用nftab策略禁用ping包响应,nft list ruleset 显示策略中即可看到
}
主备准备
| 设备名称 | ip |
|---|---|
| KA1(主服务器) | 172.25.250.50 |
| KA2(备用服务器) | 172.25.250.51 |
| RS1(后端真实服务器) | 172.25.250.10 |
| RS2 | 172.25.250.20 |
| VIP | 172.25.250.60、172.25.250.61 |
1.用其中一台服务器去进行时间同步
#安装chrony时间服务
dnf install chrony -y
#进行时间同步配置
vim /etc/chrony.conf

2.把另外一台主机同上一个主机进行时间同步
vim /etc/chrony.conf

3.安装keepalived服务KA1/KA2
dnf install keepalived

4.主备模式的部署
#KA1
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
notification_email {
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.0
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
#vrrp_strict #默认关闭此
vrrp_garp_interval 1 #免费ARP报文时间间隔,用于通知网络中其他设备某IP地址对应的Mac地址发生改变确保数据能够转发到新的主节点上
vrrp_gna_interval 1
vrrp_mcast_group4 224.0.0.50 #指定组播IP地址范围
}
[root@ka1 ~]#scp /etc/keepalived/keepalived.conf 172.25.250.51:/etc/keepalived/keepalived.conf
#需要输入对端的密码就可拷贝到指定路径下


#KA2
[root@ka2 ~]# vim /etc/keepalived/keepalived.conf
#验证keepalived.conf文件是否有语法错误
[root@ka1 ~]# keepalived -t -f /etc/keepalived/keepalived.conf
#(/etc/keepalived/keepalived.conf: Line 29) Unknown configuration entry 'eth0' for ip address - ignoring 会清楚地指出错误的配置
[root@ka1 ~]#

5.启动keepalived,查看主备选举情况,VIP在哪台服务器上,那台就是主
[root@ka1 ~]# systemctl enable --now keepalived.service
Created symlink /etc/systemd/system/multi-user.target.wants/keepalived.service → /usr/lib/systemd/system/keepalived.service.
[root@ka2 ~]# systemctl enable --now keepalived.service
Created symlink /etc/systemd/system/multi-user.target.wants/keepalived.service → /usr/lib/systemd/system/keepalived.service.
#查看VIP分配到那台服务器上,
#查看流量信息


2.5.3自定义Keepalived日志功能
[root@ka1 ~]# vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
#-D:启用调试模式 生产环境不建议长期开启 -D 会增加日志量,影响服务器性能
·#Keepalived 会输出更详细的日志信息(包括调试级别的日志)。
·#帮助排查配置错误、状态切换问题或网络故障。
·#日志通常输出到系统日志(如 /var/log/syslog 或 /var/log/messages),或通过 syslog 配置指定其他位置。
#-S 设置日志级别 为 6
#-S 6 表示 Keepalived 的日志会通过 local6 设施记录。
#添加keepalived日志功能
[root@ka1 ~]# vim /etc/rsyslog.conf
local6.* /var/log/keepalived.log
#重启服务查看效果
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka1 ~]# tail -f /var/log/keepalived.log

选举主服务器的过程看得到

2.5.4 实现独立子配置文件
当生产环境复杂时, /etc/keepalived/keepalived.conf 文件中内容过多,不易管理
将不同集群的配置,比如:不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
。
。
。
}
include /etc/keepalived/conf.d/*.conf
需要建立/etc/keepalived/conf.d 目录
#把虚拟路由的配置写到对应服务的子配置文件中
[root@ka1 ~]# vim /etc/keepalived/conf.d/web.conf
vrrp_instance WEB_VIP {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0
}
}
#重启服务
[root@ka1 ~]# systemctl restart keepalived.service
三、Keepalived 企业应用示例
3.1抢占模式和非抢占模式(默认抢占模式)
3.1.1非抢占模式(不存在MASTER,否则keepalived服务起不来)
默认为抢占模式preempt,即当高优先级的主机恢复在线后,会抢占低先级的主机的master角色,
这样会使vip在KA主机中来回漂移,造成网络抖动,
建议设置为非抢占模式 nopreempt ,即高优先级主机恢复后,并不会抢占低优先级主机的master角色
非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机
注意:要关闭 VIP抢占,必须将各 keepalived 服务器state配置为BACKUP
#ka1主机配置
vrrp_instance WEB_VIP {
state BACKUP
interface eth0
virtual_router_id 20
priority 100 #优先级高
nopreempt #非抢占模式
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0 }
}
#KA2主机配置
vrrp_instance WEB_VIP {
state BACKUP
interface eth0
virtual_router_id 20
priority 80 #优先级低
nopreempt #非抢占模式
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0 }
}

测试:手动停掉VIP所在服务器再重启看VIP是否会在漂移回来
#关闭服务在重启
[root@ka1 ~]# systemctl stop keepalived.service
[root@ka1 ~]# systemctl restart keepalived.service
[root@ka1 ~]# ip a


3.1.2抢占延时模式
抢占延迟模式,即优先级高的主机恢复后,不会立即抢回VIP,而是延迟一段时间(默认300s,让备份服务器完成请求的时间)再抢回VIP
注意:需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict
#ka1主机配置
vrrp_instance WEB_VIP{
state BACKUP
interface eth0
virtual_router_id 20
priority 100 #优先级高
preempt_dealy 10 #抢占延时10s 默认时间为s
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0 }
}
#KA2主机配置
vrrp_instance WEB_VIP{
state BACKUP
interface eth0
virtual_router_id 20
priority 80 #优先级低
preempt_dealy 10 #抢占延时10s 默认时间为s
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0 }
}
测试:手动关闭服务在重启看是否会实现VIP漂移到原本的服务器上

3.2VIP单播配置
默认keepalived主机之间利用多播相互通告消息,会造成网络拥塞,可以替换成单播,减少网络流量
用业务网络
unicast_src_ip <IPADDR> #指定发送单播的源IP
unicast_peer { <IPADDR> #指定接收单播的对方目标主机IP
......
}
#master 主机配置
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
。
。
。
}
vrrp_instance WEB_VIP{
state BACKUP
interface eth0
virtual_router_id 20
priority 100 #优先级高
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0
}
unicast_src_ip 172.25.250.50 #本机IP
unicast_peer{
172.25.250.51 #指向对方主机
} #如果有多个Keepalived,再加其他节点IP
}
#KA2
vrrp_instance WEB_VIP{
state BACKUP
interface eth0
virtual_router_id 20
priority 100 #优先级高
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0
}
unicast_src_ip 172.25.250.51 #本机IP
unicast_peer{
172.25.250.50 #指向对方主机
} #如果有多个Keepalived,再加其他节点IP
}
查看抓包单播效果
[root@KA1 ~]# tcpdump -i eth0 -nn src host 172.25.250.50 and dst 172.25.250.51

3.3实现master/master的Keepalived双主架构
master/slave的单主架构,同一时间只有一个Keepalived对外提供服务,此主机繁忙,而另一台主机却很空闲,利用率低下,可以使用master/master的双主架构,解决此问题。
master/master 的双主架构:
即将两个或以上VIP分别运行在不同的keepalived服务器,以实现服务器并行提供web访问的目的,提高服务器资源利用率
#KA1
[root@rhel7-ka1 ~]# vim /etc/keepalived/keepalived.conf
@@@@ 内容省略 @@@@
vrrp_instance WEB_VIP {
state MASTER #主
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0
}
}
vrrp_instance SQL_VIP {
state BACKUP #备
interface eth0
virtual_router_id 52
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.61/24 dev eth0 label eth0:1
}
}
#KA2
[root@rhel7-ka1 ~]# vim /etc/keepalived/keepalived.conf
@@@@ 内容省略 @@@@
vrrp_instance WEB_VIP {
state BACKUP #备
interface eth0
virtual_router_id 51
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0
}
}
vrrp_instance SQL_VIP {
state MASTER #主
interface eth0
virtual_router_id 52
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.61/24 dev eth0 label eth0:1
}
}



3.4实现IPVS的高可用性
3.4.1 IPVS相关配置
3.4.1.1 虚拟服务器配置结构
virtual_server IP port {
...
real_server {
...
}
real_server {
...
}
…
}
3.4.1.2 virtual server (虚拟服务器)的定义格式
virtual_server IP port #定义虚拟主机IP地址及其端口
virtual_server fwmark int #ipvs的防火墙打标,实现基于防火墙的负载均衡集群
virtual_server group string #使用虚拟服务器组
3.4.1.3 虚拟服务器配置
virtual_server IP port { #VIP和PORT
delay_loop <INT> #检查后端服务器的时间间隔
lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法
lb_kind NAT|DR|TUN #集群的类型,注意要大写
persistence_timeout <INT> #持久连接时长 protocol
TCP|UDP|SCTP #指定服务协议,一般为TCP
sorry_server <IPADDR> <PORT> #所有RS故障时,备用服务器地址
real_server <IPADDR> <PORT> { #RS的IP和PORT
weight <INT> #RS权重
notify_up <STRING>|<QUOTED-STRING> #RS上线通知脚本
notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本
HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状
态检测方法 }
}
#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错
3.4.1.4 应用层监测
应用层检测:HTTP_GET|SSL_GET
HTTP_GET|SSL_GET {
url { path <URL_PATH> #定义要监控的URL
status_code <INT> #判断上述检测机制为健康状态的响应码,一般为 200
}
connect_timeout <INTEGER> #客户端请求的超时时长, 相当于haproxy的timeout server
nb_get_retry <INT> #重试次数
delay_before_retry <INT> #重试之前的延迟时长
connect_ip <IP ADDRESS> #向当前RS哪个IP地址发起健康状态检测请求
connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS> #向当前RS发出健康状态检测请求时使用的源地址
bind_port <PORT> #向当前RS发出健康状态检测请求时使用的源端口}
3.4.1.5 TCP监测
传输层检测:TCP_CHECK
TCP_CHECK {
connect_ip <IP ADDRESS> #向当前RS的哪个IP地址发起健康状态检测请求
connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS> #发出健康状态检测请求时使用的源地址
bind_port <PORT> #发出健康状态检测请求时使用的源端口
connect_timeout <INTEGER> #客户端请求的超时时长 #等于haproxy的timeout server }
3.4.2 实战案例
3.4.2.1 实战案例:实现单主的 LVS-DR 模式
准备web服务器并使用脚本绑定VIP至web服务器lo网卡
#准备两台后台RS主机
#安装nginxWeb服务发布默认访问文件
echo RS-1 172.25.250.10 > /usr/share/nginx/html/index.html
echo RS-2 172.25.250.20 > /usr/share/nginx/html/index.html
#关闭防火墙
#添加VIP到lo接口上
ip a a 172.25.250.60/32 dev lo #临时添加
#关闭arp应答
echo net.ipv4.conf.lo.arp_announce = 2 >/etc/sysctl.conf
echo net.ipv4.conf.lo.arp_ignore =1 >>/etc/sysctl.conf
#使配置命令生效,不用去重载问价
[root@rs1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

配置keepalived
#ka1节点的配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
@@@@ 省略内容 @@@@
virtual_server 172.25.250.60 80 {
delay_loop 6
lb_algo rr
lb_kind DR
protocol TCP
#sorry_server 172.25.254.30 如果部署了就可以添加
real_server 172.25.250.10 80 {
weight 1
TCP_CHECK {
connect_timeout 5
retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 172.25.250.20 80 {
weight 1
HTTP_GET {
url{
path / #指定任意一个目录,访问的到就说明服务器状态健康
status_code 200 #访问完成后返回状态码为200
}
connect_timeout 5
retry 3
delay_before_retry 3
}
}
}
#KA2配置
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
@@@@ 省略内容 @@@@
virtual_server 172.25.250.60 80 {
delay_loop 6
lb_algo rr
lb_kind DR
protocol TCP
#sorry_server 172.25.254.30 如果部署了就可以添加
real_server 172.25.250.10 80 {
weight 1
TCP_CHECK {
connect_timeout 5
retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 172.25.250.20 80 {
weight 1
HTTP_GET {
url{
path / #指定任意一个目录,访问的到就说明服务器状态健康
status_code 200 #访问完成后返回状态码为200
}
connect_timeout 5
retry 3
delay_before_retry 3
}
}
}

测试:需要关掉会话保持persistence_timeout ,否则就会在一段时间内只访问一台服务器

关闭后台一个真实服务器,看ipvsadm策略

模拟故障:
高可用集群服务器故障
关前

关后看VIP是否漂移:


VIP实现漂移,且client访问服务正常
单点是否可以实现流量转发

测试:

单点故障流量转移成功
3.4.3实战: 双主分别实现httpd和mysql服务的调度

实验前准备:
| 设备 | 操作 |
|---|---|
| RS1/RS2 | 需在lo环回接口上添加2个服务的vip,并且要准备web和mydql服务 |
| KA1/KA2 | 设置双主模式,准备ipvsadm |
| client | 测试高可用负载均衡,需安装mysql |
#RS1/RS2
#VIP准备,临时添加
[root@rs1 ~]# ip a a 172.25.250.60/32 dev lo
[root@rs1 ~]# ip a a 172.25.250.61/32 dev lo
#DR模式,关闭arp响应
[root@rs1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
#安装mariadb
[root@rs1 ~]# vim /etc/my.cnf.d/mariadb-server.cnf #为了实验效果修改一下server-id
[root@rs1 ~]# mysql -e "grant ALL on *.* to lee@'%' identified by 'lee'"
[root@rs1 ~]# mysql -ulee -plee -h172.25.254.101 -e 'select @@server_id'



#KA1/KA2
[root@ka1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
。
。
。
}
#KA1设定web服务为主,msyql服务为备,KA2只需更改web服务的优先级和mysql服务的优先级
vrrp_instance WEB_VIP {
state BACKUP
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.60/24 dev eth0 label eth0:0
}
unicast_src_ip 172.25.250.50
unicast_peer{
172.25.250.51
}
}
vrrp_instance DB_VIP {
state MASTER
interface eth0
virtual_router_id 52
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.250.61/24 dev eth0 label eth0:1
}
unicast_src_ip 172.25.250.50
unicast_peer{
172.25.250.51
}
}
#用于生成ipvsadm调度策略/web服务
virtual_server 172.25.250.60 80 {
delay_loop 6
lb_algo rr
lb_kind DR
protocol TCP
real_server 172.25.250.10 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
retry 3
delay_before_retry 3
}
}
real_server 172.25.250.20 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
retry 3
delay_before_retry 3
}
}
}
#mysql服务
virtual_server 172.25.250.61 3306 {
delay_loop 6
lb_algo rr
lb_kind DR
protocol TCP
real_server 172.25.250.10 3306 {
weight 1
TCP_CHECK {
connect_port 3306
connect_timeout 3
delay_before_retry 3
}
}
real_server 172.25.250.20 3306 {
weight 1
TCP_CHECK {
connect_port 3306
connect_timeout 3
delay_before_retry 3
}
}
}


测试:
mysql四层服务
关闭一台服务器:



3.5实现其它应用的高可用性 VRRP Script
keepalived利用 VRRP Script 技术,可以调用外部的辅助脚本进行资源监控,并根据监控的结果实现优先 动态调整,从而实现其它应用的高可用性功能 参考配置文件:/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck
3.5.1VRRP Script 配置
分两步实现:
- 定义脚本
vrrp_script:自定义资源监控脚本,vrrp实例根据脚本返回值,公共定义,可被多个实例调用,定 义在vrrp实例之外的独立配置块,一般放在global_defs设置块之后。
通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常,则触发对MASTER节点的权重减至 低于SLAVE节点,从而实现 VIP 切换到 SLAVE 节点
vrrp_script <SCRIPT_NAME> {
script <STRING>|<QUOTED-STRING> #此脚本返回值为非0时,会触发下面OPTIONS执行
OPTIONS
}
- 调用脚本
track_script:调用vrrp_script定义的脚本去监控资源,定义在VRRP实例之内,调用事先定义的 vrrp_script
track_script {
SCRIPT_NAME_1
SCRIPT_NAME_2
}
3.5.7.1
vrrp_script <SCRIPT_NAME> { #定义一个检测脚本,在global_defs 之外配置
script <STRING>|<QUOTED-STRING> #shell命令或脚本路径
interval <INTEGER> #间隔时间,单位为秒,默认1秒
timeout <INTEGER> #超时时间
weight <INTEGER:-254..254> #默认为0,如果设置此值为负数,
#当上面脚本返回值为非0时
#会将此值与本节点权重相加可以降低本节点权重,
#即表示fall.
#如果是正数,当脚本返回值为0,
#会将此值与本节点权重相加可以提高本节点权重
#即表示 rise.通常使用负值
fall <INTEGER> #执行脚本连续几次都失败,则转换为失败,建议设为2以上
rise <INTEGER> #执行脚本连续几次都成功,把服务器从失败标记为成功
user USERNAME [GROUPNAME] #执行监测脚本的用户或组
init_fail #设置默认标记为失败状态,监测成功之后再转换为成功状态
}
3.5.1.2调用 VRRP script
vrrp_instance test {
... ...
track_script {
check_down
}
}
3.5.2实战案例:实现HAProxy高可用
#在两个ka1和ka2先实现haproxy的配置
listen webserver
bind 172.25.254.100:80
server web1 172.25.254.101:80 check
server web2 172.25.254.102:80 check
#在两个ka1和ka2两个节点启用内核参数
[root@rhel7-ka1 & ka2 ~]# vim /etc/sysctl.conf
net.ipv4.ip_nonlocal_bind = 1
[root@rhel7-ka1 & ka2 ~]# sysctl -p
#在ka1中编写检测脚本
[root@rhel7-ka1 ~]# vim /etc/keepalived/scripts/haproxy.sh
#!/bin/bash
/usr/bin/killall -0 haproxy
[root@rhel7-ka1 ~]# chmod +X /etc/keepalived/scripts/haproxy.sh
#在ka1中配置keepalived,只需在一台上配即可
[root@ka1-centos8 ~]#cat /etc/keepalived/keepalived.conf
vrrp_script check_haproxy {
script "/etc/keepalived/scripts/haproxy.sh"
interval 1
weight -30
fall 2
rise 2
timeout 2
}
vrrp_instance web {
state MASTER
interface ens33
virtual_router_id 50
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.254.100 dev ens33 label ens33:0
}
track_script {
check_haproxy
}
}
#haproxy配置
listen webcluster
bind *:80
mode http
balance roundrobin
server web1 172.25.250.10:80 check
server web2 172.25.250.20:80 check
listen webserver
bind *:3306
mode tcp
balance roundrobin
server db1 172.25.250.10:3306 check
server db2 172.25.250.20:3306 check



单点故障转移:haproxy
关闭KA1上的haproxy服务,可以发现VIP已实现漂移


client:测试

动态监测tcp报文:


总结:VIP漂移实现有2种方式
1.通过脚本监测haproxy的状态实现优先级的变化来实现VIP漂移。
2.通过vrrp来实现VIP漂移,主服务器定期给备用服务器发送报文,来确认主服务器存活,当备用服务器接收不到主服务器发送的报文时,默认主服务器挂了,自己升级为主服务器。

1047

被折叠的 条评论
为什么被折叠?



