记一次keepalived 脑裂问题

题外话

keepalived是我们经常用到的一个轻量级高可用解决方案。

一、脑裂问题发现

1）脑裂告警

一个mysql 双主+keepalived实现的一个轻量级高可用集群，今天收到了脑裂告警，登上相应主机看到VIP在主从节点都有。（关于keepalived的介绍可以参数我另一文章https://blog.csdn.net/Tah_001/article/details/109449445）

2）什么是脑裂
脑裂：指在一个高可用（HA）系统中，当联系着的两个节点断开联系时，本来为一个整体的系统，分裂为两个独立节点，这时两个节点开始争抢共享资源，结果会导致系统混乱，数据损坏。 对于无状态服务的HA，无所谓脑裂不脑裂；但对有状态服务(比如MySQL)的HA，必须要严格防止脑裂。

二、告警分析处理

1）为什么正常运行的集群会突然发生脑裂？
通过和OS运维人员沟通才知道是因为把防火墙开启了，这样就能明白为啥会突然发生脑裂告警了。

2）脑裂处理
防火墙启动后，必须要让两台机器之间能通信，并且要符合keepalived的通信协议，keepalived的默认端口号为112，且需通VRRP协议，故做如下步骤处理：

0、查看防火墙状态
firewall-cmd --state

1、启停防火墙
systemctl start firewalld.service

systemctl stop firewalld.service

2、指定IP与端口
fire