YARN中Resource Manager的高可用中“脑裂”问题的解决

本文探讨了Hadoop中ResourceManager(RM)遇到的“脑裂”问题,即在网络闪退或故障时RM可能出现假死,导致多个Active RM并存。为解决此问题,介绍了利用Zookeeper的隔离机制,通过ACL权限限制确保在主备切换后只有一个Active RM。当原RM恢复后,若发现节点ACL不符则自动切换为Standby状态,从而保持系统的稳定运行。

"脑裂"问题:Resource Manager由于网络闪退或者自身故障未及时对外做出响应,出现“假死”现象,导致出发了Zookeeper新一轮的主备切换,但是,对于“假死”的RM自身来说,它仍认为自己是Active,所以导致整个系统中出现多个Active的RM。

“隔离”机制解决问题:在主备切换时,在RM竞争创建锁节点时,会携带zookeeper的ACL权限进行限制,目的是独占该节点。在主备切换后,原来“假死”的RM恢复后,会去更新zookeeper的节点状态,如果发现ACL不对,节点不是自己创建的,会将自己自动更新为standby状态,这样,保证了系统中只有一个Active的RM。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值