ZooKeeper&Flink&Hadoop集群单个节点服务器挂掉之后的恢复

最新推荐文章于 2024-03-14 07:00:00 发布

原创

最新推荐文章于 2024-03-14 07:00:00 发布 · 2.5k 阅读

标签

#hadoop #flink #zookeeper

收录于

本文介绍了在ZooKeeper、Flink和Hadoop集群中，当单个节点服务器挂掉后的恢复步骤。首先，通过查看日志定位到Zookeeper的报错，调整配置并重启服务。接着，更新Flink配置，移除失效节点并重启服务。最后，对于Hadoop，修改配置文件并重启服务，解决因磁盘空间不足导致的问题。

背景：

小项目用到的服务器老旧，其中一台周末因为总线等硬件原因挂掉了，各种监控报警，运维尝试恢复失败后直接建议更新设备，于是需要服务迁移和恢复。

其中ZooKeeper&Flink&Hadoop集群因为单节点连接失败也开始罢工了。

组里的架构加运维大牛走了，小白尝试恢复集群服务。所以本文只涉及简单的服务恢复和报错处理。

Tips：要学会利用日志、日志、日志排查问题。

一、ZooKeeper

最初尝试恢复的实际是Flink，恢复失败后发现其日志中关于zooKeeper的报错（如下），于是又恢复zookeeper。项目用到的Kafka同样依赖zookeeper，恢复zookeeper后kafka服务自动恢复。

2021-01-11 14:42:40,259 INFO  org.apache.flink.shaded.zookeeper.org.apache.zookeeper.ClientCnxn  - Opening socket connection to server 10.*.*.*/10.*.*.*:2181

2021-01-11 14:43:00,281 INFO  org.apache.flink.shaded.zookeeper.org.apache.zookeeper.ClientCnxn  - Client session timed out, have not heard from server in 20266ms for sessionid 0x0, closing socket connection and attempting reconnect

恢复方法：

1. 登录正常的集群服务器，进入zookeeper的服务路径，查看配置文件