HBase RIT(Region-In-Transition)故障排查与修复实战：从异常关机到数据一致性恢复-CSDN博客

1. 当HBase卡在“初始化”：一次异常关机引发的RIT风暴

那天早上，我像往常一样走进办公室，准备开始一天的工作。刚坐下，就收到了监控系统的告警：HBase集群状态异常。登录到CDH管理界面一看，好几个RegionServer的Web UI都卡在了那个令人头疼的界面上——“The RegionServer is initializing!”。这个界面就像一扇永远打不开的门，RegionServer在里面拼命“初始化”，但几个小时过去了，进度条纹丝不动。我心里咯噔一下，这可不是什么好兆头。

简单来说，这就是典型的 Region-In-Transition (RIT) 问题，而且是“永久性”的那种。在HBase的世界里，Region是数据存储和负载均衡的基本单元。一个Region在分裂、合并、迁移或故障恢复时，会进入一个特殊的“过渡”状态，这就是RIT。正常情况下，这个状态是短暂的，操作完成后Region就会恢复正常。但如果因为某些原因（比如我们这次遇到的服务器异常关机），这个过渡过程被强行中断，Region就可能永远卡在这个状态，变成“僵尸Region”。它既无法对外提供服务，也无法被Master重新分配，就像系统里一个无法愈合的伤口。

为什么异常关机这么可怕？想象一下，HBase正在写数据，它先把操作记录到预写日志（WAL），然后更新内存存储（MemStore），最后再异步刷写到磁盘（HFile）。如果这时候突然断电，内存里的数据瞬间蒸发，而磁盘上的文件可能处于一个“写了一半”的不完整状态。更麻烦的是，ZooKeeper里记录的Region状态（比如“正在打开”）和HDFS上实际的Region数据文件可能对不上号。等集群重启，Master和RegionServer根据ZooKeeper的记录去HDFS上找数据时，发现要么文件损坏了，要么根本找不到，整个状态机就卡死了，RIT列表里的Region数量只会越积越多。

我当时的集群环境是 CDH 6.2.0，搭载的是 HBase 2.1.0。这个组合在社区里有点“名声在外”，主要是因为一些工具链的兼容性问题，后面我们会深刻体会到。面对满屏的“Initializing”和监控告警，我知道，一场硬仗开始了。排查的思路必须清晰：先看日志，定位问题根源；再查HDFS，确保数据存储层健康；最后动用修复工具，尝试让Region重新上线。整个过程，就像给一个复杂的分布式系统做一次精密的外科手术。

2. 抽丝剥茧：从日志与HDFS状态定位问题根源

遇到问题别慌，第一步永远是看日志。HBase的日志通常位于 /var/log/hbase/ 目录下（具体路径可能因安装方式而异）。我直接 tail -f 跟上了 RegionServer 和 Master 的日志。

在 RegionServer 的日志里，我反复看到类似这样的错误信息：

ERROR [regionserver/node1:16020] regionserver.HRegion: Failed to open region KYLIN_XXXXXX,158xxxxxx.xxxxxxxxxxxx, will report to master
org.apache.hadoop.hbase.TableInfoMissingException: No .regioninfo file under hdfs://nameservice1/hbase/data/default/KYLIN_XXXXXX/xxxxxxxxxxxx

同时，Master日志里则充满了Region状态转换超时的警告，RIT队列的长度在不断增长。这些日志明确指向了一点：RegionServer尝试打开某个Region时，在HDFS上找不到关键的元数据文件 .regioninfo。这个文件相当于Region的“身份证”，记录了它的起止RowKey、所属表等信息。没有它，RegionServer就无法正确加载和识别这个Region。

既然问题指向HDFS，下一步就是检查HDFS的健康状况。这里有几个关键命令，我逐一执行：

首先，确认HDFS是否处于安全模式。安全模式下，HDFS是只读的，会阻止任何修改操作，这可能导致Region无法正常打开。