Hbase Master 几分钟就死掉的故障排查 和zk host 没关系，最新 hbck2 的用法

看一下对应的 hfile 文件内容命令

hbase Hfile -e -p -f  /hbase/data/hbase/meta/1588230740/info/5660f2774e0d41d985ac3758ee1db9e3

由于 master 节点一直初始化导致的问题:

查看 namespace 元数据是否正常

echo 'scan "hbase:meta"' | hbase shell | grep 'hbase:namespace'

不正常的情况
Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
 hbase:namespace column=table:state, timestamp=1593409043862, value=\x08\x00
 
 ------------------------------------------------------------------------------------------
 正常的情况
 
 [root@cdh3 hbase]# echo 'scan "hbase:meta"' | hbase shell | grep 'hbase:namespace'
Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
 hbase:namespace column=table:state, timestamp=1591088319108, value=\x08\x00
 hbase:namespace,,1591088317613.53b3e66e48c9f0583e2f2908375091b6. column=info:regioninfo, timestamp=1593400711483, value={ENCODED => 53b3e66e48c9f0583e2f2908375091b6, NAME => 'hbase:namespace,,1591088317613.53b3e66e48c9f0583e2f2908375091b6.', STARTKEY => '', ENDKEY => ''}
 hbase:namespace,,1591088317613.53b3e66e48c9f0583e2f2908375091b6. column=info:seqnumDuringOpen, timestamp=1593400711483, value=\x00\x00\x00\x00\x00\x00\x00:
 hbase:namespace,,1591088317613.53b3e66e48c9f0583e2f2908375091b6. column=info:server, timestamp=1593400711483, value=cdh4:16020
 hbase:namespace,,1591088317613.53b3e66e48c9f0583e2f2908375091b6. column=info:serverstartcode, timestamp=1593400711483, value=1593400693384
 hbase:namespace,,1591088317613.53b3e66e48c9f0583e2f2908375091b6. column=info:sn, timestamp=1593400710359, value=cdh4,16020,1593400693384
 hbase:namespace,,1591088317613.53b3e66e48c9f0583e2f2908375091b6. column=info:state, timestamp=1593400711483, value=OPEN

 
 结论:
 生产环境namespace表缺少重要的info:server信息，这将导致namespace region在被AssignmentManager分配时跳过。
 

调用 hbck jar 包 ，校验元数据

 hbase hbck -j hbase-hbck2-1.1.0-SNAPSHOT.jar reportMissingRegionsInMeta ypl:t_url_file

对 region 进行 assigns，可以去页面查看

hbase hbck -j hbase-hbck2-1.1.0-SNAPSHOT.jar  assigns -o e4e90fcb552f9f1b4b177f96c8368de

访问 hbase region 查看是否正常

nohup hbase canary -f false -t 6000000 > ./hbase.log 2>&1 &

主要解决问题:
hbck2 的 region assgin 用法。
hbase 元数据出现异常，恢复。
解决了Hmaster 好几分钟就死掉的原因。
参考网址:
https://mp.weixin.qq.com/s/voejuBNVQXN5pXTKBcdNRg