本文详细介绍了HBase中Write-Ahead-Log（WAL）机制的工作原理及其在数据容错和恢复过程中的作用。每个HRegionServer维护一个HLog对象来记录所有针对MemStore的操作，确保数据在写入内存之前先写入磁盘，从而保障数据的安全性。当服务器出现故障时，系统能够通过重播HLog文件中的记录来恢复数据。
Write-Ahead-Log（WAL）
该机制用于数据的容错和恢复：
每个HRegionServer中都有一个HLog对象，HLog是一个实现Write Ahead Log的类，在每次用户操作写入MemStore的同时，也会写一份数据到HLog文件中（HLog文件格式见后续），HLog文件定期会滚动出新的，并删除旧的文件（已持久化到StoreFile中的数据）。当HRegionServer意外终止后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的 HLog文件，将其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取 到这些region的HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复
扫一扫
1110
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
