Hbase流程

本文详细介绍了HBase的写入、读取、删除和更新数据的流程,涵盖了从数据存储到处理的完整过程。

一.写流程

1.Client客户端(javaAPI或shell)通过zookeeper的meta-region-server节点、 Hbase中的 hbsae:meta表定位到region所在hregionserver。
当客户端向hbase中put数据时,其向zookeeper通信,通过zookeeper的meta-region-server节点返回对应的meta地址,zookeeper通过meta返回的的地址,对对应的节点上的Hbase中的Hbase:meta表读取数据,将meta的值返回给Client。
2.Client通过meta返回的值找到region以及region所在的HRegionServer。
3.Client向所在的HRegionServer发送请求,将数据写到找出的region中,同时找到rk的范围。
4.HRegionServer将数据写入HLog,即缓存,这样为了防止主机突然宕机造成数据丢失(数据的持久化和恢复),当HLog确认数据已经写入HDFS中,HLog会自动清除数据。
5.当HRegionServer将数据写入内存后,每一个memstore对应一个列族,当一个region的size达到128MB时,HBase会将内存中的数据输出为有序的HFile文件(根据rk,版本,列名排序,这里已经跟列族无关了,因为整个store都是一个列族)
6.给Client返回写成功的信息
7.HFile文件达到阀值128MB的时候会写入磁盘,同时将内存中的数据删除。
8.当数据块(HFlie)达到4块,Hmaster会将数据块加载到本地,进行合并,当合并的数据达到512MB时,进行拆分,将拆分后的regin分配到不同的Hregionserver中进行管理,(当Hregion宕机后,将Hregionserver上的Hlog进行拆分,然后分配给不同的Hregionserver加载,修改Hbase:meta),Hlog会同步到HDFS。

二.读流程

1.当客户端向hbase中get数据时,其向zookeeper通信,通过zookeeper的meta-region-server节点返回对应的meta地址,zookeeper通过meta返回的的地址,对对应的节点上的Hbase中的Hbase:meta表读取数据,将meta的值返回给Client。
2.Client通过meta返回的值找到region以及region所在的HRegionServer。
3.Client向所在的HRegionServer发送请求,通过meta返回的地址,定位HRegionServer。
    4.读取数据时,先在缓存区中读取,如果没有会让对应的节点到对应的HDFS中查找数据并发送数据到缓存区中,然后将数据返回给Client,如果内存中有对应的数据,则直接将结果返回给Client。

三.删除数据

1.当客户端向hbase中get数据并进行删除时,其向zookeeper通信,通过zookeeper的meta-region-server节点返回对应的meta地址,zookeeper通过meta返回的的地址,对对应的节点上的Hbase中的Hbase:meta表读取数据,将meta的值返回给Client。
2.Client通过meta返回的值找到region以及region所在的HRegionServer。
3.Client向所在的HRegionServer发送删除请求,通过meta返回的地址,定位HRegionServer。
4.删除数据时,先在缓存区中读取,如果没有会让对应的节点到对应的HDFS中查找数据并发送数据到缓存区中,如果内存中有对应的数据,则直接进行删除操作,但是,值得注意的是:此时删除并不是真的删除了数据,而是对要删除的数据打上墓碑标记,知道数据进行合并时彻底删除。
5.将结果返回到Client。

四.更新操作

更新数据与写数据一样,主要区别在于更新数据就是将原有的数据标上时间戳,系统最终显示的数据为最后操作的数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值