本文深入探讨了HBase中scan类的功能与用法，包括如何设置Caching、CacheBlocks和Batch参数以优化性能，以及在不同场景下如何合理配置。
hbase学习记录之scan
1.scan类似于一般数据库的游标(cursor)，可以提供顺序的读。
2.scan的结果集为[start,end)，这个需要注意
3.scan的setCaching设置的值为每次rpc的请求记录数，默认是1，应该设置的大一些，hbase的例子设置是500，该设置选项可以通过hbase的配置
来作用于整个hbase，也可以使用前面的setCaching
设置小了性能不好，设置太大会造成响应慢、超时、或者OOM
4.scan的setCacheBlocks 当mr或者全表查询的时候要设置成false，查询热数据的的时候可以使用，这样就在hbase的jvm中缓存当前记录
5.scan的setBatch设置每次取的column size，batch和caching和hbase table column size共同决定了rpc的次数
1.scan类似于一般数据库的游标(cursor)，可以提供顺序的读。
2.scan的结果集为[start,end)，这个需要注意
3.scan的setCaching设置的值为每次rpc的请求记录数，默认是1，应该设置的大一些，hbase的例子设置是500，该设置选项可以通过hbase的配置
<property>
<name>hbase.client.scanner.caching</name>
<value>10</value>
</property>来作用于整个hbase，也可以使用前面的setCaching
设置小了性能不好，设置太大会造成响应慢、超时、或者OOM
4.scan的setCacheBlocks 当mr或者全表查询的时候要设置成false，查询热数据的的时候可以使用，这样就在hbase的jvm中缓存当前记录
5.scan的setBatch设置每次取的column size，batch和caching和hbase table column size共同决定了rpc的次数
扫一扫
570
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
