0.98 HBASE中reversedScan的问题研究

最新推荐文章于 2022-06-17 11:21:24 发布

原创

最新推荐文章于 2022-06-17 11:21:24 发布 · 2.7k 阅读

标签

#hbase

文章讲述了在使用HBase的反向扫描功能时遇到的应用性能问题。当应用使用reversedScan时，发现scan操作变得非常缓慢，尤其是meta表所在的regionserver CPU占用率极高。经过分析jstack和源代码，发现在ReversedScannerCallable的prepare方法中，useCache始终为false，导致频繁访问meta表。对比正常ScannerCallable，发现其useCache配置导致了缓存有效。为解决此问题，作者手动修复了代码，并重新打包hbase-client.jar，测试和生产环境中问题得到解决。

一、问题发现

近期，公司新上线了一个基于hbase的应用，在该应用中会涉及到大量hbase的scan行为。运行一阵子后，该应用间歇性的会出现scan非常缓慢的现象。公司还有大量其他基于hbase的应用，每次都只有新应用有这种现象。

唯一与以往应用的区别是新应用中有reversedScan的使用，难道是reversescan引起的？

增加对应用的jstack监控，捕捉到慢scan发生时应用的jstack，发现了一些眉目。jstack中大量线程处于block状态。

java.lang.Thread.State: BLOCKED (on object monitor)

        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.locateRegionInMeta(ConnectionManager.java:1319)

        - waiting to lock <0x00000000876a58d8> (a java.lang.Object)

        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.locateRegion(ConnectionManager.java:1177)

        at org.apache.hadoop.hbase.client.RpcRetryingCallerWithReadReplicas.getRegionLocations(RpcRetryingCallerWithReadReplicas.java:294)

        at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.java:130)

        at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.java:55)

        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:201)

        at org.apache.hadoop.hbase.client.ReversedClientScanner.nextScanner(ReversedClientScanner.java:124)

        at org.apache.hadoop.hbase.client.ClientScanner.initializeScannerInConstruction(ClientScanner.java:140)

        at org.apache.hadoop.hbase.client.ClientScanner.<init>(ClientScanner.java:135)

        at org.apache.hadoop.hbase.client.ReversedClientScanner.<init>(ReversedClientScanner.java:62)