hypertable性能测试

最新推荐文章于 2016-07-15 22:36:01 发布

原创最新推荐文章于 2016-07-15 22:36:01 发布 · 1.4k 阅读

本内容遵循CC 4.0 BY-SA版权协议

77 篇文章

订阅专栏

30 篇文章

订阅专栏

本文介绍了在Hadoop 2.0.0环境下对Hypertable进行的性能测试，包括不同文件大小下写入和读取操作的吞吐量、CPU负载、内存使用情况等关键指标，并对比了使用原生API前后的性能变化。

硬件环境

机器：5台 OS: redhat 5.4

内存：12G 磁盘：1 / 2T CPU:2*4( Intel(R) Xeon(R) CPU E5504 @ 2.00GHz)

软件环境

HDFS

hadoop2.0.0
NameNode HA(2), zookeeper(3), datanode(5) journalnode(3)

Hypertable

Master(1), hyperspace(3), RangeServer(5), Thriftbroker(5)

操作说明

同时在4台机器上操作，每台机器起10个线程，每个线程独占一个client。
及 40client并发操作。
每次写入都调用commit log和flush。
数据主要都是并发操作下的单机情况

CPU

CPU运行稳定，CPU Load大部分保持1左右，最高偶尔上5（Rangeserver merge操作估计）耗CPU较多的进程是ThriftBroker和RangeServer，写入的时候是DfsBroker，DataNode都吃CPU。

内存

内存占用主要是RangeServer,几乎全部吃光内存，不过还是可以稳定运行

写入操作吞吐量

217K文件
带宽：8*4=32 MB/s
Insert数: 32*4 = 128 /s

13K文件
带宽:9*4=36 MB/s
Insert数：700*4 = 2800/s

读取操作吞吐量

217K文件
带宽：41*4=164 MB/s
Insert数: 190*4 = 760 /s
单机读：142 MB/s 655/s

13K文件
带宽:30*4=120 MB/s
读取记录数：2200*4 = 8800/s
单机读：100MB 7500/s

其它总结

重复读跟首次读差别不是太大，估计rangeserver有预加载机制，这个需要看代码确认

==============================================详细数据=================================================

217K数据的实验

13K数据测试