CentOS 7 的OpenTSDB部署与使用——HBase的安装

本文详细介绍了如何在CentOS环境下安装JDK、HBase,并配置HBase以支持OpenTSDB的时间序列数据存储需求。包括JDK的安装、HBase的下载与配置、Zookeeper的设置以及HBase的基本操作命令。

CentOS 运维避坑实战

CentOS7.9 安装 Python3.8.16 后 yum 报错,快速修复方案

       时序数据库OpenTSDB 是基于 HBase 存储时间序列数据的一个开源数据库,对于存储监控系统采集的数据来说非常合适,不仅在写入查询上有很高的效率,而且节省存储空间。

一、安装HBase

        因为 OpenTSDB 的后端存储使用的是 HBase,所以我们需要先安装 HBase。 
     
      这里简单搭建了一个单机的 HBase 环境:

       1、安装 JDK 环境,centos 上可以直接通过 yum 安装(本人使用的是JDK1.8)。
       2、下载 HBase,apache.fayea.com/hbase/stable/hbase-1.4.8-bin.tar.gz,这里我们选择下载 stable 的 1.4.8 版本,文件名为                 hbase-1.4.8-bin.tar.gz,解压到/home/rpm/hbase目录下。
       3、修改 /home/rpm/hbase/hbase-1.4.8/conf/hbase-env.sh ,设置 export JAVA_HOME=/home/rpm/jdk/jdk1.8,这个是                          java 所在的目录,通过 which java 查看。

            

4、配置export HBASE_MANAGES_ZK=true,这个设置是使用hbase自带的zookeeper还是使用外部的zookeeper,设置true是使用自带的zookeeper。

5、修改 conf/hbase-site.xml, 设置 hbase 的数据存储目录以及 zookeeper 的数据存储目录,默认会放到 /tmp 目录下,这个目录机器重启后会清空,所以需要更改目录,配置如下:

6、执行 bin/start-hbase.sh 启动 HBase,之后可以通过 jps 命令来查看 HMaster 进程是否启动成功。 bin/stop-hbase.sh 用于关闭 HBase。 

HBase的基础操作命令行

连接到HBase

./hbase shell

创建一张表

create 'test', 'cf'

查看表信息

list 'test'

插入数据

put 'test', 'row1', 'cf:a', 'value1'

put 'test', 'row2', 'cf:b', 'value2'

put 'test', 'row3', 'cf:c', 'value3'

查看表中的所有数据

scan 'test'

查看指定行的数据

get 'test', 'row1'

 

CentOS 运维避坑实战

CentOS7.9 安装 Python3.8.16 后 yum 报错,快速修复方案

下采样(或信号处理,抽取)是降低数据采样率或分辨率的过程。例如,假设温度传感器每秒向OpenTSDB系统发送数据。如果用户在一小时的时间跨度内查询数据,他们将收到3,600个数据点,这些数据点可以很容易地绘制出来。但是现在,如果用户要求整整一周的数据,他们将收到604,800个数据点,突然之间图形可能变得非常混乱。使用下采样器,单个时间序列的时间范围内的多个数据点数学函数一起聚合成对齐时间戳的单个值。这样我们可以减少从604,800到168的值的数量。 下采样器至少需要两个组件: 间隔 - 聚合值的时间范围(或桶)。例如,我们可以聚合多个值1分钟或1小时甚至一整天。间隔在格式指定如1h1小时或30m30分钟。从2.3开始,all间隔现在可用于将时间范围内的所有结果下采样到一个值。例如,0all-sum将从查询开始到结束的所有值相加。请注意,仍然需要数值,但它可以是零或任何其他值。 聚合函数 - 确定如何合并区间中的值的数学函数。从聚合函数聚合文档被用于该功能。 例如,采用以下时间序列A和B。数据点覆盖70秒的时间跨度,每10秒钟一次。假设我们想要缩短采样到30秒,因为用户正在查看更长时间跨度的图表。另外,我们使用sum聚合器将这两个系列分组为一个。我们可以指定一个下采样器30s-sum,它将创建30秒的存储桶并对每个存储桶中的所有数据点求和。这将为每个系列提供三个数据点:
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值