centos7 搭建hadoop集群 zookeeper Hbase集群

最新推荐文章于 2022-04-19 18:09:09 发布

原创

最新推荐文章于 2022-04-19 18:09:09 发布 · 544 阅读

标签

#hadoop #linux #大数据 #分布式 #java

本文详细介绍了如何在CentOS7上搭建Hadoop、Zookeeper和HBase集群，包括集群规划、虚拟机安装、版本选择、软件安装、配置文件修改、时间同步、SSH免密登录、集群启动等关键步骤，特别强调了版本兼容性和集群的高可用性。

集群规划：
   主机名       IP               安装的软件
   master       192.168.1.201           jdk、hadoop、zookeeper
   slave1       192.168.1.202           jdk、hadoop、zookeeper
   slave2       192.168.1.203           jdk、hadoop、zookeeper

虚拟机安装技巧快速法：先装master镜像，先操作后面“先在master上安装jdk（建议非openjdk）“这一节中的教程，安装ntp同步时间，接着按下面常用命令分别修改master主机名，ip地址和绑定hostname与ip，ip和主机名均按上面集群规划修改, 然后将master镜像克隆两个，分别为slave1、slave2，当然可以更多，接着按下面常用命令分别修改克隆的主机名，ip地址，再开启所有虚拟机并在master节点配置ssh免密登录到slave节点，接着按后面教程搭建hadoop集群 zookeeper Hbase集群。

注意版本兼容问题

本博客：

jdk1.7
zookeeper3.4.14
hbase 1.5.0
hadoop 2.8.5

下面为版本兼容列表：

jdk与hbase兼容问题

在这里插入图片描述

安集群常用命令

root@master

即当前用户@主机名(hostname)

在master镜像中最好创建一个用户叫hadoop,解压什么的所有操作都用hadoop来操作

修改主机名

vim /etc/hostname

立即生效： hostname 主机名

修改ip地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

重启服务:

service network restart

绑定hostname与ip

vim /etc/hosts

ntp同步时间

sudo yum install ntp.x86_64

systemctl start ntpd

ntpdate time1.aliyun.com

date

#重启命令
systemctl restart ntpd

配置ssh免密登录

1.客户端生成公私钥

本地客户端生成公私钥：（一路回车默认即可）

ssh-keygen

上面这个命令会在用户目录.ssh文件夹下创建公私钥

cd ~/.ssh

ls

下创建两个密钥：

id_rsa （私钥）
id_rsa.pub (公钥）

2 免密登录集群其他服务器salve2 slave1

还有 ssh-copy-id master@master

测试成功

同理分别在slave1 slave2上执行同样的免密操作

先在master上安装jdk（建议非openjdk）

先下载jdk for linux,本文后缀为.zip其实是一样的，下载链接：https://download.csdn.net/download/Justdoforever/12527560

tar.gz后缀格式JDK安装方式

安装jdk-7u79-linux-x64.tar.gz。

在/usr目录下新建java文件夹，命令行：

[root@localhost Desktop]# mkdir /usr/java

进入JDK压缩包所在目录，将压缩包复制到java文件夹中。复制文件用cp xxx命令，复制文件夹用cp -r xxx，命令行：

[root@localhost Desktop]# cp jdk-7u79-linux-x64.gz /usr/java

然后返回到根目录，再进入java目录，命令行：

[root@localhost Desktop]# cd /

[root@localhost Desktop]# cd /usr/java

压缩包解压，命令行：

[root@localhost Desktop]# tar xvf jdk-7u79-linux-x64.gz

或者 [root@localhost Desktop]# unzip jdk-7u79-linux-x64.zip

删除压缩包，输入yes确认删除。命令行：

[root@localhost java]# rm jdk-7u79-linux-x64.gz

rm: remove regular file `jdk-7u79-linux-x64.gz'? yes

设置对所有用户有效方式：修改/etc/profile文件设置系统变量，设置jdk环境变量，该方式对所有用户有效。

使用VI编辑，输入命令，回车确认。命令行：

[root@localhost Desktop]# vi /etc/profile

打开之后在文件末尾添加下面配置。通过鼠标滑轮滚动到文件末尾，上下左右方向键控制光标输入位置。

export JAVA_HOME=/usr/java/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

配置好后，按Esc退出，按Shift加英文冒号shift + : 然后输入wq，按Enter回车键确认。取消编辑按Ctrl+z。

使profile配置生效。命令行：

[root@localhost Desktop]# source /etc/profile

安装步骤：
   1.安装配置zooekeeper集群（在master上操作）3.4.14版本链接https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.4.14/ 用什么版本下面替换一下就好了
       1.1解压
           tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local
       1.2修改配置
           cd /usr/local/zookeeper-3.4.6/conf/
           cp zoo_sample.cfg zoo.cfg
           vim zoo.cfg

server.id=host:port1:port2
其中id为一个数字，表示zk进程的id，这个id也是dataDir目录下myid文件的内容。
host是该zk进程所在的IP地址，port1表示follower和leader交换消息所使用的端口，port2表示选举leader所使用的端口。
dataDir
其配置的含义跟单机模式下的含义类似，不同的是集群模式下还有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id，表示zk进程的id。

           修改：dataDir=/usr/local/zookeeper-3.4.6/tmp
           在最后添加：
           server.1=master:2888:3888
           server.2=slave1:2888:3888
   &