Hadoop+HBase+ZooKeeper分布式集群环境搭建

概述

本次 Hadoop 集群安装实验，采用在 VMware 虚拟机下安装多个 CentOS 系统的
方式进行；3 个 CentOS 系统中，其中，1 个为 Master 机，作为 NameNode；另外 3
个为 Slave 机，作为 DataNode，均采用独立静态 IP 地址配置。

1. 安装准备

1.1 软件系统清单

序号

名称

描述

1

jdk-8u171-linux-i586.tar.gz

所有环境都需要的配置  地址

2

VMware

虚拟机安装程序，这里采用 VMware12 模拟测试  地址

3

CentOS-7-x86_64-DVD-1804.iso

集群操作系统  地址

4

hadoop-2.8.3.tar.gz

Hadoop 安装程序  地址

5

hbase-2.0.0-bin.tar.gz

HBase 安装程序  地址

6

zookeeper-3.4.12.tar.gz

集群分布式应用程序协调服务  地址

以下是hbase官网提供的Hbase和Hadoop版本兼容信息  参考

  • “S” = supported(支持)
  • “X” = not supported(不支持)
  • “NT” = Not tested(未测试)

HBase-1.2.x

HBase-1.3.x

HBase-1.5.x

HBase-2.0.x

HBase-2.1.x

Hadoop-2.4.x

S

S

X

X

X

Hadoop-2.5.x

S

S

X

X

X

Hadoop-2.6.0

X

X

X

X

X

Hadoop-2.6.1+

S

S

X

S

X

Hadoop-2.7.0

X

X

X

X

X

Hadoop-2.7.1+

S

S

S

S

S

Hadoop-2.8.[0-1]

X

X

X

X

X

Hadoop-2.8.2

NT

NT

NT

NT

NT

Hadoop-2.8.3+

NT

NT

NT

S

S

Hadoop-2.9.0

X

X

X

X

X

Hadoop-2.9.1+

NT

NT

NT

NT

NT

Hadoop-3.0.x

X

X

X

X

X

Hadoop-3.1.0

X

X

X

X

X
1.2 IP 地址配置清单

集群环境至少需要3个节点(也就是3台服务器设备)：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：

Hostname

IP

User

Password

master

192.168.1.60

root

root

weiqi1

192.168.1.61

root

root

weiqi2

192.168.1.62

root

root

三个节点均使用CentOS-7系统，为了便于维护，集群环境配置项最好使用相同用户名、用户密码、相同hadoop、hbase、zookeeper目录结构。

2. 准备工作

2.1 关闭防火墙

关闭firewalld防火墙：

$ systemctl status firewalld.service	#检查防火墙状态
$ systemctl stop firewalld.service		#关闭防火墙
$ systemctl disable firewalld.service	#禁止开机启动防火墙
  • 1.
  • 2.
  • 3.

关闭iptables防火墙：

$ systemctl status iptables			#检查防火墙状态
$ systemctl stop iptables				#关闭防火墙
$ systemctl disable iptables			#禁止开机启动防火墙
  • 1.
  • 2.
  • 3.
2.2 安装JDK

上传jdk-8u171-linux-i586.tar.gz安装包到根目录下新建的weiqi文件夹中，

进去到weiqi目录下，解压安装包：

$ tar -zxvf jdk-8u171-linux-i586.tar.gz
  • 1.

配置java环境变量，打开/etc/profile文件

$ nano /etc/profile
  • 1.

添加如下配置：

export JAVA_HOME=/weiqi/jdk1.8.0_171
export PATH=$JAVA_HOME/bin:$PATH export 
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • 1.
  • 2.
  • 3.

然后重新加载配置文件使之生效：

$ source /etc/profile
  • 1.

检查java环境是否配置成功：

$ java -version
  • 1.

看到如下响应说明环境OK：

java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

####################################################################################
# 注：因为下载失误，下载了32位的jdk的同学，使用java、javac 检验java环境时提示为
# [root@master weiqi]# java
# -bash: /weiqi/jdk1.8.0_171/bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
# 也别担心，仅需要安装64位程序编译即可：
####################################################################################

yum install glibc.i686
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.