基于centos7.6搭建hadoop-3.1.2集群

基于centos7.6搭建hadoop-3.1.2集群

1. hadoop单节点安装。

Hadoop单节点的安装不需要守护进程，所以不需要安装zookeeper。
准备环境centos7.6、java1.8、hadoop-3.1.2。
首先安装虚拟机。我选择的是最小安装，这样会更节省资源，更快一些，但是有些东西会缺少，需要自己手动安装。在创建虚拟机之前点击左上角的虚拟网络编辑器。

之后安装虚拟机的时候网卡会设置成NAT所以这里吧NAT的网段改为192.168.10.0。

设置完成后就可以安装虚拟机了。下面是我的虚拟机配置。

安装完成后先配置网卡信息。

不需要连接外网的话这样就可以了。多余行可以删掉。

主要是标注的这3行进行修改。第一行的dhcp改为static，第二行的no改为yes，第三行是添加上去的，添加的就是这台虚拟机的IP。
然后重启网卡服务。

重启成功。
ip a s 查看网卡信息

可以看到ens33网卡IP修改成功。
关闭防火墙，然后永久关闭防火墙。

然后就可以使用ssh工具连接使用了。这里推荐mobaxterm工具。有安装版和便携版。功能比较全，便携版无需安装使用方便。这软件功能比较多，本人由于英语不好所以正在摸索使用中，有什么好玩功能的东西望大家告知。
点击左上角的session即可开始连接。然后输入自己的虚拟机IP和用户进入连接。

然后输入自己root账户的密码。

连接成功。

修改主机名hostname。

最小安装是没有vim的，我这里是手动装的。
将配置文件中原有的内容删除掉改为hadoop01。这里可以根据自己的选择改，比较随意。

配置完成后reboot重启生效。
然后配置hosts文件，这里因为我后面要装4节点的集群，所以提前把后面的也写好了。


向里面写入对应的IP和主机名。

Ping通说明配置生效。

接下来创建一个新的用户hadoop这个用户将来用来管理hadoop所有的组件。

创建hadoop用户并且设置密码。


然后在/etc/sudoers配置文件里修改hadoop用户的权限。

第一行是本来就有的，添加第二行。

重启生效。

cd到/opt文件夹下新建两个文件夹software和module。software将用来存放传到节点上的安装包，module将成为hadoop组件的安装路径。


然后修改文件夹属主和读写权限。
修改属主。

修改读写权限。


修改后的文件夹属性如下。