VirtualBox中搭建Hadoop 3.1.1完全分布式集群环境(一)VirtualBox虚拟机CentOS7环境安装

一、所涉及软件环境

VirtualBox安装环境：Windows 7专业版 64bit ，主机CPU配置：Core i7， 主机内存配置：16GB

VirtualBox版本：5.2 .18 r124319

Linux 版本：CentOS 7

二、虚拟机软件及首台虚拟机操作系统安装 

1、VirtualBox安装（略） 

2、新建及配置虚拟机（CentOS7）

    步骤1：Oracal VM VirtualBox管理器->“新建”工具条按钮，弹出“新建虚拟电脑”向导对话框 。

    步骤2：在“新建虚拟电脑”向导对话框输入虚拟机电脑名称为“CentOS7”，自动选择类型为"Linux"，版本为"Red Hat (64-bit)。

    步骤3： “内存大小”输入“4096”MB。其他的按照默认配置，逐一点击“下一步”，最后点击“完成”即可。

    步骤4：CentOS7-64bit安装前需要先修改虚拟机扩展特性，启用EFI功能，否则无法启动和安装。选中虚拟机，右键弹出菜单中选择菜单项“设置(S)”，按“系统”->"扩展特性"，选择“启用EFI（只针对某些操作系统）”前面复选框。

    步骤5：虚拟机“网络”配置：Oracal VM VirtualBox管理器->选中虚拟机列表中要设置的虚拟机->“设置”工具条按钮。

    步骤5.1 ，在设置对话框中选中左侧列表“网络”，发现右侧“网卡1”已经默认启用“启用网络连接”，且连接方式为“网络地址转换（NAT）”，点击“高级”，发现“控制芯片”设置为“Intel PRO/1000 MT桌面(82540EM)”。不用理会，看看MAC地址信息即可。方便在CentOS中进行配置网络环境。

    步骤5.2，在步骤5.1基础上，选择“网卡2”选项卡。选中“启用网络连接”,连接方式选择“仅主机（Host-Only）客户端”。这时显示“界面名称”为“VirtualBox Host-Only Ethernet Adapter”，“控制芯片”显示为“Intel Pro/1000 MT 桌面 (82540EM)”，混杂模式为“拒绝”。

    注1：配置NAT是为了让虚拟机里操作系统能够访问互联网；配置VirtualBox Host-Only Ethernet Adapter是为了让各个虚拟机里操作系统能够互相访问。

    注2：由于这里配置了双网卡，下面的网络环境中需要调整CentOS中双网卡的路由设置，否则会无法访问互联网。

3、CentOS7安装 

    选择安装CentOS7 Minimal版本（无GNONE图形界面），过程略

4、CentOS7 Minimal网络环境配置

     目的：上网下载相关网络管理工具及Hadoop软件包 

     4.1 配置方式一、图形配置命令： nmtui 

注：CentOS7 Minimal中无ifconfig命令，需要额外连上网络后再安装。联网后安装命令：#yum install net-tools.x86_64

    4.2 配置方式二、网络配置相关文件：在/etc/sysconfig/network-scripts目录下，找到ifcfg-开头的几个文件，分别编辑（ifcfg-lo文件不用理会，这是为loopback预留文件）。

           4.2.1、#vi ifcfg-nat1            #注：ifcfg-nat1中的nat1是本人自定义的，用来配置网卡1为NAT网络。

                     HWADDR=08:00:27:AB:CA:A0 

                    TYPE=Ethernet 

                    BOOTPROTO=dhcp 

                    DNS1=8.8.8.8 

                    DEFROUTE=yes

                    PEERDNS=yes 

                    PEERROUTES=yes  

                    IPV4_FAILURE_FATAL=no 

                    IPV6INIT=no 

                    NAME=nat1

                    UUID=....................

                    ONBOOT=yes

                    AUTOCONNECT_PRIORITY=-999

            4.2.2、#vi ifcfg-vio1 

            内容如下（暂时关闭ipv6，不知道Hadoop是否支持）： 

                     HWADDR=08:00:27:AB:CA:A1

                    TYPE=Ethernet

                    BOOTPROTO=none #或者static

                    IPADDR=192.168.56.100

                    PREFIX=24

                    GATEWAY=192.168.56.1

                    DEFROUTE=yes   #注：双网卡环境中，需要关闭vio1的默认路由：即DEFROUTE=no

                    IPV4_FAILURE_FATAL=no

                    IPV6INIT=no

                    NAME=vio1

                    UUID=....................

                    ONBOOT=yes

                    AUTOCONNECT_PRIORITY=-999

            4.2.3、双网卡路由配置

               按以下两种办法均可修改路由信息，修改完成后，记得重启网络：

                      #service network restart

               有时候上述命令不生效（不清楚为什么），则改用以下命令行重启网络，让配置生效：

                      #cd /etc/sysconfig/network-scripts

                      #ifdown ifcfg-nat1 && ifdown ifcfg-vio1

                      #ifup ifcfg-nat1 && ifup ifcfg-vio1

                    配置是否生效，可查看路由列表： #ip route list

                                             查看IP地址：#ip address

            4.2.3.1、创建网卡vio1的路由文件

                  #vi /etc/sysconfig/network-scripts/route-vio1

                  内容如下：

                 ADDRESS0=192.168.56.0

                 NETMASK0=255.255.255.0

                 GATEWAY0=192.168.56.1

                 METRIC0=100

            4.2.3.2、图形修改路由信息

                  #nmtui

                   vio1网卡接口的配置中，Routing项中添加一条信息，内容如下：

                                      Destination/Prefix： 192.168.56.0/24

                                      Next Hop：192.168.56.1

                                      Metric：100

            4.2.4、修改主机名称 

                  临时修改主机名称：#hostname  hn1

                  永久修改主机名称：编辑/etc/hostname，将主机名称修改为想要的名称，如hn1。操作命令如下

                                                   #vi /etc/hostname

                                                   ：wq                (vi的保存文件命令。先按ESC键，再输入:wq三个字符。)

            4.2.5、关闭网络防火墙或者配置网络防火墙 

            注：为避免相关端口无法访问，简单粗暴的做法是关闭网络防火墙，更安全的做法是合理配置网络防火墙。

            端口开放查询命令：netstat -ntlp

            CentOS7查询防火墙启动状态：service firewalld status（注意：CentOS7 minimal中默认无iptables服务，使用firewalld服务）。

             停止服务：systemctl stop firewalld 
                               systemctl mask firewalld
             启动： systemctl start firewalld 
             开机禁用  ： systemctl disable firewalld
             开机启用  ： systemctl enable firewalld

详情参考：CentOS7使用firewalld打开关闭防火墙与端口、CentOS7查看和关闭防火墙

#systemctl stop firewalld.service
#systemctl disable firewalld.service 

           4.2.5.1 防火墙管理工具firewall-cmd的使用

            语法：firewall-cmd [--zone=<zone>] --add-port=<port>[-<port>]/<protocol> [--timeout=<seconds>]

            语法说明：端口可以是一个单独的端口 <port> 或者是一个端口范围 <port>-<port> 。协议可以是 tcp 或 udp。

            添加1：firewall-cmd --zone=public --add-port=80/tcp --permanent （--permanent永久生效，没有此参数重启后失效）

             添加2：firewall-cmd --zone=public --add-port=1000-2000/tcp --permanent

             重新载入：firewall-cmd --reload
             查看：firewall-cmd --zone=public --query-port=80/tcp
             删除：firewall-cmd --zone=public --remove-port=80/tcp --permanent

5、配置CentOS7 DNS本地解析文件：/etc/hosts文件

             添加行：
                 192.168.56.100 hn1
                 192.168.56.101 hn2             
                 192.168.56.102 hn3             
             注：添加DNS本地解析，分别为主机hn1、hn2、hn3添加解析条目

6、重启网络

                  #service network restart

          或

                #cd /etc/sysconfig/network-scripts

               #ifdown ifcfg-vio1

               #ifdown ifcfg-nat1

               #ifup ifcfg-vio1

               #ifup ifcfg-nat1

7、创建其他虚拟机（通过VirtualBox管理器拷贝获得）

      为了减轻配置负担，先配置好一台，再复制。这一步骤可以放至最后面进行。另外一个值得注意的是，复制虚拟机时请选择“重新初始化网卡MAC地址”选项，这样确保网络网卡唯一性。因此，复制的虚拟机里面的网络配置需要重新再配置一遍（参考上面第4个步骤）。