VirtualBox中搭建Hadoop 3.1.1完全分布式集群环境(二)CentOS7中安装及配置Hadoop

最新推荐文章于 2024-06-15 17:56:59 发布
原创 最新推荐文章于 2024-06-15 17:56:59 发布 · 665 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#VirtualBox #Hadoop
本文详细介绍了如何在VirtualBox中利用CentOS7搭建Hadoop 3.1.1完全分布式集群，包括安装OpenJDK、配置Hadoop环境、复制虚拟机、网络配置、SSH环境设置、Hadoop文件配置、启动与管理等步骤。

一、安装及配置java运行环境

1、安装OpenJDK1.8 

#安装jdk
#yum install java-1.8.0-openjdk-devel.x86_64

注：这里体验yum软件包管理工具：
(1)查找包（1）
#yum list | grep telnet-server
(2)查找包（2）
#yum search MySQL
(3)安装MySQL(在CentOS7中叫MariaDB)
#yum install mariadb-server.x86_64
(4)安装telnet
#yum install telnet.*

2、配置OpenJDK1.8运行环境 

#vi ~/.bashrc (或~/profile或/etc/profile)

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-1.e17_6.x86_64/jre
export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$PATH:$JAVA_HOME/bin

二、安装及配置HADOOP运行环境

1、安装HADOOP

下载(参考curl命令：Linux curl命令详解)Hadoop3.1.1二进制发行包（参考hadoop-3.1.1.tar.gz下载页面），并解压至/home/hadoop/hadoop-3.1.1目录

#curl -O http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz  /home/hadoop/hadoop-3.1.1.tar.gz
#tar -xvf hadoop-3.1.1.tar.gz

2、配置HADOOP（不是必须）

#vi /etc/profile( 或/root/profile或 /root/.bashrc)
export HADOOP_INSTALL=/home/hadoop/hadoop-3.1.1
export PATH=${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin:${PATH}
export HADOOP_MAPRED_HOME=${HADOOP_INSTALL}
export HADOOP_COMMON_HOME=${HADOOP_INSTALL} 
export HADOOP_HDFS_HOME=${HADOOP_INSTALL}
export YARN_HOME=${HADOOP_INSTALL}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_INSTALL}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib:${HADOOP_INSTALL}/lib/native"

#source /etc/profile

三、通过VirtualBox管理器复制上术首台虚拟机获得其他虚拟机

1、复制过程：略。

 2、网络配置：启动各虚拟机后，分别按照规划配置主机名(hn2、hn3)、网络地址(hn2：192.168.56.101)和（hn3：192.168.56.102）。主机名修改文件/etc/hostname文件(略）。配置本地域名解析文件/etc/hosts，增加配置内容如下。

                                    hn1 192.168.56.100

                                    hn2 192.168.56.101

                                    hn3 192.168.56.102

 

3、网络规划：hn1(192.168.56.100)：NameNode, Secondary NameNode, ResourceManager

hn2(192.168.56.101)、hn3(192.168.56.102)：DataNode, NodeManager

四、配置SSH环境

hn1中执行如下三条命令： 

#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#chmod 0600 ~/.ssh/authorized_keys

从hn1中分别登录hn2、hn3：

                      [root@hn1]#ssh root@192.168.56.101                          #登录hn2

                                  依次执行hn1中执行的SSH配置指令（如上，略）

                                   注：输入密码后切换至hn2，可通过hostname命令查看当前主机名

                      [root@hn2]#exit                                                             #从hn2中退出远程主机登录

                      [root@hn1]#ssh root@192.168.56.102                          #登录hn3 

                                  依次执行hn1中执行的SSH配置指令（如上，略）

                      [root@hn3]#exit                                                             #从hn3中退出远程主机登录

[root@hn1]#scp root@192.168.56.101:/root/.ssh/id_rsa.pub /root/id_rsa_hn2.pub
[root@hn1]#scp root@192.168.56.102:/root/.ssh/id_rsa.pub /root/id_rsa_hn3.pub
[root@hn1]#cat /root/id_rsa_hn2.pub >> /root/.ssh/authorized_keys
[root@hn1]#cat /root/id_rsa_hn3.pub >> /root/.ssh/authorized_keys 
[root@hn1]#scp /root/.ssh/authorized_keys root@192.168.56.101:/root/.ssh/authorized_keys
[root@hn1]#scp /root/.ssh/authorized_keys root@192.168.56.102:/root/.ssh/authorized_keys

 此时，三台机器可以互相通过SSH远程登录。

五、hadoop文件配置

参考：ClusterSetup 

 主要配置文件在${HADOOP_HOME}/etc/hadoop目录下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和workers。

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hn1:9000</value>
    </property>
    <property>
        <name>Hadoop.tmp.dir</name>
        <value>/home/Hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///home/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.name.dir</name>
        <value>file:///home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hn1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hn1:50090</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

mapred-site.xml 

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapred.job.tracker</name>
        <value>hn1:10020</value>
    </property>
    <property>
        <name>mapred.jobhistory.webapp.address</name>
        <value>hn1:19888</value>
    </property>
</configuration>

yarn-site.xml  

​
<configuration>
    <property>
        <name>yarn.nodemanager.aux-service</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hn1</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///home/hadoop/yarn/nm</value>
    </property>
</configuration>



​

workers内容（在Hadoop2.X中是修改slaves文件）

hn2
hn3

 六、Hadoop运行环境配置

修改 ${HADOOP_HOME}/sbin目录下：start-dfs.sh、stop-dfs.sh、start-yarn.sh、stop-yarn.sh

1、在start-dfs.sh、stop-dfs.sh开头部分添加以下环境

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_NAMENODE_SECONDARYNAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

2、在start-yarn.sh、stop-yarn.sh开头部分添加以下环境 

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

七、分发Hadoop配置至其他虚拟机  

#scp ${HADOOP_HOME}/etc/hadoop/*.* root@192.168.56.101:/home/hadoop/hadoop-3.1.1/etc/hadoop/
#scp ${HADOOP_HOME}/etc/hadoop/*.* root@192.168.56.102:/home/hadoop/hadoop-3.1.1/etc/hadoop/
#scp ${HADOOP_HOME}/sbin/*.* root@192.168.56.101:/home/hadoop/hadoop-3.1.1/sbin
#scp ${HADOOP_HOME}/sbin/*.* root@192.168.56.101:/home/hadoop/hadoop-3.1.1/sbin

八、Hadoop启动及文件管理

1、文件管理

#${HADOOP_HOME}/bin/hdfs -namenode format        #启动Hadoop前必须执行语句
#${HADOOP_HOME}/bin/hdfs dfs -chmod ugo+rwx /    #给根目录授权，这里允许所有用户都可以读写执行，请根据实际设置
#${HADOOP_HOME}/bin/hdfs dfs -mkdir /user        #在根目录下创建目录文件/user
#${HADOOP_HOME}/bin/hdfs dfs -rm -f -r /user     #在根目录下删除目录文件/user
#${HADOOP_HOME}/bin/hdfs dfs -rm -f -r /user/input  #在根目录下删除目录文件/user/input
#${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/*.xml /user/input/ 上传文件

2、启动

${HADOOP_HOME}/sbin/start-all.sh

##启动jobhistory（对应上面mapred-site.xml文件中的10020、19888端口）
${HADOOP_HOME}/sbin/mr-jobhistory-daemon.sh start historyserver

3、关闭 

${HADOOP_HOME}/sbin/stop-all.sh
${HADOOP_HOME}/sbin/mr-jobhistory-daemon.sh stop historyserver

4、查看Hadoop相关进程及与服务对应的端口号

      4.1 Hadoop相关进程查看命令jps（jps是jdk提供的一个查看当前java进程的小工具），用法：

       #jps [-help]
       #jps [-q] [-mlvV] [<hostid>]

hn1中运行jps命令后显示运行有NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager进程；

hn2中运行jps命令后显示运行有DataNode、NodeManager进程；

hn2中运行jps命令后显示运行有DataNode、NodeManager进程。

      4.2 查看正在监听的端口号

        #netstat -ntlp

        -n表示不解析端口名字，-t表示tcp协议，-l表示显示所有监听的端口，-p表示显示该端口关联的程序名称，如需要了解更多参数细节，使用命令：netstat -h

九、管理页面

Windows7中，打开firefox（IE会报js方面错误）。以下是常用的Hadoop相关访问地址：

ResourceManager管理控制台访问地址：http://192.168.56.100:8088

HDFS访问地址：http://192.168.56.100:50070/

JobHistory访问地址：http://192.168.56.100:19888/

      访问HDFS时，如果要通过HDFS下载里面的文件，需要在Windows7的Host文件中加入hn1、hn2、hn3的IP地址解析内容，否则下载文件时Windows7中浏览器自动跳转至类似http://hn1:9864/webhdfs/.../..../XX文件的地址，因而出现下载文件错误。在Windows7 中C:\Windows\System32\drivers\etc\hosts文件中加入以下内容：

hn1 192.168.56.100

hn2 192.168.56.101

hn3 192.168.56.102

 

 

 

Hadoop集群环境搭建（virtualbox和centos7）
qq_41805514的博客
03-25 1303
准备 1.Cento7的安装 2.vitualbox5.23版本（w10环境） 3.java8的安装https://www.cnblogs.com/shihaiming/p/5809553.html 4.hadoop2.6.0的安装 1.1 先创建一个NameNode节点，其余DataNode节点的配...
Hadoop集群搭建(一)-创建虚拟机+安装CentOS
weixin_49001740的博客
04-29 3952
hadoop集群搭建基础准备
VMware Workstations15 创建centOS7虚拟机 安装hadoop-2.7.3及配置
qq_53203613的博客
08-26 1173
在VMware Workstations15上linux系统centOS7的hadoop-2.7.3安装及hadoop集群的部署教程
VirtualBox中搭建Hadoop 3.1.1完全分布式集群环境(一)VirtualBox虚拟机CentOS7环境安装
ltbook的专栏
01-29 1566
一、所涉及软件环境 VirtualBox安装环境：Windows7专业版 64bit，主机CPU配置：Core i7，主机内存配置：16GB VirtualBox版本：5.2.18 r124319 Linux版本：CentOS 7 二、虚拟机软件及首台虚拟机操作系统安装 1、VirtualBox安装（略） 2、新建及配置虚拟机（CentOS7） 步骤1：O...
虚拟机搭建CentOS Hadoop集群搭建（03静态ip配置以及安装jdk）
有的话没说出来之前，你是他的主人，一旦说出来你就成了他的奴隶||想要干好事，别太把自己当人，别把别人太不当人||认识这个人就是开了一扇窗户，就能看到不一样的东西，听到不一样的声音，能让你思考、觉悟，这已经够了
03-09 1140
虚拟机静态ip配置： 宿主机和客户机： windows上安装虚拟机，windows相当于宿主机，linux的虚拟机相当于客户机。 宿主机和客户机连接方式 宿主机和客户机之间通讯 客户机是否可以访问外网 涉及网卡 桥接（bridge） 可以 不可以 VMnet0 nat（默认） 不可以 可以 VMnet8 仅主机host-only 不可以 不可以 VMnet1 （1）仅主机模式host-only 这种网络连接方式的特点
基于Virtualbox虚拟机搭建hadoop集群环境
sinat_28881171的博客
05-16 7288
1.1安装centos7在centos官网下载centos7镜像文件，在Virtualbox软件中导入镜像文件进行安装，本次由于实验环境限制，只安装了三台centos7虚拟机，分别命名为hadoop1,hadoop2,hadoop3，为保证三台虚拟机能够正常通信，三台虚拟机的网络连接方式均设置为仅主机（Host-only）适配器模式，每台虚拟机分配内存为2G，存储为8G。在VrtualBox中搭建...
CentOS-7 Linux 上部署hadoop集群（3台）
yang_z_1的博客
03-31 5177
本文记载一次在虚拟机上Linux 上部署hadoop集群（3台）
Hadoop学习环境搭建
小牛的专栏
10-09 5719
Hadoop学习环境搭建Apache Hadoop3.1.1虚拟机环境搭建工具准备安装虚拟机Hadoop安装和配置配置Hadoop001、Hadoop002、Hadoop003互相访问配置Hadoop启动Hadoop合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表...
VMware创建Linux虚拟机之（三）Hadoop安装与配置及搭建集群
热门推荐
好好读书
10-10 6万+
linux虚拟机配置hadoop环境变量，下载解压hadoop-3.3.4，使用三台虚拟机，搭建hadoop集群，免密互通
hadoop+hive三节点环境搭建
J的博客
07-05 5641
以下使用虚拟机搭建Hadoop+Hive环境 虚拟机：Oracle VirtualBox 操作系统：centos7.6 JDK：1.8.0_201 MySql： 5.7.25 Hadoop：hadoop-2.8.1 Hive：apache-hive-1.2.2-bin Hadoop集群为三个节点： 主节点hadoop1 192.168.18.171 从节点hadoop2 192.168.18.17...
hadoop三种模式搭建安装-vbox-openEuler、centos
Siobhan_Mxin的博客
03-09 2554
Hadoop三种模式的安装搭建（单机模式、伪分布模式、完全分布式）
VirtualBox + CentOS7 搭建 Hadoop 伪分布式模式
吕海洋的博客
04-15 802
一、准备好 CentOS7 的ISO 文件，JDK1.8 安装文件，hadoop-2.7 安装文件 链接：https://pan.baidu.com/s/1lmA0Ai9ivPftJgC6DbpN7g 提取码：iw3g 二、安装CentOS7系统 没有截图的页面默认配置直接下一步 三、CentOS7环境准备 root 登录系统 1、安装 ifconfig 命令用于查看IP 2、将所jdk,hadoop文件传入linux系统 jdk目录：/usr/java ...
Hadoop完全分布式集群搭建
bigdodo的博客
05-29 465
实验环境虚拟机：Virtualbox系统：CentOS-6.5JDK:jdk-8u172-linux-x64.tarHadoop版本：hadoop-2.7.3上述软件均是开源，大家可以网上自行下载一、CentOS6.5安装1.打开Virtualbox，点击新建2.输入第一台机器名centos6.5-matser，类型选择linux，版本选择Red Hat(64-bit)3.设置分配内存大小，电脑8...
大数据实训项目(小麦种子)-01、VirtualBox安装与Centos7系统安装
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
06-15 1520
本期大数据实战项目功能演示及环境搭建教程（b站）前端：HTML、JS、Echarts、JSP。后端：tomcat、servlet。大数据：Hadoop（MapReduce、HDFS）、Hbase、Hive。服务选用系统：Centos7。
VirtualBox下安装CentOS以及JDK、Hadoop的安装与配置【详细】
听星的朗瑞
04-11 4760
1.先决条件 1.1 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 所以首先我们需要下载Linux的ISO安装包安装，具体安装参考我的上一篇博客： VirtualBox虚拟机以及CentOS系统的安装【详细】 1.2 jdk及hadoop安装包 可以去官网下载或者下载我上传的资源，我所用的具体版本如下图所示： 资源链接 提取码：2kd5 1.3 Xshell 7与Xftp 7工具安装 主要作用是用Xshell 7进
VirtualBox配置CentOS 7
weixin_44016035的博客
11-08 1310
本机是Windows10家庭版的，在VMware掉了很多坑。例如，一开虚拟机就物理机就蓝屏、VMware Workstation 与 Device/Credential Guard 不兼容等~为减少此部分时间，改用VirtualBox。官网下载就好了，本文使用VirtualBox-6.1.28-147628-Win.exe，CentOS-7.5-x86_64-DVD-1804.iso。 链接：提取码：p4un 下面是官网地址，版本不太一样，差不多。 VirtualBox：VirtualBox-6.1.28-
centos7搭建hadoop2.6.5环境
l_l_jh的博客
12-01 751
一、准备工具  CentOS 7 系统、 虚拟机和Xshell 6 (用起来方便) hadoop2.6.5安装包 jdk8安装包 二、系统安装（已装跳过） 本次搭建使用VirtualBox虚拟机，和VMware的一些配置有所不同； 打开VirtualBox后选择新建： 内存大小根据自己的机器和需求配置；我配置的是1024MB；点击创建后： 文件大小是虚拟机硬盘大小，文件位置...
在虚拟机CentOs7中配置hadoop2.7.5伪分布式
Allen的博客
08-24 1492
因完全分布式的集群安装hive后hive出现了点问题导致无法用hive进行select查询,导致学习进度卡住,所以我决定去搭建一个伪分布式的hadoop集群,一下就是安装过程. 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本 2.查看IP地址 3.修改主机名为hadoop 4.修改 /etc/hosts 5.关闭防火墙 6.关闭SELINUX 7.安装yum源并安装基础包 8....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值