Linux系统部署Hadoop大数据框架（HDFS+YARN+MapReduce）

最新推荐文章于 2026-03-31 14:57:35 发布
原创 最新推荐文章于 2026-03-31 14:57:35 发布 · 2.7k 阅读 · 43 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#hadoop #大数据 #hdfs

前置准备

首先需要安装好一台虚拟机，这里已经使用VMware 17 Pro 安装好了一台Linux虚拟机，镜像文件版本是CentOS 7.6，详细安装方法及安装包见上一篇文章。

克隆多台虚拟机

通过克隆另外复制出来两台服务器

下一页

注意这里要选择创建完整克隆

这里可以自定义虚拟机名称及存放位置，为方便起见这里给三台虚拟机分别命名为node1、node2、node3，其中node1是主节点、node2、3作为从节点

成功克隆一台虚拟机，用同样方法克隆出来另外两台虚拟机

分配内存，为后续使用需要，给主节点node1分配4g内存，两台从节点分配2g内存

虚拟机系统设置

修改主机名

修改为固定ip

在root用户下修改ens-33网卡配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改：
BOOTPROTO="static"
增加：

IPADDR="192.168.88.101"

NETMASK="255.255.255.0"

GATEWAY="192.168.88.2"

DNS1="192.168.88.2"

修改C:\Windows\System32\drivers\etc中的host文件，这里有时需要使用管理员权限才可以打开，向文件中增加：

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

同时在3台Linux的/etc/hosts文件中添加：

192.168.88.101 node1

192.168.88.102 node2

192.168.88.103 node3

设置ssh免密登录

3台机器均执行：ssh-keygen -t rsa -b 4096

3台机器均执行 ：
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

创建hadoop用户并配置免密登录

jdk环境部署

关闭防火墙

关闭安全模块SELinux

时间同步

HDFS集群部署

下载hadoop安装包

进入hadoop官网下载页面：Apache Hadoop，下载最新版

下载完成后以root用户登录node1节点，将压缩包解压至/export/server目录下并创建软连接

配置/etc/hadoop中的文件（完整路径为/export/server/hadoop/etc/hadoop）

配置workers，记录从节点主机名：

配置hadoop-env.sh文件，记录环境变量：

export JAVA_HOME=/export/server/jdk  （指明jdk环境位置在哪）
export HADOOP_HOME=/export/server/hadoop  （指明hadoop安装位置）
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  （指明hadoop配置文件目录位置）
export HADOOP_LOG_DIR=$HADOOP_HOME/logs  （指明hadoop运行日志目录位置）

配置core-site.xml文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>

配置hdfs-site.xml
<configuration>  
  <property>  
    <name>dfs.datanode.data.dir.perm</name>  
    <value>700</value>  
  </property>  
  <property>  
    <name>dfs.namenode.name.dir</name>  
    <value>/data/nn</value>  
  </property>  
  <property>  
    <name>dfs.namenode.hosts</name>  
    <value>node1,node2,node3</value>  
  </property>  

  <property>  
    <name>dfs.blocksize</name>  
    <value>268435456</value> 
  </property>  
  <property>  
    <name>dfs.namenode.handler.count</name>  
    <value>100</value>  
  </property>  
  <property>  
    <name>dfs.datanode.data.dir</name>  
    <value>/data/dn</value>  
  </property>  
</configuration>

由于配置信息中涉及到存储文件，需要提前创建
在主节点node1上：
mkdir -p /data/nn
mkdir -p /data/dn


在node2 node3上：
mkdir -p /data/dn

从node1节点分发hadoop文件夹至node2、3 节点，并在node2、3 节点创建hadoop文件夹的软连接

为3台机器配置hadoop文件夹中的bin、sbin文件夹的 环境变量

vim /etc/profile
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出后source /etc/profile 使配置文件生效

将集群启动权限授权给hadoop用户，以便后续用hadoop用户操作。

以root身份在三台节点中执行：

chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

相关配置完毕，启动前在node1节点格式化整个HDFS文件系统

su - hadoop  (使用hadoop用户执行）
hadoop namenode -format

启动~

一定要在node1 hadoop用户上启动，用root启动的话权限会归为root 再用hadoop就操作不了了
一键启动hdfs集群
start-dfs.sh
一键关闭hdfs集群
stop-dfs.sh

启动后可以用jps查看java进程，可以发现datanode namenode secondarynamenode 全部启动了

浏览器打开node1：9870，发现3个节点均live

HDFS集群部署完成~

MapReduce 和 YARN的相关配置

MapReduce的相关配置

登录node1 ，切换到hadoop用户上

在 /export/server/hadoop/etc/hadoop/mapred-env.sh  添加如下环境变量：

export JAVA_HOME=/export/server/jdk

export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000

export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

在同级mapred-site.xlm文件中添加如下配置信息

<property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
    <description>MapReduce的运行框架设置为 YARN</description>  
</property>  
<property>  
    <name>mapreduce.jobhistory.address</name>  
    <value>node1:10020</value>  
    <description>历史服务器通讯地址和端口为 node1:10020</description>  
</property>

<property>  
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>node1:19888</value>  
    <description>历史服务器web端口为node1的19888</description>  
</property>  
<property>  
    <name>mapreduce.jobhistory.intermediate-done-dir</name>  
    <value>/data/mr-history/tmp</value>  
    <description>历史信息在HDFS的记录临时路径</description>  
</property>  
<property>  
    <name>mapreduce.jobhistory.done-dir</name>  
    <value>/data/mr-history/done</value>  
    <description>历史信息在HDFS的记录路径</description>  
</property>  
<property>  
    <name>yarn.app.mapreduce.am.env</name>  
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>  
    <description>MapReduce HOME 设置为HADOOP_HOME</description>  
</property>  
<property>  
    <name>mapreduce.map.env</name>  
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>  
    <description>MapReduce HOME 设置为HADOOP_HOME</description>  
</property>  
<property>  
    <name>mapreduce.reduce.env</name>  
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>  
    <description>MapReduce HOME 设置为HADOOP_HOME</description>  
</property>

MapReduce 相关配置完成~

YARN的相关配置

在 /export/server/hadoop/etc/hadoop/yarn-env.sh  添加如下环境变量：

export JAVA_HOME=/export/server/jdk

export HADOOP_HOME=/export/server/hadoop

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_LOG_DIR=$HADOOP_HOME/logs

修改同级目录下的配置文件yarn-site.xml，添加以下配置：

<property>  
    <name>yarn.resourcemanager.hostname</name>  
    <value>node1</value>  
    <description>ResourceManager设置在node1节点</description>  
</property>  
<property>  
    <name>yarn.nodemanager.local-dirs</name>  
    <value>/data/nm-local</value>  
    <description>NodeManager中间数据本地存储路径</description>  
</property>  
<property>  
    <name>yarn.nodemanager.log-dirs</name>  
    <value>/data/nm-log</value>  
    <description>NodeManager数据日志本地存储路径</description>  
</property>  
<property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
    <description>为MapReduce程序开启Shuffle服务</description>  
</property>

<property>  
    <name>yarn.log.server.url</name>  
    <value>http://node1:19888/jobhistory/logs</value>  
    <description>历史服务器URL</description>  
</property>  
<property>  
    <name>yarn.web-proxy.address</name>  
    <value>node1:8089</value>  
    <description>代理服务器主机和端口</description>  
</property>  
<property>  
    <name>yarn.log-aggregation-enable</name>  
    <value>true</value>  
    <description>开启日志聚合</description>  
</property>  
<property>  
    <name>yarn.nodemanager.remote-app-log-dir</name>  
    <value>/tmp/logs</value>  
    <description>程序日志HDFS的存储路径</description>  
</property>  
<property>  
    <name>yarn.resourcemanager.scheduler.class</name>  
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>  
    <description>选择公平调度器</description>  
</property>

分发配置文件

配置好后需要分发四个配置文件
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:`pwd`/
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3:`pwd`/

分发完成就可以启动YARN相关进程(ResourceManager、NodeManager、ProxyServer)

一键启动：start-yarn.sh

一键停止：stop-yarn.sh

其中历史服务器需要单独启停

mapred --daemon start|stop historyserver

开启后打开http://node1:8088/可以看到yarn集群的监控页面

完结~

参考文献

黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目全套一网打尽

ashore22
关注
【详细版】Linux系统中搭建Hadoop
weixin_55928290的博客
11-01 5266
修改core-site.xml文件，分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录。进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下，修改以下配置。进入 ~/.ssh 目录下，查看生成的公匙和私匙，并将公匙写入到授权文件。Hadoop 3中不允许使用root用户来一键启动集群，需要配置启动用户。进入 ${HADOOP_HOME}/sbin/ 目录下，启动 YARN。切换/opt/tools目录下，rz上传Hadoop安装包。
从零开始在 Linux 上搭建 Hadoop 平台：一个详细的教程和必备配置文件
canshanyin的博客
05-02 5849
在本文中，我们讨论了从头开始在 Linux 上搭建 Hadoop 平台所需的步骤。我们讨论了如何选择适当的 Linux 发行版，如何安装和配置 Java 环境，以及如何下载和配置 Hadoop。此外，我们还讨论了 Hadoop 的必要配置文件的内容，并展示了如何启动 Hadoop 和测试它是否正常运行。此外，为了更详细地了解如何配置和管理 Hadoop，请参阅 Apache Hadoop 的官方文档。
linux系统搭建hadoop环境
最新发布
weixin_52067148的博客
03-31 413
本文为新手提供Linux(Ubuntu 16)下搭建Hadoop环境及HBase、Sqoop常用命令的实操指南。主要内容包括：SSH免密登录、Vi编辑器使用、静态IP配置、防火墙关闭等Linux基础操作；Java环境配置方法；Hadoop集群文件传输和端口检查；HBase表操作DDL命令；Sqoop实现MySQL到HBase的数据迁移命令。文中强调命令大小写敏感、配置保存生效等注意事项，并提供常见问题解决方案，适合初学者快速上手Hadoop生态系统的环境搭建与基础使用。
linux安装Hadoop
berbai的博客
08-23 844
合并NameNode的edit logs到fsimage文件中。一个HDFS集群只有一个Active的NN。管理文件系统的Namespace 元数据。3、不适合并发写入，文件随机修改场景。数据存储节点，保存和检索Block。辅助NN将内存中元数据信息持久化。lunix安装Hadoop步骤。一个集群可以有多个数据节点。1、不适合延时数据访问场景。HDFS最基本的存储单元。一个在同一个机架不同节点。2、不适合小文件存取场景。4、可构建在廉价的机器上。1、作用：避免数据丢失。一个在不同机架的节点。
在Linux系统中安装Hadoop(简易版)
weixin_59839473的博客
10-09 6826
Hadoop安装(简易版)，适合刚入门大数据的朋友，简单好上手，轻松安装Hadoop。
Linux系统安装Hadoop步骤详解
Xiayebuliang的博客
02-01 7164
进入目录：cd /etc/sysconfig/network-scripts/配置根据电脑内存自由处理，一般来说，虚拟机内存设为电脑内存一半。然后ping www.baidu.com。然后javac，出现下面图片。
Linux中如何安装配置Hadoop？
菲菲~萱萱
03-14 6018
1、官网下载Hadoop（此处就不细讲了，这里我用的是hadoop-2.6.1.tar.gz版本） 2、将下载下来的hadoop上传到Linux的的当前用户文件夹中 3、复制hadoop到/usr文件夹中 cp hadoop-2.6.1.tar /usr 4、在/usr中解压，（解压后得到文件夹hadoop-2.6.1），并重命名为hadoop tar -xzvf hadoop-2.6.1.tar...
Linux下hadoop相关配置
热门推荐
Vicky_Tang
06-03 1万+
文章目录Linux下hadoop相关配置Linux下做免密登录hadoop 环境变量配置core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml启动服务 Linux下hadoop相关配置 Linux下做免密登录 ssh-keygen -t rsa cd ~/.ssh cat id_rsa.pub>>authorized_keys hadoop 环境变量配置 vim /etc/profile.d/myenv.sh #hadoop exp
Linux修改hadoop配置文件及启动hadoop集群详细步骤
m0_74830349的博客
09-22 6143
pwd。
linux下hadoop eclipse配置
沉底的石头
06-07 1533
比较忙，没有时间学习这个，今天下决心要在linux上搞好，vm虚拟机集群环境已经搭建好了，并能正常启动，中间遇到过一些问题，这里就不说了。 这次配置dfs主要产生的问题主要是端口配置错误，没有和环境中的一致，搞反了，其次hadoop是看不到目录结构的，非传统目录。通过eclipse插件可以查看。 1、把eclipse-java-helios-SR2-linux-gtk.tar.gz解压到某个目
Linux环境Hadoop安装配置
爱是与世界平行
07-10 653
Linux环境Hadoop安装配置1. 准备工作(1)linux配置IP(NAT模式)(2)linux关闭防火墙(3)设置主机名(4)设置映射(5)设置免密登录2. 安装jdk(1)上传安装包:(2)解压：(3)配置环境变量：3. 分发jdk到其他节点(1)发送文件：(2)验证：4. 安装hadoop(1)上传安装包:(2)解压：(3)配置环境变量：(4)修改配置文件：(5)修改slaves文件：...
Linux搭建Hadoop集群（详细步骤）
沃和莱特的博客
10-07 3623
Hadoop集群搭建
Linux安装Hadoop及其环境配置
相互学习 共同进步
06-16 3759
使用的是Hadoop的伪分布式，因此需要配置的文件如下：hadoop-env.sh、core-site.xml、mapred-site.xml、hdfs-site.xml、yarn-site.xml。指定datanode从节点（根目录/etc/hadoop/slaves文件，每个节点配置信息占一行）指定DataNode从节点（修改etc/hadoop/slaves文件，每个节点配置信息占一行）指定ResourceManager老大节点所在计算机节点（修改yarn-site.xml），即可查看相关信息。
Linux实战——Hadoop安装部署
qq_41954181的博客
04-06 1465
1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。三类组件Hadoop HDFS：提供分布式海量数据存储能力Hadoop YARN：提供分布式集群资源管理能力Hadoop MapReduce：提供分布式海量数据计算能力。
手把手教你在linux中部署hadoop以及hadoop功能介绍
wszhm123的博客
08-22 5931
我们在学大数据的时候hadoop是躲避不开的地方，所以如何在linux中部署hadoop，下面就是手把手教你如何部署hadoop。你只要复制粘体，然后按enter键就可以了。准备：安装Linux版本的服务器。
Linux安装hadoop
weixin_44153121的博客
12-25 730
前提hadoop2.8.5 wget下载hadoop，或如果是虚拟机，也可以使用sftp从windows上传hadoop文件 wget -P /home/cent/Downloads https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz sftp从windows上传had...
如何在linux中部署hadoop
weixin_55806571的博客
04-13 1509
由于 Hadoop 的运行依赖于 JDK，所以这里以 JDK 1.8 为例。
在Linux虚拟机下安装Hadoop的保姆级教程
Veture的博客
05-09 1923
手把手教你在Linux虚拟机下安装Hadoop 因为Hadoop后续需要使用jdk，所以我们需要先把它下载下来。 下载jdk 下载地址：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 进入后选择适合自己的版本，我选择的是jdk-8u291-linux-x64.tar.gz 下载好之后，把它解压并放到你选择的文件下。因为我用的是Parallel Desktop, 所以我存放在/home/para
Linux安装Hadoop的详细过程
weixin_63522596的博客
03-18 1462
Linux安装Hadoop的详细过程；Hadoop的下载与解压缩；修改Hadoop配置文件;退出vim界面的命令；集群启动命令;关闭集群。
从 Linux 安装到 Hadoop 环境搭建全过程
奇妙的代码
07-01 9967
从 Linux 的最小化安装到 Hadoop 环境的搭建，尽可能详尽介绍每个步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值