5分钟极速搭建！手把手用Playground脚本一键部署Hadoop集群，小白也能玩转大数据！（二）

使用 Playground 脚本快速部署 Hadoop 3.3.5 集群

目标：通过内部自动化工具 <font style="background-color:rgba(175, 184, 193, 0.2);">playground</font>，在多节点环境中一键完成 Hadoop 3.3.5 的分发、配置与初始化，快速构建高可用大数据基础平台。

准备工作

创建安装目录、

确保所有目标节点（211、212）上存在统一的 Playground 工作目录：

mkdir -p /opt/playground

💡 该目录将作为 <font style="color:rgba(17, 17, 51, 0.5);background-color:rgba(175, 184, 193, 0.2);">playground</font> 框架的根路径（即 <font style="color:rgba(17, 17, 51, 0.5);background-color:rgba(175, 184, 193, 0.2);">$PLAY_HOME</font>），用于存放框架脚本、配置文件及待部署的软件包。

上传 Hadoop 安装包

将官方 Hadoop 3.3.5 二进制包 hadoop-3.3.5.tar.gz 上传至管理节点的 /home/frames/ 目录。

然后，将其注册到 Playground 的软件仓库中：

安装包会放置到$PLAY_HOME/frames目录

cd /home/frames/

playground add hadoop-3.3.5.tar.gz

执行后，安装包将被自动复制到 <font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">$PLAY_HOME/frames</font> 目录下（通常为 <font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">/opt/playground/frames</font>）。

配置部署策略

编辑 frames.txt

在 <font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">$PLAY_HOME/frames.txt</font> 文件中定义 Hadoop 的部署规则（填写安装包全称，以及需要安装的节点）：

playground config hadoop

y
1
node01,node02,node03
node01

#分发配置文件
playground update config

或手动编辑：

vim /opt/playground/frames.txt

添加如下行（假设集群由 <font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">node01</font>、<font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">node02</font>、<font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">node03</font> 组成，<font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">node01</font> 为主节点）：

hadoop-3.3.5.tar.gz true node01,node02,node03 node01

字段说明：

• 第1列：安装包全名
• 第2列：是否启用部署（<font style="background-color:rgba(175, 184, 193, 0.2);">true</font>/<font style="background-color:rgba(175, 184, 193, 0.2);">false</font>）
• 第3列：目标节点列表（逗号分隔）
• 第4列：主控节点（NameNode & ResourceManager 所在节点）

分发配置文件

执行以下命令，将 <font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">frames.txt</font> 同步至所有目标节点：

playground update conf

确保各节点的部署策略一致。

替换并执行安装脚本

更新安装脚本

为兼容 Hadoop 3.x 新特性（如 WebHDFS 端口变更、YARN 配置调整等），需使用新版安装脚本。

下载并替换三台节点上的 <font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">installHadoop.sh</font> 文件：

替换三台节点的installHadoop.sh文件，更新支持hadoop3版本

installHadoop.sh

替换并执行安装脚本

✅ 该脚本已适配 Hadoop 3.3.5，包含正确的 <font style="color:rgba(17, 17, 51, 0.5);background-color:rgba(175, 184, 193, 0.2);">core-site.xml</font>、<font style="color:rgba(17, 17, 51, 0.5);background-color:rgba(175, 184, 193, 0.2);">hdfs-site.xml</font>、<font style="color:rgba(17, 17, 51, 0.5);background-color:rgba(175, 184, 193, 0.2);">yarn-site.xml</font> 和 <font style="color:rgba(17, 17, 51, 0.5);background-color:rgba(175, 184, 193, 0.2);">mapred-site.xml</font> 模板。

执行一键安装

在管理节点运行安装命令：

playground install hadoop

脚本将自动完成：

• 解压 Hadoop 至 <font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">/usr/local/hadoop</font>
• 配置环境变量（<font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">HADOOP_HOME</font>, <font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">PATH</font>）
• 设置 SSH 免密登录（若未配置）
• 分发配置文件到所有节点

安装完成后，建议重新加载环境变量：

source /etc/profile

初始化与启动 Hadoop 集群

格式化 NameNode

仅在首次部署时执行（<font style="color:rgb(17, 17, 51);background-color:rgba(175, 184, 193, 0.2);">--force</font> 可跳过确认）：

hadoop namenode -format --force

⚠️ 注意：此操作会清空 HDFS 元数据，请勿在已有数据的生产集群上执行！

启动所有服务

在主节点执行：

start-all.sh

该命令将同时启动：

• HDFS（NameNode + DataNodes）
• YARN（ResourceManager + NodeManagers）

验证 Web 管理界面

成功启动后，可通过以下地址访问 Hadoop Web UI：

• HDFS NameNode UI（端口 9870）：
  http://10.9.70.114:9870/
• YARN ResourceManager UI（端口 8088）：
  http://10.9.70.114:8088/

✅ 若页面正常打开且显示节点信息，则表示 Hadoop 集群部署成功！

🎯 总结：借助 <font style="color:rgba(17, 17, 51, 0.5);background-color:rgba(175, 184, 193, 0.2);">playground</font> 自动化部署框架，我们实现了 Hadoop 集群的标准化、快速化搭建，大幅降低人工配置错误风险、Hive 等生态组件的集成打下坚实基础。