centos9 stream配置hadoop集群

原创 已于 2025-12-02 11:37:54 修改 · 804 阅读 · 24 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#hadoop #大数据 #分布式
于 2025-12-02 10:52:54 首次发布

1 虚拟机安装centos9 stream(略)

2 虚拟机配置静态ip(略)

​ 参考：https://blog.csdn.net/m0_62943934/article/details/144168667

https://blog.csdn.net/weixin_45784337/article/details/130871716

3 前置软件包安装

  1. epel-next-release安装

     `vim /etc/yum.repos.d/epel.repo`

在文件中粘贴内容如下：

`[epel]`
`name=Extra Packages for Enterprise Linux $releasever - $basearch`
`baseurl=https://mirrors.aliyun.com/epel/$releasever/Everything/$basearch`
`enabled=1`
`gpgcheck=1`
`gpgkey=https://mirrors.aliyun.com/epel/RPM-GPG-KEY-EPEL-9`

接着执行以下命令

`dnf clean all`

`dnf makecache`

` dnf install epel-release epel-next-release`

  2. 安装其它基础软件包

    `dnf install openssl-devel lrzsz chrony rsync  net-tools psmisc nc  libzstd`

启动chronyd

`systemctl start chronyd`

`systemctl enable chronyd`

查看状态

`chronyc sources -v`

  3. 修改主机名，添加主机映射

    [root@CentOS9-01 ~]# hostnamectl --static set-hostname hadoop2429
[root@CentOS9-01 ~]# vim /etc/hosts

添加内容，根据自己配置的虚拟机ip来，windows宿主机系统的hosts文件一样添加以下内容
192.168.242.9 hadoop2429
192.168.242.8 hadoop2428

192.168.242.7 hadoop2427

  4. 创建普通用户

    useradd your_user_name(如我的juno)
passwd your_user_name设置密码
reboot重启虚拟机
visudo

    在root的一行下，添加你创建的用户具有root权限
    在这里插入图片描述

  5. 在/opt目录下创建用于存放安装包和安装软件的文件夹

    mkdir /opt/module
mkdir /opt/software
修改文件夹的所有者
chown juno:juno /opt/module /opt/software

    修改后ll查看两个文件夹的拥有者和所属组为juno

    在这里插入图片描述

  6. 关闭防火墙

    [root@CentOS9-01 ~]# systemctl stop firewalld
[root@CentOS9-01 ~]# systemctl disable firewalld

  7. 关闭虚拟机

  8. 给当前虚拟机拍摄快照

    VM中右键虚拟机名称–>快照–>拍摄快照

    然后快照–>快照管理，查看选中快照

    在这里插入图片描述

  9. 克隆虚拟机

    在这里插入图片描述

    在这里插入图片描述

  10. 修改克隆虚拟机主机名和ip

    在这里插入图片描述

    在这里插入图片描述

    开启克隆的虚拟机，我的叫hadoop2428, 2427
hostnamectl --static set-hostname your_hostname#根据自己之前的host来
cd /etc/NetworkManager/system-connections
ls查看自己的网络连接名称，如：我的Profile 1.nmconnection
vim Profile 1.nmconnection打开该文件，修改其中的ip地址和网关，根据自己host文件中自己设置的来,我的需要将address1的192.168.242.9/24分别改成192.168.242.8/24和192.168.242.7/24
修改完使生效：保存退出链接文件后执行nmcli con up 你的连接名称，如我的Profile 1
ping www.baidu.com,如果能ping通则配置成功

4 hadoop安装配置

  1. 安装hadoop和jdk

    将hadoop和jdk的压缩包上传到之前创建的/opt/software文件夹（我用的xftp)

    在这里插入图片描述

    然后解压到/opt/module下

    tar -zxvf jdk-8u202-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.4.2.tar.gz -C /opt/module/

    在这里插入图片描述

    配置环境变量

    /etc/profile.d/my_env.sh
添加如下内容（自己的hadoop和jdk实际安装路径）

    在这里插入图片描述

    :wq保存退出

    java -version检查jdk是否安装成功

    hadoop version

    hadoop checknative

    在这里插入图片描述

    显示openssl组件false,但此时hadoop核心功能已安装，可使用，下面两个模块更加不紧要，如果涉及数据透明加密需要openssl，所以这里解决一下

  2. 降低openssl版本

    上图EVP_CIPHER_CTX block_size说明版本不兼容，查阅资料显示hadoop3一般用openssl1.1.1以上就行，由于centos9系统默认为openssl3,所以从github下载编译源码安装

    wget https://github.com/openssl/openssl/releases/download/OpenSSL_1_1_1w/openssl-1.1.1w.tar.gz#下载
tar -zxvf openssl-1.1.1w.tar.gz#解压
cd openssl-1.1.1w进入解压文件夹
./config --prefix=/usr/local/openssl-1.1.1w --openssldir=/usr/local/openssl-1.1.1w#配置

    在这里插入图片描述

    显示缺乏FindBin,解决：

    sudo yum/dnf install perl perl-FindBin
perl -e 'use FindBin; print "FindBin module is available\n"'
./config --prefix=/usr/local/openssl-1.1.1w --openssldir=/usr/local/openssl-1.1.1w#再次配置
make#编译
sudo make install#安装
echo 'export PATH=/usr/local/openssl-1.1.1w/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/openssl-1.1.1w/lib:$LD_LIBRARY_PATH' >> ~/.bashrc#配置环境变量
source ~/.bashrc#使生效
/usr/local/openssl-1.1.1w/bin/openssl version#验证是否安成功

    再次执行hadoop checknative报错：无法加载libcrypto.so动态链接库

    在这里插入图片描述

    ls -l /usr/local/openssl-1.1.1w/lib/#查看实际安装路径，发现有libcrypto.so动态链接库

    在这里插入图片描述

    配置动态链接库路径

    cd /etc/ld.so.conf.d#进入/etc/ld.so.conf.d文件夹
echo "/usr/local/openssl-1.1.1w/lib" | sudo tee /etc/ld.so.conf.d/openssl-1.1.1w.conf#写入配置文件
sudo ldconfig#更新动态链接库

    在这里插入图片描述

  3. 配置免密登陆（用于集群间免密共享文件）

    home目录下执行

    ssh-keygen -t rsa#生成秘钥对

    3次直接回车，不要密码

    cd .ssh
ll#查看密钥对

    在这里插入图片描述

    公钥发给需共享文件的计算机

    ssh-copy-id hadoop2429
ssh-copy-id hadoop2428
ssh-copy-id hadoop2427

    创建xsync脚本文件(基于前置安装的rsync,用于在多台服务器间同步文件或目录的便捷脚本)

    sudo vim /usr/local/bin/xsync
在文件中输入如下内容：
#!/bin/bash

# 检查参数个数
if [ $# -lt 1 ]
then
    echo "没有输入参数！"
    exit
fi

# 获取文件名称
fname=$(basename $1)
echo "文件名：$fname"

# 获取上级目录的绝对路径
pdir=$(cd -P $(dirname $1); pwd)
echo "文件路径：$pdir"

# 获取当前用户
user=$(whoami)

# 循环同步到各主机（根据你的实际主机名修改）
for host in hadoop2429 hadoop2428 hadoop2427
do
    echo "===================== $host ====================="
    rsync -rvl $pdir/$fname $user@$host:$pdir
done

    :wq保存退出。

    设置执行权限

    sudo chmod +x /usr/local/bin/xsync

    使用xsync命令同步.ssh文件夹

    xsync .ssh

    在这里插入图片描述

    至此，普通用户就可以免密共享文件到其它节点了

  4. 配置集群并快速分发到所有节点

    通常，正常的集群需要6台机器，NN(Name Node)一台，2NN(secondary namenode)一台，RM(resource manager)一台，3台DN+NM(每台作为Data Node机器上必须有一个Node Manager),当前用于学习的环境由于资源有限，只有三台虚拟机，于是NN, 2NN, RM分别与一个DN+NM装在一台虚拟机上。

    1. 将hadoop和jdk以及环境变量配置文件共享到所有虚拟机上：

      cd /opt/module#进入hadoop和jdk安装路径
xsync jdk1.8.0_202/
xsync hadoop-3.4.2
sudo xsync /etc/profile.d/my_env.sh

    2. 验证

      在这里插入图片描述

      在这里插入图片描述

      在这里插入图片描述

      回车，会发现另外两台虚拟机也执行了一样的命令，然后在同样的位置执行hadoop version.都执行无误说明所有节点已安装好hadoop必要环境。

    3. 进入hadoop文件夹修改相关配置文件

      在这里插入图片描述

      在这里插入图片描述

      core-site.xml

      <configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop2429:8020</value>
        </property>#namenode的默认地址
        <property>
                <name>hadoop.data.dir</name>
                <value>/opt/module/hadoop-3.4.2/data</value>
        </property>#数据存放路径
        <property>
                <name>hadoop.proxyuser.juno.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.juno.hosts</name>
                <value>*</value>
        </property>#后俩都是为了兼容hive的配置

</configuration>

      hdfs-site.xml

      <configuration>
	<property>
                <name>dfs.namenode.name.dir</name>
		<value>file://${hadoop.data.dir}/name</value>
	</property>
	<!--namenode在本地文件系统上永久存储命名空间和事务日志的路径-->
	<property>
                <name>dfs.datanode.data.dir</name>
                <value>file://${hadoop.data.dir}/data</value>
	</property>
	<!--datanode在本地文件系统的数据块存储路径，逗号分隔-->
	<property>
                <name>dfs.namenode.checkpoint.dir</name>
                <value>file://${hadoop.data.dir}/namesecondary</value>
	</property>
	<!--secondary namenode的数据存储路径-->
	<property>
                <name>dfs.client.datanode-restart.timeout</name>
                <value>30</value>
	</property>
	<!--hive兼容配置-->
	<property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop2427:9368</value>
	</property>
	<!--2NN的地址-->

</configuration>

      yarn-site.xml

      <configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop2428</value>
        </property>
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
        </property>
</configuration>

      mapred-site.xml

      <configuration>
	<property>
                <name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

      workers

      hadoop2429
hadoop2428
hadoop2427

    4. 在集群上分发配置好的hadoop配置文件

      xsync /opt/module/hadoop-3.4.2/etc/hadoop

    5. 集群启动

      hdfs namenode -format#格式化hdfs,第一次启动前必须
start-dfs.sh#启动集群，NN,2NN,DN启动

      在这里插入图片描述

      在Resource Manager所在机器（hadoop2428）上执行

      start-yarn.sh#RM，NN启动

      在这里插入图片描述

      回到主节点（hadoop2429)群发命令：jps

      在这里插入图片描述

      在这里插入图片描述

      在这里插入图片描述

      发现如预期hadoop2429上有NN,DN,NM;hadoop2428上RM,DN,NM;hadoop2427上2NN,DN,NM

    6. 配置历史服务器（MapReduce的已完成作业历史信息）

      更改配置文件前关闭集群
stop-dfs.sh(hadoop2429)
stop-yarn.sh(hadoop2428)
打开配置文件
sudo vim mapred-site.xml
添加内容
<property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop2429:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop2429:19888</value>
        </property>

      xsync mapred-site.xml

    7. 配置日志聚集

      sudo vim yarn-site.xml
添加内容
<property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
        <property>
                <name>yarn.log.server.url</name>
                <value>http://hadoop2429:19888/jobhistory/logs</value>
        </property>

      xsync yarn-site.xml

    8. 测试

      再次启动集群

      start-dfs.sh

      启动历史服务器

      mapred --daemon start historyserver

      查看Java进程

      jps

      在这里插入图片描述

      浏览器中输入http://192.168.242.9:9870/ (NN)的ip:端口可以打开hdfs页

      在这里插入图片描述

      http://192.168.242.8:8088/ (RM)的ip:端口打开yarn页面，需要先启动yarn才能连上

      在这里插入图片描述

    9. 配置时间同步服务

      群发命令启用并关闭服务

      sudo systemctl enable chronyd
sudo systemctl stop chronyd
systemctl status chronyd//查看

      在这里插入图片描述

      master节点(NN)

      sudo vim /etc/chrony.conf

      在这里插入图片描述

      重启时间同步服务

      sudo systemctl restart chronyd

      slave节点(hadoop2428 hadoop2427)

      在这里插入图片描述
      重启时间同步服务

highlysing
关注
GPU数据库PG_strom的安装及使用
03-23
GPU数据库PG_strom的安装及使用，包括postgresql的安装， PG_strom的安装。
CentOS7安装学之思考试系统[可运行源码]
11-20
本文详细介绍了在CentOS7环境下安装学之思开源考试系统（MySQL版）的完整步骤。内容包括环境配置（Redis、MySQL8、JDK1.8、Nginx的安装与配置）、服务器部署（数据库初始化、Java应用打包与启动）、Nginx反向代理设置以及防火墙配置。文章提供了从系统环境准备到最终浏览器测试的全流程指导，并附带了部署过程中用到的所有软件包下载链接。适用于需要在Linux服务器上部署在线考试系统的技术人员参考。
CentOS 9 stream 启用epel-release源 和搭建本地yum源—— 筑梦之路
筑梦之路
05-28 6274
# centos 9 stream 版本 dnf config-manager --set-enabled crb dnf install epel-release epel-next-release # RHEL 9.0 subscription-manager repos --enable codeready-builder-for-rhel-9-$(arch)-rpms dnf install https://dl.fedoraproject.org/pub/epel/epel-release-.
CentOS Stream 9入门学习教程，从入门到精通，CentOS Stream 9 中大数据 —语法详解与实战案例(15）
qq_45746668的博客
12-14 997
本文介绍了在CentOS Stream 9系统上部署Hadoop大数据环境的核心内容。首先概述了大数据的4V特征和Hadoop生态系统组件，重点讲解了HDFS分布式文件系统的架构和常用命令操作，以及MapReduce计算模型的WordCount经典案例实现。文章提供了详细的Java代码示例，并包含在CentOS Stream 9上配置OpenJDK 11环境的完整步骤。内容涵盖Hadoop单机/伪分布式部署所需的基础知识和技术要点，适合作为大数据入门实践指南。
Noah-MP陆面生态水文模拟与多源遥感数据同化技术应用丨熟悉模型的发展历程，常见模型及各自特点；理解Noah-MP模型的原理，掌握Noah-MP模型在单站和区域的模拟、模拟结果的输出和后续分析
CCfz566的博客
07-25 495
内容结合实际项目进行由浅入深的实战技术培训，让技术人员了解陆表过程的主要研究内容以及陆面模型在生态水文研究中的地位和作用；熟悉模型的发展历程，常见模型及各自特点；理解Noah-MP模型的原理，掌握Noah-MP模型在单站和区域的模拟、模拟结果的输出和后续分析及可视化等方法；通过实际案例教学，学员将学会构建多源遥感数据同化框架，掌握数据同化系统在区域生态水文过程中的应用技巧。希望每位学员都能通过本次培训，深刻理解陆表过程的研究内容，熟练掌握陆面模型及数据同化技术，为今后的科研工作奠定坚实的基础。
CentOS stream9部署hadoop3【001篇】
老韩的Linux云计算架构师进阶之路
07-15 1119
通过以上步骤，即可在CentOS Stream 9上成功部署Hadoop 3集群。如需更详细的多节点配置或优化，可参考Apache Hadoop官方文档（https://hadoop.apache.org/docs/stable/）。原因：NameNode格式化后，DataNode的。从Apache镜像站下载最新稳定版（例如。目录，重新格式化NameNode（原因：防火墙未关闭或端口未开放。Hadoop的配置文件位于。与NameNode不一致。Hadoop 3需要。或配置文件路径错误。
搭建Spark集群（CentOS Stream 9）
tangyi2008的专栏
02-11 4267
本文详细介绍了在CentOS Stream 9系统上搭建Spark集群的完整流程，涵盖基础环境配置、Spark安装与部署、集群模式配置以及开发环境搭建。讲解了Spark的Local模式安装，随后，介绍了如何搭建Spark Standalone集群和Spark on YARN集群。最后，配置了PySpark开发环境，包括JupyterLab的安装与使用，支持交互式编程和作业提交。所有资源可通过文末的百度网盘链接获取。本文为大数据处理和分析提供了完整的Spark集群搭建指南。
CentOS stream9部署hadoop3【002篇】
老韩的Linux云计算架构师进阶之路
07-15 841
通过以上步骤，Hadoop 3 已在 CentOS Stream 9 上成功部署为伪分布式模式。如需扩展集群，需重复配置其他节点并修改。
Hadoop3.x完全分布式集群搭建实战笔记（CentOS Stream 9）
MoonbeamFalcon67的博客
11-07 855
实际测试发现，其预置的Hadoop环境可以快速验证配置效果，省去了虚拟机创建的繁琐步骤。特别是配置文件修改后能立即看到效果，对于学习Hadoop组件协同原理很有帮助。Web终端操作体验流畅，比本地虚拟机响应更快，适合快速验证技术方案。配置静态IP时注意修改/etc/NetworkManager/system-connections下的网络配置文件。SSH免密登录采用RSA加密，公钥分发使用ssh-copy-id命令。workers文件只需写入DataNode节点主机名。
配置Hadoop集群文件详细步骤（CentOS Stream 10）
2403_87417263的博客
10-23 757
部署。
CentOS-Stream 9安装
qq_33175506的博客
02-13 1882
键，等待进入图形化安装界面。
CentOS Stream 9 安装hadoop单机伪分布式模式
小真子的博客
01-12 977
Hadoop的安装分为Standalone Operation、Pseudo-Distributed Operation、Fully-Distributed Operation，为了我们方便在本地搭建Hadoop集群和学习，我们来聊聊Hadoop的单机伪分布模式的搭建，并希望程序能在yarn上运行。
3个关键步骤解锁DPT设备潜能：从受限电子纸到开放工作平台
gitblog_00397的博客
06-05 1028
你是否拥有一台索尼DPT电子纸设备，却受限于官方系统的封闭性？🔒 无法安装第三方应用、无法深度定制界面、无法获取root权限进行系统级操作？DPT-Tools正是为解决这些痛点而生的开源工具集，它通过自动化脚本和逆向工程技术，为你的DPT设备注入全新活力。 > **核心价值主张**：DPT-Tools不是简单的破解工具，而是为技术爱好者和开发者提供的系统研究平台，让你重新定义电子纸设备的功能边
如何在centos上安装epel源
肖邦学习之路点滴
06-29 853
我们可以很容易地通过yum命令从EPEL源上获取上万个在CentOS自带源上没有的软件。EPEL提供的软件包大多基于其对应的Fedora软件包，不会与企业版Linux发行版本的软件发生冲突或替换其文件
centos7Hadoop安装配置
Jancy2265的博客
03-25 574
本文介绍centos7Hadoop配置以及一些个人发现的问题。 1、Hadoop伪分布式配置 这里推荐一篇专业文章： http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ 按照所述步骤即可完成。 注意： 我这里是伪分布式配置，中间的单机分布配置请忽略。 jdk配置因为个人安装版本以及使用终端的不同，配置参数也会不同。如果你使用的cen...
SciChart-WPF导出图片遇到VerticalSliceModifier索引越界怎么办?
最新发布
励志做最业余的专业博主，控件产品可以私我~
06-23 387
SciChart WPF 图表在正常显示时运行稳定，却可能在导出图片时出现索引越界、重复 Annotation 或事件状态异常。问题通常不只是一行导出代码，而是运行时交互状态进入了图表克隆流程。本文从生命周期和状态所有权出发，重新设计自定义 `VerticalSliceModifier`：将业务状态移出 Modifier、保证附加逻辑幂等、隔离临时交互状态，并用重复导出测试验证稳定性。
【大数据处理与分析】Hadoop再探讨：01 Hadoop的优化
Morse_Chen的博客
06-17 270
Hadoop 1.0存在抽象层次低、迭代效率差、实时性弱等问题。Hadoop 2.0通过HDFS HA/联邦和YARN框架改进核心组件，同时Pig、Oozie、Tez、Kafka等生态组件分别解决了编码繁琐、依赖管理、重复操作和数据交换等短板，使Hadoop成为完善的大数据平台。
hadoop杂记
Zhang_ing的博客
06-22 213
Flume 写入 HDFS 时，通过将 hdfs.rollInterval 设为 3600 秒、hdfs.rollSize 设为 128MB、hdfs.rollCount 设为 0，使文件在达到 128MB 或写入满 1 小时时才滚动，从而有效减少 HDFS 小文件数量，保护 NameNode 内存并提升计算性能。完整流程：日志文件是实时滚动写入的，Flume 的 TaildirSource 会实时监控这些日志文件，读取新增的日志行，经过拦截器的处理后通过KafkaChannel 写入 Kafka。
大数据内存计算引擎Spark万字入门｜从Hadoop痛点到Spark核心原理全梳理
2301_79652681的博客
06-21 371
本文系统介绍了大数据内存计算引擎Spark的核心原理与技术架构。首先从Hadoop生态的痛点切入，分析了MapReduce因磁盘IO导致的性能瓶颈，引出Spark诞生的背景。随后详细解析了Spark的四大特点（快速、易用、通用、兼容）、五大核心组件（Core、SQL、Streaming、MLlib、GraphX）以及四种运行模式（Local、Standalone、YARN、K8s）。文章重点阐述了Spark底层RDD的三大特性（不可变、分区、并行计算）和集群架构中的四大角色（Driver、Master、Wo
Hadoop学习教程，从入门到精通，Sqoop数据迁移 — 完整知识点与案例代码(10）
qq_45746668的博客
06-17 339
Apache Sqoop是一款用于在Hadoop生态（HDFS/Hive/HBase）与关系型数据库（MySQL/Oracle等）间批量迁移数据的工具。核心功能包括数据导入（RDBMS→Hadoop）和导出（Hadoop→RDBMS），基于MapReduce实现并行传输。安装需配置环境变量、JDBC驱动及Hadoop组件路径。常用命令：list-databases（查看数据库）、import（导入）、export（导出）等，支持通过--num-mappers控制并行度，--split-by指定分片列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值