WSL搭建Hadoop与Spark环境

最新推荐文章于 2024-11-17 23:55:05 发布

原创

最新推荐文章于 2024-11-17 23:55:05 发布 · 2.1k 阅读

本文详细介绍了如何在Windows Subsystem for Linux (WSL) 中安装和配置Hadoop与Spark环境。首先，文章讲解了如何安装jdk，包括下载、解压和设置环境变量。接着，对Hadoop进行了安装、配置伪分布式模式，并测试了HDFS功能。然后，配置了YARN以实现单机模式。最后，介绍了Spark的下载、解压、环境配置以及启动步骤，包括pyspark的使用。

❤❤❤

jdk安装

下载

首先在oracle官网下载jdk1.8，最好选这个版本，其他版本可能会出现问题。

版本支持信息如下：

解压

找到下载的文件进行解压：

sudo tar -zxvf  jdk-*-linux-x64.tar.gz -C  /usr/local    #解压到/usr/local目录下

改名

sudo mv jdk* jdk8

添加环境变量

sudo vim ~/.zshrc # 不是用zsh就改成.bashrc

在最后添加环境后，:x 保存退出

# jdk环境
export JAVA_HOME=/usr/local/jdk8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使之生效

source ~/.zshrc

检验

java -version

❤❤❤

Hadoop安装

下载

下载最新版的hadoop，当前为3.3.0：

镜像下载

解压

找到下载的文件进行解压：

sudo tar -zxvf  hadoop*.tar.gz -C  /usr/local    #解压到/usr/local目录下

改名

cd /usr/local
sudo mv hadoop* hadoop

添加环境变量

sudo vim ~/.zshrc # 不是用zsh就改成.bashrc

在最后添加环境后，:x 保存退出

# Hadoop环境
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_LIBRAY_PATH=/usr/local/hadoop/lib/native