wsl 配置 Hadoop(DataNode无法启动的解决方法)

本文介绍了如何在Windows Subsystem for Linux (WSL)中安装配置Hadoop,包括下载WSL、设置Ubuntu SSH服务器、配置文件传输、JDK安装、Hadoop伪分布式环境配置等步骤。特别强调了解决DataNode无法启动的问题,通过修改clusterID使NameNode和DataNode匹配。

1 WSL准备

1.1 在microsoft store 中下载wsl

1.2 Ubuntu系统准备 (SSH server)

安装

sudo apt-get install openssh-server

启动

sudo service ssh restart

配置免密登录

按照提示需要按四个回车(Enter)

ssh-keygen -t rsa 

将公钥拷贝到需要免登陆的机器上(表示将指定的文件信息authorized_keys(注:文件名必须为authorized_keys)中,无改文件会自动创建)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

使用更快捷的命令(直接将公钥拷贝到指定ip或主机中)

ssh-copy-id -i  localhost

例如,我需要免密登录到192.168.1.129,则

ssh-copy-id -i  192.168.1.129

执行

若遇到报错,可参考此文:wsl 的 ssh server 无法启动 (ssh localhost 时报错ssh: connect to host localhost port 22: Connection refused)

ssh localhost

1.3 配置win10与wsl的文件传输

在win10的资源管理器内输入\\wsl$

右键映射为网络驱动器即可在此电脑中看到

2 JDK安装配置

2.1 JDK安装

sudo apt-get install openjdk-8-jdk

2.2 配置环境变量

网上的方法大多是通过命令行实现,这里是直接通过找到对应文件 /etc/profile 进行修改实现。

这里的截图展示,对应的文件路径是已经讲WSL从C盘迁移到了D盘后的路径,迁移方法可见该文章

若仍在C盘,则路径位置一般是在 C:\Users\用户名\AppData\Local\Packages\CanonicalGroupLimited.UbuntuonWindows_79rhkp1fndgsc\LocalState\rootfs(阅读下文中的文件路径时,rootfs以后的内容完全相同)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值