安装伪分布式hadoop+flume+kafka+spark

该博客详细介绍了如何在CentOS 7上安装配置伪分布式Hadoop环境,包括JDK的安装、SSH配置、Hadoop的安装与配置,以及Flume、Kafka和Spark的安装和设置。还涵盖了MySQL的安装过程,并给出了各个组件的使用顺序。

1、安装一个虚拟机吧

1、无脑下一步嘿嘿

 2、下拉选择相应版本,我是 CentOS 7

3、起个名字然后选个地址安装(一般默认在C盘,我的系统被我搞坏了,所以我是随便装的)

 4、大小随意,我的意见是需求多大装多大

 5、按需分配之随便搞一下

 6、我的意见是可以照着我的抄哈哈哈,记得下一个iso印像文件 

7、然后开始安装,进入这个界面 配一下网

8、直接打开就行,可以直接在这里改主机名,很方便

9、直接安装吧,待会给root用户写个密码就差不多了。

2、安装一个新的jdk1.8(正常来说hadoop最好自己搞一个用户)

因为我懒,所以我的用户一律使用root

(1)查看当前存在的jdk版本

java -version

(2)查看jkd相关包

rpm -qa | grep java

(3)卸载现存的jdk

yum remove *openjdk*

(4)给yum换源

1、查看yum源信息

yum repolist

2、我也不知道这是为啥

cd /etc/yum.repos.d

3、备份旧的配置文件

sudo mv CentOS-Base.repo CentOS-Base.repo.bak

4、下载阿里源的文件

sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/

5、清理缓存

yum clean all

6、重新生成缓存

yum makecache

7、再次查看yum源信息

yum repolist

8、安装

yum -y update

(5)用yum安装jdk(因为个人习惯,所以我会把一些简单的命令用【】装起来

1、看看都有些啥

yum -y list java*

2、看到了就安装1.8.0的jdk

yum install -y java-1.8.0-openjdk*

一般来说要配置环境变量的,但是可能yum比较神奇,可以自动配好吧,如果发现jdk不好使可以自己配一下,进入这个文件以后按一下大写的 G 然后按一下小写 i 然后粘贴

vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/自己去hadoop-env.sh那里复制一份路径吧。。。

使用底行命令【:wq】+回车 

source /etc/profile

 3、配置一下ssh吧

3.1、查看一下自己装了吗(一般是有的)

rpm -qa|grep ssh

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一只小叶罢了

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值