spark2.3+hadoop2.8.2+java1.8+scala2.11.12完全分布式搭建过程

软硬件环境

lunix机器三台及以上，window机器一台安装xshell来控制所有lunix机器

机器之间在同一个局域网，通过xshell可以互相ping通

可创建新用户并赋给管理员权限并在用户下搭建环境

直接在root用户下搭建环境

所有配置均在一台机器改配置文件，然后发送给其他机器节点

集群之间必须做免密通信

cd  /etc/profile  最终 配置文件

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_172

export HADOOP_HOME=/usr/local/hadoop-2.8.2

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib/tools.jar

export PATH=${JAVA_HOME}/bin:$PATH

export PATH=${HADOOP_HOME}/bin:$PATH

export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7

export PATH=${SPARK_HOME}/bin:$PATH

export SCALA_HOME=/usr/local/scala-2.11.12

export PATH=${SCALA_HOME}/bin:$PATH

1.1、检查一下系统中的jdk版本

java -version

检测jdk安装

rpm -qa | grep java

卸载openjdk

yum remove *openjdk*

之后再次输入rpm -qa | grep java 查看卸载情况：

安装自己的jdk

1.2修改计算机别名

vi  /etc/hosts 计算机别名

添加

192.168.1.101  master

192.168.1.102  slaves1

192.168.1.103  slaves2

给主机取别名

通过xshell  输入   vim /etc/hosts  然后点击 i 实现快捷键插入功能

#主节点

192.168.1.101 master

#从节点

192.168.1.102 slaves1

#从节点

192.168.1.103 slaves2

保存退出 先点击esc退出插入模式然后在最下方输入   ：wq     回车保存退出  刷新文件 source  /etc/hosts

1.3修改计算机从节点名

进入目录cd  /usr/local/ hadoop-2.8.2/etc/hadoop

vi  slaves

slaves1