寻找hadoop、hive、spark对应版本

hadoop 配置就不记录了，百度都有 hive就是用开源的3.1.2版本，官方默认是支持spark2.4.5的 这里的spark用的是自己编译的版本，依赖于hadoop3.1.2，并排除了hive依赖 spark-default 如下 spark.master yarnspark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop01:8020/spark-historyspark.executor.memory 1gspark.driver

1、安装环境 vmware、centos 7、jdk 1.8、scala 2.12.11、hadoop 3.1.3、spark 3.0.0（spark 版本对 jdk、scala 版本有要求，详见官方文档） 2、运行环境搭建 3、系统集群规划 4、hadoop配置 5、hadoop 测试 6、spark配置 7、spark 测试 ...

背景 ​ 公司有一套大数据解决方案平台，包括数据同步平台、大数据管理平台、数据可视平台、数据监控报警平台等。所有平台是基于apache 的 hadoop 2.6.3、hive 1.2.1、spark 2.0.2 、scala 2.11.8（其他组件暂不详述），现在需要搭建一套新的集群，决定新集群组件采用新的版本，hadoop 3.1.4 、hive 3.1.2 、spark 2.4.7、scala 2.12.13。基于以上组件的升级，数据平台项目需要做同步的升级，在升级过程中，遇到一些api改变、版本不兼容

Hadoop集群环境下解决SparkOnYarn报错问题，基于Hadoop3.1.3和Spark3.0.0的环境

前言 教程所用各版本说明 一 JDK环境配置 由于项目用的JDK17，所以单独给Hadoop配了JDK11，建议直接配置JAVA_HOME环境变量为JDK11，因为后面Spark需要用到JAVA_HOME 下载jdk-11.0.13_windows-x64_bin.zip 链接：https://www.oracle.com/in/java/technologies/javase/jdk11-archive-downloads.html 单独修改Hadoop的话，需要在Hadoop目录下的etc\hado

1、spark win10安装 （1）解压文件到无空格的安装目录，安装到的目录为D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2 （2）添加环境变量 SPARK_HOME ：D:\Enviroment\Spark\spark-3.0.0-bin-hadoop3.2 %SPARK_HOME%\bin %SPARK_HOME%\sbin （3）测试 cmd下输入spark-shell 2、Hadoop win10下安装 本安装用的是Linux下的hado

Spark3.1.3 学习

Hadoop集群安装组件版本对应关系

前提JDK 1.8Hadoop 3.1.3（伪分布式）Hadoop安装教程：在上述教程中已经配置py4jPyspark注：**【此教程版本】**Spark3.0.0对应的是Python3.8即Ubuntu自带的Python版本，所以如果你的Ubuntu版本为20，那么就下载Spark3.0.0的。

一步一步教会你如何部署 hive 3.1.3 on spark 3.0.0，文章还提供了修改好的源码包~

hive与spark兼容版本的汇总1.通过官网的查阅得到以下信息，小伙伴们就不需要再自己去官网查看啦2.官网还给出了一句话： 1.通过官网的查阅得到以下信息，小伙伴们就不需要再自己去官网查看啦 2.官网还给出了一句话： Hive on Spark is only tested with a specific version of Spark, so a given version of Hive is only guaranteed to work with a specific version of S

Hadoop主要由两部分组成，分布式存储（HDFS）和分布式计算（MapReduce）。​ Hive使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。 Spark 将大数据集合抽象成一个 RDD 对象，然后提供了 transformation(转换)、action(动作)两大类算子函数，对RDD进行处理，并得到一个新的 RDD，然后继续后续迭代计算，像 Stream 流一样依次执行，直到任务结束。内部也是采用分片处理，每个分片都会分配一个执行线程。 ​

！

用户信息实体，主要包括 用户编号,用户名,密码,姓名,性别,出生日期,证件号,民族,政治面貌,单位,入伍时间,照片,班级,排 等信息实体。1 用户( 用户编号,用户名,密码,姓名,性别,出生日期,证件号,民族,政治面貌,单位,入伍时间,照片,班级,排 )讨论信息实体，主要包括 讨论编号,疑问,说明,发布人,发布时间,状态,回答 等信息实体。系统主要用户实体,班级实体,排实体,科目实体,成绩实体,教学视频实体,教学理论实体,讨论实体，如图所示。班级信息实体，主要包括 班级编号,班级 等信息实体。