编译Spark2.+ 、Hadoop CDH 版本

参考官方文档：http://spark.apache.org/docs/latest/building-spark.html

Spark2.2+移除了对hadoop2.5的支持！！！

一、 Spark-2.1.2 编译环境准备

1、hadoop-2.5.0-cdh5.3.6
2、安装并配置好Maven(本次编译使用apache maven 3.3.9)
3、 安装并配置JDK(本次编译使用jdk1.8)
4、 安装并配置Scala(本次使用scala-2.10.4)
下载spark源码 spark-2.1.2.tgz–>http://spark.apache.org/downloads.html
5、spark源码编译,按照官网来(编译spark要内存够大，1g根本后面会出现各种问题)

vi /etc/profile
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

二、编译过程

（1）由于本次编译的是CDH版本，在spark-2.1.0/pom.xml文件添加编译所需的cloudera软件包依赖。【注意：添加的位置】

<repository>  
  <id>cloudera-repo</id>  
  <name>Cloudera Repository