Flink1.10一个划时代的版本,它标志着对 Blink[1] 的整合宣告完成。而且随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖,Flink 在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。
众所周知,Apache Flink官网下载安装包不能支持CDH,需要编译后进行安装,参照网上很多资料,尝试了多天,终于成功,供大家参考。
一、环境准备
1、环境:Jdk 1.8、centos7.6、Maven 3.6.3和Scala-2.11
2、源码和CDH 版本:Flink 1.10.0 、 CDH 6.2.0(Hadoop 3.0.0)
注:mvn版本、CDH版本和scala版本无所谓,理论上可根据自己的版本自行更改。
二、安装包准备;
1、maven版本不要太低,我用的是maven 3.6.3:
https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz
2、不同的 Flink 版本使用的 Flink-shaded不同,1.10 版本使用 10.0:
https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-shaded-10.0/flink-shaded-10.0-src.tgz
3、flink1.10.0tar包:
https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.0/flink-1.10.0-src.tgz
三、安装MAVEN并修改源:已安装maven的可跳过安装步骤,但要记得修改setting.xml
1、下载maven tar包,移动到安装目录(略过)。
2、解压tar
命令:ta

本文详细介绍了如何从源码编译Apache Flink 1.10版本,使其能够在Cloudera CDH 6.x环境中运行,包括环境准备、安装包准备、Maven配置、编译对应版本的Flink-shaded以及Flink源码编译等关键步骤。

3439

被折叠的 条评论
为什么被折叠?



