CDH整合Flink1.10(小白教程)

本文详细介绍了如何从源码编译Apache Flink 1.10版本,使其能够在Cloudera CDH 6.x环境中运行,包括环境准备、安装包准备、Maven配置、编译对应版本的Flink-shaded以及Flink源码编译等关键步骤。

        Flink1.10一个划时代的版本,它标志着对 Blink[1] 的整合宣告完成。而且随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖,Flink 在增强流式 SQL 处理能力的同时也具备了成熟的批处理能力。

       众所周知,Apache Flink官网下载安装包不能支持CDH,需要编译后进行安装,参照网上很多资料,尝试了多天,终于成功,供大家参考。

一、环境准备

1、环境:Jdk 1.8、centos7.6、Maven 3.6.3和Scala-2.11

2、源码和CDH 版本:Flink 1.10.0 、 CDH 6.2.0(Hadoop 3.0.0)

注:mvn版本、CDH版本和scala版本无所谓,理论上可根据自己的版本自行更改。

二、安装包准备;

1、maven版本不要太低,我用的是maven 3.6.3:

        https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

2、不同的 Flink 版本使用的 Flink-shaded不同,1.10 版本使用 10.0:

        https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-shaded-10.0/flink-shaded-10.0-src.tgz

3、flink1.10.0tar包:

        https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.0/flink-1.10.0-src.tgz

三、安装MAVEN并修改源:已安装maven的可跳过安装步骤,但要记得修改setting.xml

1、下载maven tar包,移动到安装目录(略过)。

2、解压tar

命令:ta

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值