Flink支持多种安装模式。
local(本地)——单机模式,一般不使用
standalone——独立模式,Flink自带集群,开发测试环境使用
yarn——计算资源统一由Hadoop YARN管理,生产环境测试
本篇讲述搭建standalone模式
1.上传flink包并解压
[root@company-dev-flink01 home]# tar -zxvf flink-1.11.1-bin-scala_2.12.tgz
[root@company-dev-flink01 home]# ls
flink-1.11.1 flink-1.11.1-bin-scala_2.12.tgz
[root@company-dev-flink01 home]# mv flink-1.11.1 flink
2.将解压后的包scp发送到其他两台机器
[root@company-dev-flink01 home]# scp -r flink root@192.168.21.121:/home/
[root@company-dev-flink01 home]# scp -r flink root@192.168.21.122:/home/
3.配置flink,另外两台同样
[root@company-dev-flink01 flink]# vim conf/flink-conf.yaml
jobmanager.rpc.address: company-dev-flink01
#master机器名,统一
4.修改conf/slaves和conf/master文件,如若没有则创建,另外两台同样
[root@company-dev-flink01 conf]# vim slaves
[root@company-dev-flink01 conf]# cat slaves
company-dev-flink02
company-dev-flink03
[root@company-dev-flink01 conf]# cat masters
company-dev-flink01:8081
5.修改/etc/profile系统环境变量配置文件
在/etc/profile最后添加
export FLINK_HOME=/home/flink
export PATH=PATH:PATH:PATH:FLINK_HOME/bin
[root@company-dev-flink01 conf]# source /etc/profile
!
如修改失败导致命令无法使用,跟上绝对路径再次修改
例如,/bin/vi /etc/profile
6.将环境变量配置文件发送到另外两台机器
[root@company-dev-flink01 conf]# scp -r /etc/profile root@192.168.21.121:/etc/
[root@company-dev-flink01 conf]# scp -r /etc/profile root@192.168.21.122:/etc/
7.重新加载变量文件
source /etc/profile
8.启动集群,并登陆web页面查看
[root@company-dev-flink01 bin]# ./start-cluster.sh

本文详细介绍了如何在Linux环境中搭建Flink的standalone集群,包括上传并解压Flink包,通过scp同步到其他节点,配置flink-conf.yaml、slaves和masters文件,设置系统环境变量,并最终启动集群及检查web页面。

360

被折叠的 条评论
为什么被折叠?



