03_Flink本地安装、分别解压scala和Flink、配置环境变量、启动集群、提交一个job、停止集群

本文档详细介绍了Apache Flink的本地安装步骤,包括下载Scala和Flink、配置环境变量、启动和停止集群,以及提交和监控Job的流程。通过这些步骤,读者可以快速在本地搭建并运行Flink集群,进行数据流处理任务。

1.3.Flink本地安装
1.3.1.分别解压scala和Flink
1.3.2.配置环境变量
1.3.3.启动集群
1.3.4.提交一个job
1.3.5.停止集群

1.3.Flink本地安装

如果想安装FLink,只需要安装Java8或11,可以通过执行下面的命令检查java的安装:

java -version

下载

wget https://downloads.lightbend.com/scala/2.12.12/scala-2.12.12.tgz
wget https://mirrors.bfsu.edu.cn/apache/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.12.tgz

1.3.1.分别解压scala和Flink

解压位置为:/home/admin/installed
如下:

[root@xxxx1 installed]# pwd
/home/admin/installed
[root@xxxx1 installed]# ls
flink-1.11.1  scala-2.12.12
[root@xxxx1 installed]#

1.3.2.配置环境变量

# 设置scala环境变量
export SCALA_HOME=/home/admin/installed/scala-2.12.12
export PATH=$PATH:$SCALA_HOME/bin

# 设置flink环境变量
export FLINK_HOME=/home/admin/installed/flink-1.11.1
export PATH=$PATH:$FLINK_HOME/bin

source /etc/profile

1.3.3.启动集群

$ cd $FLINK_HOME/
$ ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host.
Starting taskexecutor daemon on host.

Web UI的地址:http://ip:8081/#/job/completed

1.3.4.提交一个job

Flink的发行版本中包含一些列的例子job。你可以快速的部署一个应用到运行中的集群中

$ ./bin/flink run examples/streaming/WordCount.jar
$ tail log/flink-*-taskexecutor-*.out
  (to,1)
  (be,1)
  (or,1)
  (not,1)
  (to,2)
  (be,2)

除此之外,你可以访问Web UI的方式查看运行情况:http://ip:8081/#/overview

1.3.5.停止集群

$ ./bin/stop-cluster.sh

在Flink中主节点叫做jobManager,从节点交过TaskManager

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涂作权的博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值