flink on zeppelin

一.什么是 zeppelin

Zeppelin是一个基于Web的notebook,提供交互数据分析和可视化。后台支持接入多种数据处理引擎,如flink,spark,hive等。支持多种语言: Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。
开发者可以通过实现更多的解释器来为Zeppelin添加数据引擎。官方支持的执行引擎用一幅图可以清晰描述执行引擎的作用就是执行笔记中的与引擎相对应的代码,不同的引擎也会有不同的配置。

官方文档:

http://zeppelin.apache.org/docs/0.9.0/

二.flink on zeppelin部署

部署要求

目前官网最新的zeppelin版本是0.9版本的,只支持flink1.10-scala_2.11版本

1.下载安装包

(1)下载最新的Zeppelin (http://zeppelin.apache.org/download.html 或者到钉钉群下载最新版本 (钉钉群号:32803524)

(2)解压之后运行命令:bin/zeppelin-daemon.sh start

2.配置zeppelin

有2个地方可以配置Zeppelin,conf 文件夹下面的 zeppelin-site.xml 和 zeppelin-env.sh

这里先例举2个比较常见的需要修改的地方

  • 修改zeppelin server 的url地址

  • 需要修改 zeppelin-site.xml 中的 zeppelin.server.addr 以及 zeppelin.server.port

  • zeppelin.server.addr 的默认值是127.0.0.1,所以你只能在Zeppelin那台机器上访问Zeppelin,如果你要通过另外一台机器访问Zeppelin,那么你就需要修改为0.0.0.0 (推荐修改,社区版因为安全性的考虑,所以把默认值设成了 127.0.0.1,但这样的确对初学者来说不太方便)

  • zeppelin.server.port 的默认值是8080,如果你有其他进程占用了这个端口,那么你可以修改这个配置选择其他端口。

  • 修改zeppelin的内存大小

  • 修改zeppelin的内存有2个方面:修改zeppelin server的内存,修改interpreter进程的内存

  • 通过修改 zeppelin-env.sh里的 ZEPPELIN_MEM 来修改zeppelin server 的内存

  • 通过修改 zeppelin-env.sh里的 ZEPPELIN_

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值