如何快速部署Apache Linkis：5分钟上手完整教程-CSDN博客

如何快速部署Apache Linkis：5分钟上手完整教程

【免费下载链接】linkis Apache Linkis是一个开源的分布式计算框架，用于连接各种计算引擎。适合需要处理大量数据的开发者。特点包括支持多种计算引擎、易于扩展和易于使用。项目地址: https://gitcode.com/gh_mirrors/lin/linkis

Apache Linkis是一个开源的分布式计算框架，用于连接各种计算引擎，适合需要处理大量数据的开发者。它支持多种计算引擎、易于扩展和易于使用，是大数据处理的理想选择。本教程将带你快速部署Apache Linkis，让你在5分钟内完成从环境准备到服务启动的全过程。

一、部署前准备

在开始部署Apache Linkis之前，需要确保你的环境满足以下要求：

硬件要求：至少2GB内存，2核CPU，10GB可用磁盘空间
软件要求：
- Kubernetes，最低版本 v1.21.0+
- Helm，最低版本 v3.0.0+
- KinD，最低版本 v0.11.0+（仅开发测试需要）

二、快速部署步骤

2.1 克隆代码仓库

首先，克隆Apache Linkis的代码仓库到本地：

git clone https://gitcode.com/gh_mirrors/lin/linkis
cd linkis

2.2 配置环境变量

编辑部署配置文件linkis-dist/deploy-config/linkis-env.sh，设置必要的环境变量：

# 设置数据库类型，默认为mysql
dbType=mysql

# 设置工作空间路径
WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis/
HDFS_USER_ROOT_PATH=hdfs:///tmp/linkis

# 设置YARN REST URL
YARN_RESTFUL_URL="http://127.0.0.1:8088"

2.3 使用Helm快速部署

Apache Linkis提供了Helm Chart，可以快速在Kubernetes集群中部署：

# 使用项目提供的脚本一键部署
./linkis-dist/helm/scripts/install-charts.sh linkis linkis-demo

# 或者使用Helm命令手动部署
helm install --create-namespace -f ./linkis-dist/helm/charts/linkis/values.yaml --namespace linkis linkis-demo ./linkis-dist/helm/charts/linkis

部署成功后，会显示类似以下的信息：

NAME: linkis-demo
LAST DEPLOYED: Wed Jul  6 23:46:30 2022
NAMESPACE: linkis
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
---
Welcome to Apache Linkis (v1.3.2)!

.___    .___ .______  .____/\ .___ .________
|   |   : __|:      \ :   /  \: __||    ___/
|   |   | : ||       ||.  ___/| : ||___    \
|   |/\ |   ||   |   ||     \ |   ||       /
|   /  \|   ||___|   ||      \|   ||__:___/
|______/|___|    |___||___\  /|___|   : v1.3.2
                           \/

Linkis builds a layer of computation middleware between upper applications and underlying engines.
Please visit https://linkis.apache.org/ for details.

Enjoy!

三、本地开发环境部署（可选）

如果你需要在本地开发和测试Apache Linkis，可以使用KinD创建本地Kubernetes集群：

# 创建KinD集群
sh ./linkis-dist/helm/scripts/create-kind-cluster.sh

# 安装MySQL
sh ./linkis-dist/helm/scripts/install-mysql.sh

# 部署Linkis
sh ./linkis-dist/helm/scripts/install-charts.sh

四、启动所有服务

部署完成后，可以使用以下命令启动Apache Linkis的所有服务：

# 进入安装目录
cd linkis-dist/package/sbin

# 启动所有服务
sh linkis-start-all.sh

启动脚本会依次启动以下服务：

mg-eureka：服务注册发现中心
mg-gateway：网关服务
ps-publicservice：公共服务
cg-linkismanager：Linkis管理服务
cg-entrance：入口服务
cg-engineconnmanager：引擎连接管理服务

启动成功后，会显示"Apache Linkis started successfully"。

五、验证部署

5.1 检查服务状态

使用以下命令检查所有服务是否正常启动：

# 检查Pod状态
kubectl get pods -n linkis

# 检查服务状态
kubectl get services -n linkis

5.2 提交测试作业

进入mg-gateway容器，使用linkis-cli提交一个测试作业：

# 进入mg-gateway容器
sh ./linkis-dist/helm/scripts/login-pod.sh mg-gateway

# 提交Shell作业
./bin/linkis-cli -engineType shell-1 -codeType shell -code "echo \"hello\" "  -submitUser hadoop -proxyUser hadoop

如果一切正常，会看到作业提交成功的信息，并输出"hello"。

六、卸载Linkis

如果需要卸载Apache Linkis，可以使用以下命令：

# 仅删除Helm Release
helm delete --namespace linkis linkis-demo

# 或者销毁整个KinD集群
kind delete cluster --name test-helm

七、相关配置文件路径

Helm部署文档：linkis-dist/helm/README_CN.md
启动脚本：linkis-dist/package/sbin/linkis-start-all.sh
环境配置文件：linkis-dist/deploy-config/linkis-env.sh

通过以上步骤，你已经成功部署了Apache Linkis。现在，你可以开始使用这个强大的分布式计算框架来连接和管理各种计算引擎，处理你的大数据任务了！

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考