阿里开源Zeus云梯分布式作业调度平台安装教程

本文详细介绍如何从软件包下载开始,逐步完成Zeus调度系统的环境配置,包括Maven、Zeus配置、数据库连接及Hadoop环境设定。通过具体步骤指导,确保Zeus调度系统在本地环境中成功运行。

来源:https://bbs.aliyun.com/simple/t338991.html

第一步:软件包的下载
 

 


 

[HTML] 纯文本查看 复制代码

 

apache-tomcat-7.0.69.tar.gz  下载URL:
http://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.69/bin/
apache-maven-3.2.5-bin.tar.gz下载URL: 
http://mirror.bit.edu.cn/apache//maven/maven-3/3.2.5/binaries/
zeus2-master.zip下载URL:
https://github.com/michael8335/zeus2




 

 

第二步:解压和环境变量配置
 

 

1.将apache tomcat,maven软件包上传到/root/soft/apache/
 

 

zeus2 上传到/root/soft  (如果没有这两个路径可执行创建)
 

 

并进入软件包目录下解压
 

 


 

[Shell] 纯文本查看 复制代码

 

tar -zxvf apache-tomcat-7.0.69.tar.gz
tar -zxvf apache-maven-3.2.5-bin.tar.gz
unzip zeus2-master.zip




 

 

2.配置maven
 

 

vi /etc/profile 在里面新增maven的home目录,并将它的bin加入到path后面

 

 

[Shell] 纯文本查看 复制代码

 

MAVEN_HOME=/root/soft/apache/apache-maven-3.2.5
exportPATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin

cd /root/soft/apache/ 
mkdir mvn_repo 资源库存放文件夹
cd /root/soft/apache/apache-maven-3.2.5/conf

 


 

编辑settings.xml
 

 

将里面对应的localRepository 标签注释去掉,修改内容为:
 

 

 

[XML] 纯文本查看 复制代码

 

<localRepository>/root/soft/apache/mvn_repo</localRepository>




 

 

第三步:配置Zeus
 

 

1.

[Shell] 纯文本查看 复制代码

 

vi /root/soft/zeus2-master/web/src/main/filter/antx.properties




 

 


 

[XML] 纯文本查看 复制代码

 

#环境配置,用来标记环境,可以配合Environment使用
zeus.env=test-env
zeus.loggingRoot=/root/soft/zeuslog
zeus.loggingLevel=warn
#任务执行文件夹,每次任务都会在此文件夹下新建一个临时文件夹
zeus.localdata.dir=/root/soft/run_job_dir
#此处必须是hdfs路径,所有的上传附件都会存放在下面路径上
zeus.hdfsLibPath=/hdfs-upload-dir
#环境配置,如果是在一个集群中,需要配置城同一个名称
zeus.schedule.group=test-env
#Scheduler 与 Worker 通信的端口
zeus.connect.port=9887
#hadoop jobtracker地址,填写ip+port 或者domain+port
zeus.jobtracker=127.0.0.1:50030
#zk配置非必选,可以为空,此处的zk是用来通知任务的成功失败事件的
zeus.zookeeper.host=




 

 

2.拷贝antx.properties 到用户home目录下

 


 

[Shell] 纯文本查看 复制代码

 

cp antx.properties ~/




 

 

3.设置/root/soft/zeus2-master/web/pom.xml修改相应的highcharts-1.4.0.jar 路径
 

 


 

[XML] 纯文本查看 复制代码

 

<local.highcharts>/root/soft/zeus2-master/web/libs/highcharts-1.4.0.jar</local.highcharts>




 

 

4.mysql中创建zeus数据库
 

 

mysql> create database zeus;
 

 

Query OK, 1 row affected (0.00 sec)
 

 

mysql> show databases;
 

 

+--------------------+
 

 

| Database           |
 

 

+--------------------+
 

 

| information_schema |
 

 

| hive               |
 

 

| mysql              |
 

 

| test               |
 

 

| zeus               |
 

 

+--------------------+
 

 

5 rows in set (0.02 sec)
 

 

配置zeus数据库连接
 

 

/root/soft/zeus2-master/web/src/main/resources/persistence.xml
 


 


 

[XML] 纯文本查看 复制代码

 

<bean id="dataSource"class="org.apache.commons.dbcp.BasicDataSource"> <propertyname="driverClassName" value="com.mysql.jdbc.Driver"/>
   <propertyname="url" value="jdbc:mysql://master:3306/zeus2?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=utf-8&autoReconnect=true&autoReconnectForPools=true"/>
<propertyname="username" value="root"/>
<propertyname="password" value="123456"/>
<propertyname="maxActive" value="20" />
<propertyname="initialSize" value="3" />
<propertyname="maxWait" value="60000" />
<propertyname="maxIdle" value="15" />
<propertyname="minIdle" value="5" />
 <propertyname="removeAbandoned" value="true" />  <propertyname="removeAbandonedTimeout" value="180" />
   <property name="validationQuery" value="SELECT 1"/>
   <property name="testOnBorrow" value="true" />
   </bean>




 

 

5.配置hadoop home和hive home
 

 

 

[Shell] 纯文本查看 复制代码

 

HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export HADOOP_HOME  HIVE_HOME

 


 

安装dos2unix
 

 


 

[Shell] 纯文本查看 复制代码

 

yum install -y dos2unix




 

 

6.打包zeus
 

 

进入zeus根目录顺序执行以下命令
 

 


 

[Shell] 纯文本查看 复制代码

 

mvn clean:clean
mvn package -Dmaven.test.skip=true
cd deploy
mvn assembly:assembly




 



 

7.把war发布到tomcat
 

 

构建出的war包在/deploy/target/zeus.war处 复制到tomat/webapps 目录下
 

 

重启tomcat
 

 

http://192.168.1.100:8080/zeus
 

 


阿里开源Zeus云梯分布式作业调度平台安装教程-阿里分布式调度框架
 

zeus.jpg (63.44 KB, 下载次数: 3)

 


下载附件

 保存到相册
 


 

2016-5-1 21:33 上传

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值