Hadoop+Hive+Zookeeper+hbase+kylin环境搭建说明

最新推荐文章于 2024-10-08 09:21:15 发布
原创 最新推荐文章于 2024-10-08 09:21:15 发布 · 534 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#hadoop #hbase #hive #kylin
本文详细介绍如何在CentOS7环境下部署Hadoop2.7.7、Hive1.2.2、Kylin2.5.0、HBase1.5.0及Zookeeper3.4.14，形成完整的大数据处理平台。部署覆盖1个Master和2个Slave节点，包括HDFS、YARN、Hive、Kylin、Zookeeper等关键组件。

     本文介绍基于CentOS7的Hadoop2.7.7集群+hive1.2.2+Tkylin2.5.0+hbase1.5.0+zookeeper3.4.14部署方法和注意事项，整体服务部署架构如下表所示：

  1. 总体环境规划

 1 个 master 主机，2 个 slave 主机，3台服务器部署结构

hostname

master232

slave233

slave229

IP

102.108.7.232 

102.108.7.233

102.108.7.229 

HDFS

NameNode

 

SecondaryNameNode

HDFS

DataNode

DataNode

DataNode

YARN

 

ResourceManager

 

YARN

NodeManager

NodeManager

NodeManager

HistoryServer

 

 

 

hive

安装

 

 

kylin

安装

 

 

zookeeper

安装

安装

安装

  1. 软件版本说明

名称

版本

说明

Hadoop

2.7.7

 

Hive

1.2.2

 

Jdk

1.8.0_11

 

kylin

apache-kylin-2.5.0-bin-hbase1x

 

hbase

1.5.0

 

zookeeper

3.4.14

 

 

 

 

部署所需的软件获取地址：

https://pan.baidu.com/s/1asDRscPlSBkEXv-lJfu_0A

提取码和文档部署操作手册请关注文末公众号，回复“kylin”获取。

 

 

 

 

 

 

 

 

基于CentOS7的Hadoop2.7.7集群部署+Hive+Zookeeper+hbase1.x+kylin2.5.0.doc
03-16
基于CentOS7的Hadoop2.7.7集群部署+Hive1.2.2+Zookeeper3.4.14集群+hbase1.x+kylin2.5.0环境搭建，以及一个简单的kylin案例介绍
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建
tiki的博客
09-14 1891
虚拟机+Zookeeper+Hadoop+Hbase+hive+kylin+nginx集群搭建，本文详细的从自身搭建时遇到的问题出发讲述了虚拟机安装、jdk安装、zookeeper、Hadoop、hbase、hive、kylin、nginx安装与配置、集群设置等方面的内容，作为学习路上的参考
【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南
热门推荐
赵延东的一亩三分地
03-15 17万+
Kylin安装学习-Hadoop+Mysql+Hive+Hbase+Kylin伪分布式安装 最近学习Kylin，肯定需要一个已经安装好的环境，Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS，YARN，MapReduce,，Hive， HBase，Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。 Kylin 可以在 Hadoop 集群...
[kylin] 部署kylin服务
weixin_33788244的博客
04-14 666
  官网： http://kylin.apache.org/ 社区： https://github.com/KylinOLAP/Kylin/issues http://apache-kylin.74782.x6.nabble.com/  源码： https://github.com/apache/kylin 博客：  Apache Kylin的快速数据立方体算法 Apache ...
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(Kylin篇)
tiki的博客
09-22 518
@TOC 八、Kylin搭建 1.安装 下载相应适配版本的安装包：官网地址 上传到新建文件目录/usr/local/kylin下，并解压： tar -zxvf apache-kylin-3.1.0-bin-hbase1x.tar.gz 2.配置环境变量 vi /etc/profile #加入以下内容 export KYLIN_HOME=/usr/local/kylin/apache-kylin-3.1.0-bin-hbase1x #path后添加 export PATH=$PATH:$KYLIN_HOME
zeppelin+kylin+hive+hbase+hadoop+sqoop解决方案之sql问题
jiangbo1984的专栏
01-15 3095
大致说下架构，hadoop的mapreduce实现基础计算，kylin实现数据统计分析，sqoop把mysql数据同步到hive中 hive和hbase服务于kylin，hive是数据仓库为kylin提供数据，hbase存放kylin生成的cube。zeppelin通过kylin提供的接口进行大数据可视化展示。 1、整个过程中mysql\hive\kylin三处用到了sql，但标准不一样这是比
Kylin实践（一）--Hadoop环境搭建
isscici06的专栏
06-11 3113
做了半年kylin，基本停留在操作Web UI的层面，当然，期间也遇到一些坑，但是大多是社区好心人帮忙解决的，尤其跟环境相关的，一出问题，很长时间都解决不了，现在项目的kylin服务已经完成并且对外提供服务了，有了一些基础，想更深入一点学习使用kylin，学习需要理论结合实践，生产环境肯定不能随便动了，那就自己动手搭一个环境吧。三台Centos7的虚拟机，内存8G，8核CUP，200G硬盘。10....
【大数据开发运维解决方案】Hadoop+Mysql+Hive+zookeeper+kafka+Hbase+Sqoop+Kylin单机伪分布式安装及官方案例详细文档
赵延东的一亩三分地
04-25 16万+
Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测试详细文档 #################################################################### 注意： 本篇文章是在本人写的Hadoop+Hive...
大数据-158 Apache Kylin 3.1.1 在 Hadoop 2.9/Hive 2.3/HBase 1.3 的最小可用部署实录（含坑位与修复）
最新发布
谢谢你的喜欢 我们一起无限进步
10-08 4299
Hadoop 2.9.2、Hive 2.3.9、HBase 1.3.1、Spark 2.4.5（without-hadoop，Scala 2.12）与三节点 ZooKeeper/YARN。核心要点：为 Kylin 补齐 core-site.xml/hdfs-site.xml/hbase-site.xml/hive-site.xml/spark-defaults.conf 软链；在 kylin.sh 中显式设置 HADOOP_HOME/HIVE_HOME/HBASE_HOME/SPARK_HOME；
Hive,Kylin与Mysql概念梳理
Megustas_JJC的博客
10-29 2995
Hive、Hbase、mysql区别 Hive与Mysql数据库比较 Kylin简介及基本思想
伪分布安装Hadoop2.8.0+Hbase1.3.1+Hive1.2.1+Kylin2.0
简单而有效
07-08 3608
测试环境：centos6.5 + jdk1.8.0_131/  1.hadoop 2.8.0安装 1）下载hadoop-2.8.0 2）解压缩到/opt/app/hadoop-2.8.0目录下 3）伪分布配置文件如下（伪分布下一定要用localhost）： vi  /opt/app/hadoop-2.8.0/etc/hadoop/core-site.xml 
Kylin3.10 Hadoop 3.0 + HBase 2.0环境使用搭建
qq_44418841的博客
08-19 1366
Kylin3.10 Hadoop 3.1 + HBase 2.0环境使用搭建Kylin3.10 Hadoop 3.0 + HBase 2.0环境使用搭建一、 Kylin的优点与缺点1.优点2.缺点二、安装与搭建1.下载kylin2.解压3.配置相关环境变量4.配置hadoop的mapred-site.xml5.启动相关工具6.最后cd到kylin目录启动kylin7.访问web页面 Kylin3.10 Hadoop 3.0 + HBase 2.0环境使用搭建 一、 Kylin的优点与缺点 1.优点 1.上
hive 与 kylin的搭建
无聊小刚的博客
12-26 7939
hive安装 前言 由于kylin现在最高支持的hive版本为1.2.1，所以只能安装此版本，不能安装hive2.0。使用hive需要事先安装好ant，具体安装过程不进行介绍，还需要一个mysql来保存hive的元数据。 编译hive 编译hive一定要保证网络通畅，编译过程中会出现个别的包无法下载，导致错误，换个时间或者调整网络环境，从新编译，就可以了 解压源码包。进行编译。
（实验七）Hadoop集群安装之安装数据仓库Hive
qq_41112933的博客
06-29 1806
安装数据仓库Hive实验目的要求实验环境软件版本实验步骤步骤一：Hive工具安装配置步骤二：开启zookeeper集群，Hadoop集群以及HBase集群步骤三：创建hive元数据数据库步骤五：Hive工具启动和验证 实验目的要求 目的： 1、数据仓库工具Hive的安装和配置 2、掌握数据仓库工具Hive的安装和配置 要求： 1、完成Hive工具的安装和配置 2、Hive工具能够正常启动运行 3、Hive控制台命令能够正常使用 4、能够正常操作数据库、表、数据 实验环境 1、一台独立PC机或虚拟机 2、每台
基于docker搭建hadoop+spark+hive+hbase集群的过程
阿啄debugIT
01-07 3176
目录 1.安装docker 1.1.安装docker 1.2.更改为公司本地镜像源，或者阿里镜像源 1.3.设置为默认启动 1.4.重启docker,测试hello-world 1.5.安装docker-compose 1.6.关闭selinux 1.7下载各种安装包 2.安装centos+jdk镜像 3.安装hadoop...
kylin 搭建和简单测试结果
后知后觉的it路
06-10 1806
  0 概念：    这里的kylin是 OLAP的范畴，是ebay上海研发团队研发的一个多维存储的产品，目的是为了   解决hbase紧依靠rowkey来快速查询的局限， 其核心是 空间换时间， 不是国产linux的kylin操作系统   1 说明：   1 使用apache原生，这里搭建成功的版本为: (kylin官网建议使用 hotonworks sandbox 而且看k...
Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)
tiki的博客
09-21 340
虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建（一、虚拟机篇）一、虚拟机安装Centos71.准备工作2.centos7安装过程3.关闭防火墙(关键)二、安装jdk1.卸载镜像自带jdk2.安装自己的jdk3.配置多机器间免密登录 一、虚拟机安装Centos7 1.准备工作 使用软件：VMware Workstation；该软件的安装一直下一步就行。 下面开始阐述镜像的安装： 可以直接去官网下载一个需要的镜像，本文操作时选择的是CentOS-7-x86_64-DVD-2003.iso
docker安装hadoop集群
aidy2008的专栏
03-08 622
docker安装hadoop集群 安装Docker [root@container ~]# yum install docker -y [root@container ~]# systemctl restart docker 装载原始Centos7镜像 [root@container ~]# cd centos [root@container centos]# ll 总用量 20...
Hadoop, MapReduce,Hive, HBase, Storm, Spark, Flink, Kylin等大数据框架的角色和关系
flywind800的博客
01-17 1万+
  各种大数据框架近几年发展得如火如荼，比如Hadoop, MapReduce,Hive, Hbase, Storm, Spark, Flink, Kylin 等，各个框架的角色是怎么样的？如何配合起来使用？本文将从时间顺序上逐个说明。 首先要介绍一下Hadoop，现在Hadoop分为3部分，分别是HDFS，Yarn和Mrv2 近几年大数据潮流的推进，是需求和技术相互促进的结果，对大数据需求...
Kylin 集群搭建
金玉良缘
04-20 1921
1.环境说明 1.1 版本选择 1.2Kylin 安装与配置 1.2.1 软件下载 下载地址：https://archive.apache.org/dist/kylin/apache-kylin-2.3.2/ 1.2.2 解压 tar -zxvf apache-kylin-2.3.2-bin-cdh57.tar.gz 1.2.3 建立软连接 ln -s apache-kylin-2.3.2-...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值