kafka与zookeeper集群环境搭建

最新推荐文章于 2025-01-03 15:55:23 发布
原创 最新推荐文章于 2025-01-03 15:55:23 发布 · 600 阅读 · 0
标签
#kafka #zookeeper
本文详细介绍了如何搭建kafka与zookeeper的集群环境。首先，必须确保zookeeper集群正常运行，至少半数节点存活。接着，分别在三台CentOS 6主机上部署zookeeper和kafka，并关闭防火墙以确保集群间通信。在搭建过程中，提到了具体的版本信息（kafka 0.9.0.1，zookeeper 3.4.6），并给出了主机IP地址。最后，强调了启动和关闭集群的正确顺序，即先启动zookeeper，后启动kafka；先关闭kafka，后关闭zookeeper。

kafka与zookeeper集群环境搭建

kafka集群是把状态保存在zookeeper集群上，所以要创建kafka集群需要先创建zookeeper集群

zookeeper 集群的工作是超过半数正常才能对位提供服务，3台中超过两台则为超过半数，允许1台挂掉，集群可使用2*n + 1台搭建。

在搭建集群过程中需要将三台host主机的防火墙关闭，不然会导致集群主机无法访问。

service iptables stop #关闭防火墙
service iptables start #启动防火墙
service iptables restart #重启防火墙
service iptables status #查看防火墙状态

chkconfig iptables off #永久关闭防火墙
ckconfig iptables on #永久关闭后启用防火墙

版本信息

  • kafka kafka_2.11-0.9.0.1
  • zookeeper zookeeper-3.4.6
  • os centos 6

主机IP地址信息

  • host1 192.168.88.233
  • host2 192.168.88.234
  • host3 192.168.88.235

为了方便可以在三台host主机/etc/hosts 文件上添加IP信息

192.168.88.233 host1
192.168.88.234 host2
192.168.88.235 host3

zookeeper集群搭建

  • 将zookeeper安装到/opt/zookeeper下

最低0.47元/天 解锁文章
kafka+zookeeper群集
m0_71518373的博客
10-01 1871
centos7上简易部署kafka+zookeeper群集以及kafka的基础命令行操作
zookeeper，kafka，redis 集群环境搭建
夜月
11-05 2900
高并发之环境搭建 zookeeper集群 下载zookeeper 下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/ 选择相应镜像地址，然后选择zookeeper版本，已3.4.10为例 下载成功后，执行命令，完成解压缩 tar -xvf zookeeper-3.4.10.tar.gz zookeeper配置 Zookeeper推荐使用集群...
Zookeeper安装配置
qq_39297673的博客
08-17 331
1. 集群规划 在 hadoop102、hadoop103、hadoop104 上部署 Zookeeper 2. 配置服务器编号 1. 在 /opt/module/zookeeper-3.4.10/这个目录下创建 zkData mkdir -p zkData 2. 在/opt/module/zookeeper-3.4.10/zkData 目录下创建一个 myid 的文件 cd /opt/module/zookeeper-3.4.10 touch myid 3. 编辑 myid 文件 #在 myid文件
Kafka集群部署
GX_0824的博客
09-13 255
kafka集群部署
Kafka与Zookeeper版本对应关系
初心不改
08-09 7223
其中2.11表示的是Scala的版本，因为Kafka服务器端代码完全由Scala语音编写。”-“后面的1.1.1表示的kafka的版本信息。遵循一个基本原则，Kafka客户端版本和服务端版本应该保持一致，否则可能会遇到一些问题。可以根据源码包或者安装包来确认对应的zookeeper版本是哪个。支持的是3.4.10的zookeeper版本。kafka_2.11-1.1.1.jar包。依赖zookeeper版本为3.4.10~（与下文无关，仅作了解）
Kafka：集群安装（3台kafka,1台独立的zookeeper)
amadeus_liu2的博客
04-01 2169
一、准备zookeeper 1.下载Zookeeper 3.6.2 2.解压缩 3.进到zookeeper目录 4.执行 bin/zkServer.sh start 二、安装Kafka2.6集群 1.下载Kafka 2.6.2 2.解压缩. 3.进入config目录，编辑server.properties 主要需要改3个参数： broker.id=0 (第二、三台分别为1，2） log.dirs=/root/kafka-logs zookeeper.connect=139.198.xx.xx 4.返回上
zookeeper +kafka 集群环境搭建
u011196623的专栏
05-23 250
zookeeper（3.4.14） + kafka（kafka_2.11-2.3.1）集群环境搭建 zookeeper 集群搭建 tar zxvf zookeeper-3.4.14.ta...
kafka使用以及基于zookeeper集群搭建集群环境
最新发布
Java_fenxiang的博客
01-03 775
一、环境介绍zookeeper下载地址：https://zookeeper.apache.org/releases.html kafka下载地址：https://kafka.apache.org/downloads192.168.142.129 apache-zookeeper-3.8.4-bin.tar.gz ...
大数据集群环境搭建详细步骤，涉及zookeeper，hadoop，hive，hbase，kafka
yangqin@1225的博客
01-26 8501
背景 公司需要搭建一套大数据集群环境用于测试，本文记录其详细过程，方便后面参考 环境信息 一主两从，均为ubuntu18.04 主：192.168.10.203(mufengcn) 从：192.168.10.202(mufengcn)，192.168.10.200(tsroot) 注：假定括号内为ssh用户名，均为非root用户名（真实服务器，文中涉及到的用户名图文是不对应的，我只是把文案中涉及到的用户名批量替换了下~） 准备 设置主机名及配置hosts 依次设置主机名，如： sudo hostname b
kafka环境搭建2-broker集群+zookeeper集群
X-man
12-06 878
zookeeper集群搭建 kafka是通过zookeeper来管理集群。 kafka软件包内虽然包括了一个简版的zookeeper，但是感觉功能有限。在生产环境下，建议还是直接下载官方zookeeper软件。 下载 最新版的zookeeper软件 wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zooke
ZK配置文件
weixin_30339969的博客
09-29 294
The number of milliseconds of each tick, 最小时间单位，很多运行时的时间 #间隔都是使用tickTime的倍数来表示的，例如initLimit=10就是tickTime的十倍等于2W毫秒 tickTime=2000 # The number of ticks that can pass between, sending a request and gett...
Zookeeper和Kafka环境搭建总结
蛮三刀酱
03-19 3672
前言 由于项目需要涉及到zookeeper和Kafka的使用，快速做了一篇笔记，方便小伙伴们搭建环境。 zookeeper 官方定义 What is ZooKeeper? ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synch...
kafka连接zookeeper配置搭建环境、安装和启动，Windows环境下
热门推荐
Zhang Phil
02-23 1万+
kafka，分布式集群架构下，高性能的流式事件数据（主要是消息）集成、发布（生产）和订阅（分发、消费）组件（中间件）。 kafka依赖zooeeper（数据后端），这里有Windows下安装配置启动zookeeper的 文章（1）： Windows 10环境zookeeper单机伪集群部署和配置_Zhang Phil-CSDN博客Windows 10环境zookeeper单机伪集群部署和配置1，首先到zookeeper项目主页地址下载项目包，https://archive.apache.org/dist
zookeeper + kafka集群搭建详解
隐藏角落的光
09-16 1399
2.1 Kafka定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。2.2 Kafka简介。
手把手教你搭建zookeeper和kafka集群（超级详细）
zhiboqingyun的博客
08-29 5485
手把手教你搭建zookeeper和kafka集群（超级详细）
zookeeper和Kafka的环境搭建
luluz2010的博客
07-17 270
zookeeper和Kafka的环境搭建 1. 先安装zookeeper Windows环境 先将 xxx/xxx/conf 目录下的 zoo_sample.cfg 修改为 zoo.cfg 在 zookeeper 根目录下建立 data 文件夹 修改 zoo.cfg 中的 dataDir=D://JavaAll//zookeeper-3.4.14//data 在 zookeeper 根目录下建立 log 文件夹 添加 zoo.cfg 中的 dataLogDir=D://JavaAll//zookeepe
KAFKA环境搭建
chuanchenyi的博客
05-13 3012
1.kafka环境搭建： kafka是一个分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础，具有高水平扩展和高吞吐量。 （1）zookeeper环境部署： kafka是由zookeeper管理的，那么kafka的部署需要在zookeeper安装好之后进行。 安装zookeeper到指定的目录里： tar -zxvf zookeeper-3.4.8.tar.gz mv zookeep
[分布式] zookeeper集群与kafka集群
2302_76410765的博客
07-12 2454
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。
Zookeeper集群+kafka集群
zcien的博客
04-09 1897
Zookeeper集群+kafka集群
第2章 Kafka快速入门
weixin_52948205的博客
01-14 400
Kafka快速入门
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值