kafka伪集群搭建

最新推荐文章于 2026-04-07 14:33:44 发布
原创 最新推荐文章于 2026-04-07 14:33:44 发布 · 4.7k 阅读 · 6
标签
#kafka #集群
本文档介绍了如何在单机环境下搭建Kafka伪集群，包括软件环境准备、配置文件修改、集群启动以及验证测试。重点讲解了配置server.properties文件中的broker.id、listeners、log.dirs和zookeeper.connect参数，并提供了启动和测试集群的步骤。

1、软件环境准备
Kafka是将状态保存在zookeeper中的，所以首先要搭建zookeeper集群。
获取kafka的压缩包 wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

2、解压软件

tar -zxvf kafka_2.11-1.1.0.tgz
mv kafka_2.11-1.1.0 kafka

下图为解压后kafka文件夹内容
这里写图片描述

3、修改配置文件

cd /mnt/kafka
ll ./config/

这里写图片描述
kafka的配置文件都放在config目录下，我们搭建集群需要修改的是server.properties

vim ./config/server.properties

需要重点注意和修改的几个配置项
这里写图片描述
集群内不同的broker.id必须为不重复的数字，否则重复的将启动失败
这里写图片描述
listeners配置kafka的host和port，如果不配置ip，kafka会使用默认的hostna

最低0.47元/天 解锁文章
阿里云单服务器kafka伪集群搭建
qq_40059536的博客
12-11 1699
下载并解压kafka （前提是安装并配置好jdk环境变量，原因是kafka依赖于zookeeper,而zookeeper使用java编写，kafka使用scala编写都需要JVM运行环境） kafka下载地址：http://kafka.apache.org/downloads zookeeper下载地址：https://zookeeper.apache.org/releases.html 注：自己是存放在/usr/local目录下 使用自带的简版zookeeper搭建zookeeper集群 （也可使用自
简单的kafka（伪）集群搭建
设xy为0的博客
01-28 654
#kafka集群搭建手册 版本 类型 日期 作者 备注 1.0 新建 20210125 邓享玉 概述 基本框架 Kafka是天然支持集群的，哪怕是一个节点实际上也是集群模式 Kafka集群依赖于Zookeeper进行协调，并且在早期的Kafka版本中很多数据都是存放在Zookeeper的 Kafka节点只要注册到同一个Zookeeper上就代表它们是同一个集群的 Kafka通过brokerId来区分集群中的不同节点 一个topic对应多个partition，part
【无标题】
03-28 358
acks=all ：只有当所有参与复制的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应。# acks=1 ： 只要集群的首领节点收到消息，生产者就会收到一个来自服务器成功响应。# 值的序列化方式（建议使用Json，这种序列化方式可以无需额外配置传输实体类）# acks=0 ： 生产者在成功写入消息之前不会等待任何来自服务器的响应。# 发生错误后，消息重发的次数，开启事务必须设置大于0。# 开启事务，必须在开启了事务的方法中发送，否则报错。# 生产者内存缓冲区的大小。# Kafka服务器。
保姆级教程 | 手把手教你搭建Kafka集群（含详细配置参数解析）
最新发布
我是网络安全兼技能大赛工程师，专注网络安全技术学习与技能大赛实战！持续分享最新的技术文章，帮你少走弯路，一起在技术赛道上进步～
04-07 970
在流式计算中，Kafka一般用来缓存数据，Storm或者spark通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 3）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为
【zookeeper&&kafka单机伪集群搭建，使用 kafka 3.2.0 自带的 3.6.3 zookeeper】
weixin_45590174的博客
06-24 722
【zookeeper&&kafka单机伪集群搭建，使用 kafka 3.2.0 自带的 3.6.3 zookeeper】
Kafka： Windows环境-单机部署和伪集群、集群部署
喜欢历史的码农
11-30 1321
initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。在windows环境中，文件路径必须是 "\" 或者 "//" ，“/” 是无法识别的。（3）创建data、logs目录，并在data目录下新建myid用于集群服务，里面内容填写当前主机id，我是三台服务器的集群，id分别为1，2，3。
Kafka 4.0 在 Windows 下的无 ZooKeeper 伪集群部署指南 (KRaft 模式)
weixin_44122294的博客
08-20 681
本文介绍了在Windows环境下搭建Kafka 4.0.0 KRaft集群的详细步骤。主要内容包括：1）环境准备，要求Windows 10/11系统、Java 17+和8GB内存；2）集群配置，包含三个节点的配置（controller和broker角色），重点说明了网络监听器、存储路径和集群参数设置；3）初始化与启动流程，包括格式化存储目录和分别启动三个节点。整个配置过程强调端口唯一性、控制器协议映射和集群ID一致性，确保KRaft模式下的高可用性。
Linux环境下搭建kafka伪集群
qq_38205346的博客
07-09 416
Linux环境下搭建kafka伪集群 准备工作 下载安装包zookeeper-3.4.12和kafka_2.11-1.1.1。 软件环境 1台linux机器 创建目录并下载安装 1.创建目录 cd /usr/local/ #进入安装目录（自己定） mkdir kafkacluster #创建项目目录 cd kafkacluster #进入kafkacluster 目录 2.解压软件 解压zookeeper和kafka安装包 将解压后目录改名为zookeeper1和kafka 配置Zookeeper伪
Kafka伪集群搭建
zhuzi121121的博客
09-29 308
Kafka伪集群搭建 1、下载kafka：https://kafka.apache.org/downloads tar -zxvf kafka_2.12-2.6.0.tgz 2、Zookeeper配置 启动Zookeeper： bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 3、kafka配置 1)、复制配置文件 cp server.properties server01.properties cp server.pro
windows搭建kafka伪集群
chenzhuoti9155的博客
03-29 412
注：本次搭建 kafka 伪集群依赖 zookeeper 集群，请先搭建好 zookeeper 集群 一、规划 kafka 伪集群端口 主机IP：127.0.0.1 消息端口：9091；9092；9093 zookeeper消息端口：2181；2182；2183 二、解压 kafka_2...
kafka 伪集群搭建及java代码实现
哎幽的成长
10-07 5924
在搭建kafka 我是花费了一些时间，其实这个并不难，只是我想使用docker 搭建遇到了一些宿主机荷容器通信问题，所以耽误了一段时间。下面我分享的是本地搭建非docker 的Kafka伪集群。主要分为以下几步。 第一步，下载zookeeper 和kafka 第二步，解压并修改配置参数 第三步，构建kafka集群 第四步，编写java代码 第一步，下载zookeeper 和kafka
Kafka伪集群环境搭建
qq_36383869的博客
12-17 551
由于笔记本资源有限，采用伪集群方式，用端口隔离搭建集群环境，踩坑颇多做此纪录！
本人亲自实践kafka集群搭建（windows环境下搭建伪集群）
weixin_43564627的博客
04-24 437
kafka集群搭建（windows环境下搭建伪集群） 一、简介 Kafka 是一个实现了分布式的、具有分区、以及复制的日志的一个服务。它通过一套独特的设计提供了消息系统中间件的功能。它是一种发布订阅功能的消息系统。 1、名词介绍 Message 消息，就是要发送的内容，一般包装成一个消息对象。 Topic 通俗来讲的话，就是放置“消息”的地方，也就是说消息投递的一个容器。假如把消息看作是信封的话，...
Linux下Kafka伪集群搭建
m0_60491538的博客
11-11 3173
Kafka伪集群搭建1. kafka单机安装启动1.1 安装配置1.2 启动1.3 生产者和消费者1.4 关闭kafka2. kafka集群启动 1. kafka单机安装启动 1.1 安装配置 官方下载网址： https://kafka.apache.org/downloads tar -xzf kafka_2.13-3.0.0.tgz #解压 mv kafka_2.13-3.0.0 kafka #修改文件名 cd kafka/config vim server.properties #修改kaf
伪数据java,kafka 伪集群搭建及java代码实现
weixin_36331580的博客
03-10 164
在搭建kafka 我是花费了一些时间，其实这个并不难，只是我想使用docker 搭建遇到了一些宿主机荷容器通信问题，所以耽误了一段时间。下面我分享的是本地搭建Kafka伪集群。主要分为以下几步。第一步，下载zookeeper 和kafka第二步，解压并修改配置参数第三步，构建kafka集群第四步，编写java代码第一步，下载zookeeper 和kafkazookeeper 的下砸和安装请参考zo...
kafka伪集群搭建常见错误
热门推荐
baiducheng的专栏
11-29 1万+
一：kafka 集群搭建常见错误 [2017-09-26 08:26:45,015] FATAL [Kafka Server 1], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.KafkaException: Failed to acqui
java kafka zookeeper_kafka + zookeeper 伪集群搭建
weixin_30224993的博客
02-23 193
一 zookeeper伪集群搭建1.创建3个zoo.cfg(zoo1.cfg,zoo2.cfg,zoo3.cfg)zoo1.cfg 设置:# 数据文件夹dataDir=/usr/local/zookeeper/data/data1# 日志文件夹dataLogDir=/usr/local/zookeeper/logs/logs1clientPort=2181server.1=192.168.94.1...
大数据_Kafka_搭建Kafka伪集群(本地集群）
迎难而上
08-17 4710
这里假设大家已经装好了Kafka的环境，并对kafka的知识有基本的了解。 下面直接讲解如何搭建一个本地的伪集群：（里面用到了zookeeper 伪集群 ） 搭建Zookeeper伪集群可以参考：http://blog.csdn.net/u010003835/article/details/52215054 集群配置： Step1 将配置文件拷贝多份 cp c
Kafka快速入门（Zookeeper伪集群 / Kafka伪集群搭建 / Kafka基本操作-topic-生产者-消费者）
ccccrj博客
09-20 624
文章目录Kafka 入门ZooKeeper伪集群配置文件启动集群Kafka伪集群配置文件启动集群Kafka基本操作Topic操作生产者 / 消费者 Kafka 入门 Kafka 是一个分布式的基于发布/订阅的消息队列，常用于： 异步处理：先将任务放入队列，返回消息，之后在慢慢处理 流量削峰（秒杀）：不用将所有的访问都到达数据库，只需要最前面的几条数据即可 解耦：降低耦合度，互不影响 两种模式： 点对点模式：生产者消费者一一对应 发布/订阅模式：一个生产者可以有多个消费者 多个Broker组成K
kafka使用笔记-基于SASL认证的kafka伪集群windows环境搭建及测试
知识就是生产力
12-15 715
继 基于SASL认证的kafka伪集群linux环境搭建及测试 之后，由于环境的问题，需要在windows平台搭建同样的一个基于sasl认证的kakfa伪集群环境。本次同样使用的是 kafka_2.10-0.10.1.0.tgz 版本的kafka，集成zookeeper。只需要对此进行配置即可，无需单独安装zookeeper。 一、准备工作 1、环境：windowsx64 sp1 2、安装包：ka...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值