Zookeeper中存储的Kafka信息

最新推荐文章于 2023-05-03 21:30:05 发布
原创 最新推荐文章于 2023-05-03 21:30:05 发布 · 7.7k 阅读 · 1
标签
#kafka #zookeeper
本文探讨了Kafka如何利用Zookeeper管理topic信息，包括Zookeeper中的节点结构，如admin、brokers、cluster、consumers、controller和config。特别是brokers节点下记录的broker.id，用于标识Kafka服务实例。此外，还详细描述了如何通过Zookeeper客户端查看topic的分区和leader信息。

前言

我们知道，kafka中创建的topic信息存储在zookeeper中，即kafka服务启动之后，其集群的topic信息被zk管理，同时zk上还记录着kafka集群中谁是leader，谁是follwer，以及维护着与kafka集群的心跳信息等

下面通过一张图zk客户端工具看看zk中管理的kafka相关的节点信息

 

  • admin，里面维护着删除的topic信息
  • brokers，维护着kafkabroker相关的节点信息，包括topic、topic中的分区信息等
  • cluster，集群元信息
  • consumers，0.9版本之前用于保存offset信息，0.9版本之后offset存储在kafka主题中
  • controller，维护着集群中leader信息
  • config，存储集群配置相关的信息

在 zookeeper
了解本专栏 订阅专栏 解锁全文 超级会员免费看
kafka集群元数据在zookeeper中的存储分布
weichuangxxb的博客
06-21 1948
我们都知道，自从 Kafka 诞生之际，就一直使用 Zookeeper 服务来进行 kafka 集群的元数据和状态管理，虽然在 KIP-500 中有提议未来将移除 Zookeeper 的依赖，使用 Raft 协议来实现新的元数据和状态管理，但在这之前，我们仍然需要对 kafka 集群的整个元数据和状态有一定理解，才能更好的维护和保障 kafka 集群。 前言 在 kafka 集群中，ZooKeeper 集群用于存放集群元数据、成员管理、Controller 选举，以及其他一些管理类任务。 存放元...
Kafka在Zookeeper中存储的信息有哪些？
健身变秃，coding变强
04-11 1万+
Kafka在Zookeeper中存储的信息有哪些？
Kafka学习之路 （五）Kafka在zookeeper中的存储
qq_36306519的博客
05-03 725
Kafka学习之路 （五）Kafka在zookeeper中的存储
【Kafka】在Kafka和ZK“分手”之前，来看看Kafka在ZK中到底保存了什么
浩瀚宇宙的一粒尘埃
12-03 1454
Kafka将broker、topic、config等元数据信息存放在zookeeper中，详细的结构如下：（基于Kafka2.1.1） ![](https://tva1.sinaimg.cn/large/0081Kckwly1glau2wrt4ej31790rl77t.jpg)
Kafka在zookeeper中存储的信息
张俊杰 的博客
03-01 1456
Kafka在zookeeper中的存储结构 1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 每个topic的信息 { "version":1, // 版本编号目前固定为数字1 "partitions":{ // partitionId编号 "1":[ //同步副本组brokerId列表 101, 103 ],
Kafka系列 - 07 Zookeeper中存储的 Kafka 信息
你今天真好看呀
11-27 1772
两种方式中，Zookeeper 存储的 kafka 信息是一样的，这里以 kafka 伪集群来看下 Zookeeper 中存储的 Kafka 信息。存放消费者相关信息 (一般为空)：0.9版本之前用于存Offset信息，0.9版本之后Offset信息存在在kafka 主题中。存储管理员接口操作的相关信息，主要为 topic 删除事件，分区迁移事件，优先副本选举，信息 (一般为临时节点)主要存储 broker 相关的信息，broker 节点以及节点上的 topic 相关信息。存储 kafka 集群信息。
浅谈ZooKeeper中Kafka相关信息的存储
LittleMagic's Blog
11-20 855
ZooKeeper是应用甚为广泛的分布式服务协调组件，它对于大数据领域的其他组件，如HDFS、YARN、HBase、Kafka等等，都扮演着基础角色。本文简单描述一下ZK如何存储与Kafka相关的信息。 在kafka.utils.ZkUtils对象的开头，预先定义了很多ZK路径，列举如下。 val AdminPath = "/admin" val BrokersPath =...
kafka在zookeeper上的节点信息和查看方式
热门推荐
lkforce
09-06 4万+
kafka在Zookeeper上的节点如下图： 该图片盗自大牛的博客http://blog.csdn.net/lizhitao/article/details/23744675 服务端开启的情况下，进入客户端的命令：{zookeeper目录}/bin/zkCli.sh 以下是几个zookeeper客户端用的命令，不只kafka，其他任何注册到zookeeper的服务都可以使用
kafka在ZK中存存储节点及作用
Awnger的博客
09-12 1223
kafka集群依赖于ZOOKEEPER，了解kafka在zookeeper中的一些存储结构，便于更好的理解kafka的工作原理，zookeeper在kafka中扮演了举足轻重的作用(0.9版本后offest不放在zk上,由kafka内部topic自己保存),kakfa的 broker,消费者等相关的信息都存在zk的节点上,zk还提供了对kafka的动态负载均衡等机制，以下是我的测试环境ZK截取目录...
大数据技术之Kafka——Kafka入门
five小点心的博客
04-20 1万+
传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特点的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform）被公司用于高性能数据管道流分析数据集成和关键任务应用。
kafka在zookeeper中一些存储结构
Kevin.yang专栏
04-08 8570
本文主要查看kafka在zookeeper中的一些存储结构，便于更好的理解kafka的工作原理，其测试环境如下：kafka 0.8.1.1 zookeeper 3.4.51 Broker node 注册当一个kafka broker启动后,会向zookeeper注册自己的节点信息，该节点为一个临时节点，当当broker断开和zookeeper的连接时，其临时节点将会被删除。其路径为: /broker
kafka zk节点
u012693823的博客
01-19 1594
前言、Zookeeper 在 Kafka 中的作用 1、Broker注册 2、Topic注册 3、生产者负载均衡 4、消费者负载均衡 5、分区 与 消费者 的关系 6、消息 消费进度Offset 记录 7、消费者注册 一、zk节点结构 二、admin 2.1preferred_replica_election 2.1.1 结构 2.1.3 描述 2.2reassign_partitions 2.2.1结构 2.2.2 描述 ...
zk下的kafka节点
weixin_30569033的博客
07-14 205
zk从某种程度上说是kafka的单点失效组件。 /brokers:里面保存了Kafk集群的所有信息，包括每台broker的注册信息，集群上所有topic的信息等。 /controller:保存了Kafka controller组件(controller负责集群的领导者选举)的注册信息，同时也负责controller的动态选举. /admin:保存管理脚本的输出结果,比如删除topi...
Kafka在Zookeeper存储结构
数据工匠记
03-17 1848
在Kafka2.8之前，Kafka强依赖zookeeper，2.8版本之后Kafka可以采用KRaft（Kafka Raft）模式，逐步去除对zookeeper的依赖（依然兼容）。在zookeeper中存储了很多kafka元数据信息, 例如 「Broker的注册信息」、「Topic的信息」 、 「运维操作临时信息 」、 「配置信息」等等其他信息。 /brokers/topics/[topic]： 存储某个topic的partitions所有分配信息 { "version": "版本编号目前固定为数字.
Kafka（四）Kafka在zookeeper中的存储
weixin_42073629的博客
10-03 370
一 Kafka在zookeeper中存储结构图 二 分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 [zk: localhost:2181(CONNECTED) 1] get /brokers/topics/firstTopic Schema: { "version": "版本编号目前固定为数字1", "partitions": {"partitionId编号": [ 同步副本组broker.
Zookeeper在Kafka中的作用
hxt的博客
09-19 2439
Kafka主要使用ZooKeeper来保存它的元数据、监控Broker和分区的存活状态，并利用ZooKeeper来进行选举 一、Kafka在ZooKeeper中保存了哪些信息？ 上图中圆角的矩形是临时节点，直角矩形是持久化节点 左侧这棵树保存的是Kafka的Broker信息，/brokers/ids/[0...N]，每个临时节点对应着一个在线的Broker，Broker启动后会创建一个临时节点，...
zookeeper 跟kafka 之间的具体存储结构
qq_35869630的博客
04-06 1752
zookeeper 跟kafka 之间的具体存储结构 ** zookeeper到底存储了kafka的什么东西？ 1、kafka依赖zookeeper对集群进行管理，zookeeper存储kafka 各个sever（broker）的信息，当kafka各个节点的信息发生改变能够及时进行通知处理。 2、kafka的topic信息是存储在zookeeper上的，zookeeper上只存储topic的配置信...
kafka原理：zookeeper中的存储结构讲解
kafka_zsxq的博客
12-06 600
在这里插入图片描述 /cluster /cluster/id 持久数据节点 集群ID 当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一个集群; 数据示例：{"versio...
Kafka：Zookeeper中存储的Kafka 信息
程序员无羡的博客
04-09 375
Kafka：Zookeeper中存储的Kafka 信息
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值