Kafka 面试题及详细答案100道（11-22）-- 核心机制1

最新推荐文章于 2026-08-22 23:22:59 发布
原创 最新推荐文章于 2026-08-22 23:22:59 发布 · 1.2k 阅读 · 14 GEO检测

《前后端面试题》专栏集合了前后端各个知识模块的面试题，包括html，javascript，css，vue，react，java，Openlayers，leaflet，cesium，mapboxGL，threejs，nodejs，mangoDB，SQL，Linux… 。

前后端面试题-专栏总目录

在这里插入图片描述

文章目录

  • 一、本文面试题目录
      • 11. 什么是Kafka的分区（Partition）？为什么要进行分区？
      • 12. 分区的数量对Kafka的性能有什么影响？如何确定分区数量？
      • 13. Kafka的分区副本（Replica）有什么作用？
      • 14. 什么是首领副本（Leader Replica）和追随者副本（Follower Replica）？它们的职责分别是什么？
      • 15. 简述Kafka的副本同步机制（ISR机制）。
      • 16. ISR（In-Sync Replicas）、OSR（Out-of-Sync Replicas）、AR（Assigned Replicas）的区别是什么？
      • 17. 当Leader副本故障时，Kafka如何进行故障转移？
      • 18. 什么是Kafka的消费者组（Consumer Group）？它的作用是什么？
      • 19. 消费者组内的消费者如何分配分区？有哪些分配策略？
      • 20. 消费者重平衡（Rebalance）是什么？触发重平衡的场景有哪些？
      • 21. 重平衡会带来什么问题？如何避免或减轻其影响？
      • 22. Kafka的消息是如何被持久化的？
  • 二、100道Kafka 面试题目录列表

一、本文面试题目录

11. 什么是Kafka的分区（Partition）？为什么要进行分区？

Kafka的分区（Partition） 是Topic的物理分片，是Kafka实现并行处理和水平扩展的核心机制。每个Topic可以被划分为多个Partition，每个Partition是一个有序的、不可变的消息序列，消息被追加到Partition的末尾并分配唯一的偏移量（Offset）。

进行分区的主要原因：

  1. 提高吞吐量：多个Partition可以并行处理读写操作，大幅提升系统整体吞吐量
  2. 实现负载均衡：不同Partition可以分布在不同的Broker上，均衡集群负载
  3. 支持水平扩展：通过增加Partition数量或Broker节点扩展系统容量
  4. 保证局部有序性：每个Partition内部的消息是严格有序的，满足有序性需求
  5. 方便数据管理：可以针对不同Partition设置不同的存储和清理策略

示例：创建一个包含3个分区的Topic

# 使用kafka-topics.sh创建Topic
b
标签
#kafka #分布式 #大剑师 #kafka面试题
了解本专栏 订阅专栏 解锁全文 超级会员免费看
史上最全141道大数据面试题：Redis+Linux+kafka
fdsgdsgdfw的博客
04-03 1026
数据传输的事物定义有哪三种？Kafka 判断一个节点是否还活着有那两个条件？producer 是否直接将数据发送到 broker 的 leader(主节点)？Kafa consumer 是否可以消费指定分区消息？Kafka 消息是采用 Pull 模式，还是 Push 模式？Kafka 存储在硬盘上的消息格式是什么？Kafka 高效文件存储设计特点Kafka 与传统消息系统之间有三个关键区别Kafka 创建 Topic 时如何将分区放置到不同的 Broker 中。
2024年史上最全141道大数据面试题：Redis+Linux+kafka+Hadoop，附答案，2024年最新带着问题深入学习Handler
2401_84181911的博客
05-09 573
18、有 10 个文件，每个文件 1G，每个文件的每一行存放的都是用户的 query，每个文件的 query 都可能重复。20、腾讯面试题：给 40 亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那 40 亿个数当中？25、有一千万条短信，有重复，以文本文件的形式保存，一行一条，有重复。23、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前 10 个词，给出思想，给出时间复杂度分析。27. HDFS中的块是什么？
JAVA高级面试题汇总及答案
wcy199113的博客
04-30 1710
JAVA高级面试题汇总及答案1.hashaMap原理源码2.synchronize关键字1.6之后的优化，（偏向轻量级锁，重量级锁）3.双亲委派是什么4.类加载过程中可以动态改字节码吗？5.如何定位线上问题，CPU100%6.redis线程模型，分布式锁，除了redis还有哪些可以用来分布式锁7.了解springboot吗？springboot自动装配是如何实现的？8.RPC框架用过哪些？谈一下内...
史上最全141道大数据面试题：Redis+Linux(1)，想转行当程序员的必看
m0_61549984的博客
04-06 864
18、有 10 个文件，每个文件 1G，每个文件的每一行存放的都是用户的 query，每个文件的 query 都可能重复。20、腾讯面试题：给 40 亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那 40 亿个数当中？25、有一千万条短信，有重复，以文本文件的形式保存，一行一条，有重复。23、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前 10 个词，给出思想，给出时间复杂度分析。5、LVS、Nginx、HAproxy有什么区别?
100 道大数据开发技术原理与实战面试宝典（必过答案详细解析）I
AI天才研究院
12-07 1324
在数字化浪潮席卷全球的今天，大数据开发工程师已成为企业数字化转型的核心力量。无论是互联网巨头的用户行为分析，还是金融机构的风险控制，亦或是智慧城市的数据中枢，都离不开大数据技术的支撑。然而，面对BAT等头部企业严格的面试要求，候选人不仅需要掌握扎实的理论基础，更需具备将技术落地的实战能力。本文基于历年高频面试题与企业真实场景需求，梳理100道必考题目，涵盖基础概念、框架原理、算法设计、性能优化等核心领域，助你构建完整的知识体系，从容应对面试挑战。
必看！100道Java程序员面试题(含答案)！，积累总结
CTZL123456的博客
07-10 1082
每年转战互联网行业的人很多，说白了也是冲着高薪去的，不管你是即将步入这个行业还是想转行，学习是必不可少的。作为一个Java开发，学习成了日常生活的一部分，不学习你就会被这个行业淘汰，这也是这个行业残酷的现实。如果你对Java感兴趣，想要转行改变自己，那就要趁着机遇行动起来。或许，这份限量版的Java零基础宝典能够对你有所帮助。
2024年分享互联网2024年最新Java面试题汇总整理-附详细答案解析，mysql乐观锁面试题
2301_79098686的博客
05-07 961
还有更多的Redis、MySQL、JVM、Kafka、微服务、Spring全家桶等学习笔记这里就不一一列举出来。
2020大数据面试题真题总结(附答案)
热门推荐
过往记忆大数据
11-27 1万+
版本更新时间更新内容v1.02020-07-01新建v1.12020-07-18朋友面试大数据工程师提供的关于架构及数仓方面的题目(智云健康)v1.22020-08-08朋友面试数据专家...
50道大数据面试高频题深度解析，助力大数据工程师面试通关，这些核心考点你都掌握了吗？
热爱技术与前沿创新，深耕科技领域，在科创中精进自我；探索技术乐趣，分享技术干货与成长心得，以技术为伴，热爱生活，在科创与生活中双向成长。
04-12 539
场景错误做法正确做法来源解释HDFS写入“客户端直连DataNode写数据”“客户端只与NameNode交互获取Block位置，再直连DataNode写，NameNode不传数据”回答Spark DAG“DAG就是任务流程图”“DAG是Stage的有向无环图，Stage以ShuffleDependency为边界，一个Stage内Task可Pipeline执行”描述Flink状态“状态存在内存里”
kafka基础知识
鲜衣怒马少年时，不负韶华行且知。 从第一个Hello World起，便踏上这条后端修行路。趟过分布式事务的浑水，翻过性能瓶颈的高山，方知代码如剑，需千锤百炼方显锋芒。 博客所记，皆为修行路上的顿悟与磕绊，愿与同道人共勉，稳步江湖。
08-18 259
Apache Kafka 是一个分布式、高吞吐、可持久化的消息队列（消息中间件），由 LinkedIn 于 2011 年开源，后捐献给 Apache 基金会。它最初是为了解决 LinkedIn 海量日志传输问题而设计的，如今已经成为大数据生态中事实标准的数据管道。一句话理解：Kafka 是一个「写入快、存得住、读不丢」的分布式消息系统，天生为海量数据而生。│ Kafka 在大数据生态中的位置 │数据源 Kafka 数据消费方│ 业务系统 │ ──────→ │ │ ──────→ │ 实时计算 │。
Kafka架构 消费者组
小楼一夜听春雨，深巷明朝卖杏花
08-20 97
如果还是使用的是push方式，那么很难保证每个消费者消费的速率是一样的，这样很难适应不同速率的消费者。生产者生产出来的数据会及时的推送到topic中存储，producer会像broker中发送数据，采用的是push模式。有一个主题，有三个分区，消息在进入不同的分区进行存储的时候，每个分区都有自己offset记录，来表示这条消息在分区当中的位置。kafak若干的消费者是需要放在一个分组当中的，而进行消费的时候也是以组为单位的。消费者在消费了数据之后，是要去更新消费的位置的，。
图解 Kafka Consumer 常用 API：poll、seek、pause、wakeup 到底在控制什么？
laker的博客
08-17 468
本文摘要： Apache Kafka 4.3.x版本中，KafkaConsumer的核心API可归纳为四种状态控制：Partition所有权、读取位置、故障恢复位置及本地流量管理。重点包括： 线程安全要求：除wakeup()外所有API必须由专属线程串行调用 订阅模式二选一： subscribe()实现消费者组自动协调 assign()用于手动分区分配 poll()的三重职责：组协调、数据拉取和应用交付，需注意超时配置与处理时效 位点管理三要素： position()获取待读取位置 committed()查
【Kafka学习4】六大核心 API
海兰
08-19 245
本文全面介绍了Kafka的核心API体系，包括Producer API（数据生产）、Consumer API（数据消费）、Share Consumer API（协同消费）、Streams API（流处理）、Connect API（数据管道）和Admin API（集群管理）。文章通过Mermaid流程图展示了各API与Kafka集群的交互关系，并详细阐述了各API的核心原理、典型应用场景及Maven依赖配置。Kafka的API分层设计使其既能作为简单消息队列使用，也能支撑复杂的实时计算场景，开发者可根据需求灵
Java大厂面试实录：Spring Boot、Redis、Kafka、Elasticsearch、分布式事务与云原生高并发系统
2602_95996092的博客
08-22 149
业务场景这是典型的互联网高并发场景：读多写少、热点集中、内容产生后有审核和索引需求。技术点Java 8 / 11 / 17：Java 8是长期支持版本，主流企业大量使用；Java 11带来的ZGC（实验性）、（容器内存自动感知）很实用；Java 17是LTS，Spring Boot 3强制要求。Maven：依赖管理和构建生命周期，通过pom.xml统一管理第三方库。Gradle更灵活、构建更快，但Maven更通用。Spring Boot + Spring Cloud：微服务基础框架。
Kafka 消费积压排查：Lag 飙升与分区倾斜决策树
最新发布
探索云原生与智能化驱动下的安全运维新范式。关注DevSecOps、可观测性、AIOps等前沿领域，与您共赴技术前沿。
08-22 206
消息队列积压告警经常被当成「加机器」。单个分区被热点 key 打满、消费者线程卡在下游、或误把 Offset 重置到 earliest。乱会让下游重放几天数据。本文面向中级中间件 / 应用运维，覆盖开源 Kafka 与托管 MSK 都能用的只读命令。不讲如何从零搭集群，也不重复 ISR/副本不足类故障。先--dry-run，再停消费者，最后--execute# 必须先停掉所有该 group 的消费者Lag 先看是否在线、是否倾斜、是否生产突刺。加分区救不了已经堆在热点分区上的数据。
不同的消息队列有什么区别？Kafka、RabbitMQ、RocketMQ、Pulsar、ActiveMQ 选型对比
2401_86617027的博客
08-17 901
对比项KafkaRabbitMQRocketMQPulsarActiveMQ核心定位事件流平台消息代理分布式业务消息 / 流云原生消息与流传统企业消息中间件典型模型吞吐倾向很高中高高很高中等路由灵活度相对简单很强较强较强较强顺序处理Partition 内有序Queue 场景下可维持顺序，但需考虑并发等因素支持顺序消息支持 Key_Shared 等模式处理有序需求支持传统队列顺序语义延迟消息通常需要业务设计或相关机制实现。
【 Kafka进阶5】使用 Docker 部署 Apache Kafka 集群完全指南
海兰
08-22 181
本文介绍了使用Docker容器化部署Kafka的全链路方案，从单节点快速测试到生产级多节点集群配置。主要内容包括： Docker部署优势：环境一致性、快速扩缩容、资源隔离和简化运维，并提供JVM版和GraalVM原生镜像选择。 镜像选择：官方提供JVM版（生产推荐）和GraalVM原生版（仅测试），后者启动更快但功能受限。 核心配置：详细说明KRaft模式、节点角色划分及关键环境变量，支持三种配置输入方式（环境变量优先）。 安全认证：介绍SASL（仅JVM支持）和SSL的配置方法及注意事项。 部署示例：提供
Java大厂面试实录：Spring Boot自动配置、Redis缓存、Kafka一致性、微服务容错全拷问
2602_95996092的博客
08-20 236
谢飞机的面试看似搞笑，其实暴露了很多初级程序员常见的问题：能说出技术名词，但说不清底层原理；用过框架，但没有在生产环境踩过坑。大厂真正想招的是“知其然也知其所以然”的工程师。如果你也在准备Java面试，希望这份“谢飞机面试实录”能帮你把基础打牢。回家等通知没关系，只要沉下心来把每个难题都搞懂，下一次你就能像老鸟一样，对答如流。
图解 Kafka Consumer Lag：积压增长时，怎么判断瓶颈在 Producer、Broker、Partition、Consumer 还是下游？
laker的博客
08-18 366
Kafka Consumer Lag 高并不等于 Consumer 数量不足。本文图解 Group Lag、Client Lag 与未提交窗口的区别，并从 Producer、Broker、Partition、Consumer 和下游系统逐层定位积压，给出指标、代码、配置、告警规则与排障 Runbook。
大厂Java面试：Spring Boot、JVM、Redis、Kafka与Elasticsearch在内容社区UGC场景下的实战拷问
2602_95996092的博客
08-18 198
下一位，谢飞机。”面试官王工翻看着简历，头也不抬地说。谢飞机挺直腰板走进会议室，坐下后紧张地搓了搓手：“面试官好，我叫谢飞机，Java后端开发三年经验，主要做内容社区方向的业务。王工抬眼看了他一下：“三年经验，简历上写了Spring Boot、Redis、Kafka、Elasticsearch这些。那我们直接进入正题，你们社区的核心功能是什么？我们那套系统日活大概五十万，我负责的模块是内容发布和动态流。王工点点头：“行，先从你熟悉的说起。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

还是大剑师兰特

打赏一杯可口可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值