Kafka收不到消息(本人遇到的情况)

最新推荐文章于 2025-02-26 14:30:04 发布

原创最新推荐文章于 2025-02-26 14:30:04 发布 · 5.2k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

报错解决专栏收录该内容

2 篇文章

订阅专栏

博主在将Kafka从三节点集群切换到单节点后，遇到消费者无法接收消息的问题，报ClosedChannelException错误。通过检查发现Windows hosts文件中IP地址映射存在配置错误，修正后成功接收到消息。推测问题可能源于主机名冲突导致的识别错误。

报错如下
19/09/10 09:02:40 WARN ClientUtils$: Fetching topic metadata with correlation id 0 for topics [Set(nb6)] from broker [id:0,host:node01,port:9092] failed
java.nio.channels.ClosedChannelException
at kafka.network.BlockingChannel.send(BlockingChannel.scala:100)
at kafka.producer.SyncProducer.liftedTree1 $1 (S y n c P r o d u c e r . s c a l a : 73) a t k a f k a . p r o d u c e r . S y n c P r o d u c e r . k a f k a$ producer $S y n c P r o d u c e r$ $d o S e n d (S y n c P r o d u c e r . s c a l a : 72) a t k a f k a . p r o d u c e r . S y n c P r o d u c e r . s e n d (S y n c P r o d u c e r . s c a l a : 113) a t k a f k a . c l i e n t . C l i e n t U t i l s$ .fetchTopicMetadata(ClientUtils.scala:58)
at kafka.client.ClientUtils $. f e t c h T o p i c M e t a d a t a (C l i e n t U t i l s . s c a l a : 93) a t k a f k a . c o n s u m e r . C o n s u m e r F e t c h e r M a n a g e r$ LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66)
at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:60)
19/09/10 09:02:40 WARN ConsumerFetcherManager $LeaderFinderThread: [test_LAPTOP-BM8EAJV7-1568077329506-830e6395-leader-finder-thread], Failed to find leader for Set([nb6,0]) kafka.common.KafkaException: fetching topic metadata for topics [Set(nb6)] from broker [ArrayBuffer(id:0,host:node01,port:9092)] failed at kafka.client.ClientUtils$ .fetchTopicMetadata(ClientUtils.scala:72)
at kafka.client.ClientUtils $. f e t c h T o p i c M e t a d a t a (C l i e n t U t i l s . s c a l a : 93) a t k a f k a . c o n s u m e r . C o n s u m e r F e t c h e r M a n a g e r$ LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66)
at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:60)
Caused by: java.nio.channels.ClosedChannelException
at kafka.network.BlockingChannel.send(BlockingChannel.scala:100)
at kafka.producer.SyncProducer.liftedTree1 $1 (S y n c P r o d u c e r . s c a l a : 73) a t k a f k a . p r o d u c e r . S y n c P r o d u c e r . k a f k a$ producer $S y n c P r o d u c e r$ $d o S e n d (S y n c P r o d u c e r . s c a l a : 72) a t k a f k a . p r o d u c e r . S y n c P r o d u c e r . s e n d (S y n c P r o d u c e r . s c a l a : 113) a t k a f k a . c l i e n t . C l i e n t U t i l s$ .fetchTopicMetadata(ClientUtils.scala:58)
… 3 more

本人操作是这样的：之前我的kafka是三节点集群的，这次由于做项目需要所以就装了个单节点的kafka，然后就在信心满满的测试kafkaAPI消费者接收消息时出现了问题，就出现了以上错误。不管我是用什么版本就是收不到，那么就不废话了，直接上解决办法吧。
由于之前本人一直使用的是三节点kafka集群，所以在windows系统里的这个目录下的hosts文件我是这么配置的
文件路径
在这里插入图片描述

重点看最下面四行，这个是IP地址映射，图上的是我的四台虚拟机集群，而我的伪分布式单节点IP地址是192.168.145.130，单节点的名字也是node01，所以我就把192.168.145.131改为了192.168.145.130.然后就可以接收到消息了。就是这么神奇。
本人猜测：由于我的虚拟机主机名重复冲突，所以可能会导致无法识别主机名，导致虚拟机找不到虚拟机主机地址。