pyspark充当Kafka消费者时报错ClassNotFoundException：org.apache.kafka.common.serialization.ByteArraySerializer

原创 已于 2024-11-18 13:14:58 修改 · 409 阅读 · 4 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#kafka #pyspark #spark
于 2024-11-14 19:21:31 首次发布

文章目录

1、情景重现

pyspark充当Kafka消费者时报错，报错信息如下：
在这里插入图片描述

Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.ByteArraySerializer
	at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
	... 21 more

2、报错原因

缺少 kafka-clients.jar 包

3、解决方案

下载kafka-clients.jar包：kafka-clients.jar包下载

将jar包放到pyspark的jars目录下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

【Flink】 java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer
一杯咖啡半杯糖的博客
12-13 3069
自研flinsql提交平台，在服务器上新安装了一个flink客户端，准备提交flinksql到yarn，执行测试的时候报错 /data/flink/flink-1.13.3/bin/flink run -p 1 -ynm flink@547116966402719744 -yd -m yarn-cluster -yqu root.default -c com.huize.beidou.realtime.streaming.core.JobApplication /home/it/beidou_
Flink1.13sql提交任务报错ClassNotFoundException:org.apache.kafka.common.serialization.ByteArrayDeserializer
打工日常
12-19 1791
详情请见： 【腾讯文档】Flink1.13.3 sql-client提交kafka任务报错：java.lang.ClassNotFoundException org.apache.kafka.common.serialization.ByteArrayDeserializer https://docs.qq.com/doc/DRmNnbVhwTVNhd25N
Flink读取kafka scala 和 java的小坑
qq_31866793的博客
08-13 3477
报错就是找不到kafka的类 Caused by: java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.ConsumerRecord Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.ByteArrayDeserializer 先贴代码： 在读取kafka多个topic的时候自定义输出类：...
ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Serializer
青冬的博客
06-06 2386
ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Serializer 背景 在Flink使用Kafka进行Source 或者Sink的时候需要进行KeyValue的序列化和反序列化操作。现在应该没有人用Kafka 0.XX版本的了吧，估计都是1.X 或者2.X版本。 在这两个版本中，可以直接使用更新的Flink-Kafka-connection 包，具体使用可以参照官网。 报错类型 消费和生产弄
Caused by: java.lang.ClassNotFoundException常见异常解决方法
关注我看更多东西
05-19 9万+
常见的Caused by: java.lang.ClassNotFoundException异常原因
打包运行报错java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer
weixin_44121200的博客
03-20 7201
(小白记录在大数据路途遇到的问题) 程序打包运行中kafka反序列化问题java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer 我遇到这个问题快愁坏了，因为是报的kafka的反序列化问题，顺着提示的jar包位置，看了kafka-client的jar包没问题，版本也是没...
Caused by: java.lang.ClassNotFoundException常见异常解决方法！
热门推荐
随风
03-23 15万+
常见的Caused by: java.lang.ClassNotFoundException异常原因：ClassNotFoundException属于checkException（检查异常），一般在项目启动的时候出现。出现该问题原因归纳为：1. 没有正确的导入jar导致。2. 项目中引用了多个版本的jar，导致版本冲突，由于版本的升级，可能所使用的方法已经被废弃。3. 由于系统中加载web.xml...
Kafka streams报错：Caused by: java.lang.ClassNotFoundException
海若_matrix的博客
07-06 1695
1.场景 在实时流处理工程里，既有spark代码，又有kafka代码，二者之间的依赖，依赖的依赖，把idea搞蒙了。 依赖也正确写了，就是找不到类，清除缓存反复加载，也解决不了。 Caused by: java.lang.ClassNotFoundException。。。。 2.代码如下 import com.tk.dwd.etltools.DateJudge; import org.apache.kafka.streams.KafkaStreams; import org.apache.kafka..
flink on yarn常见问题及解决方法汇总
fengjian的博客
10-26 5521
持续更新flink on yarn在实际使用中的问题和解决方式，与君共勉
springboot集成kafka消费者序列化问题报错*is not an instance of org.apache.kafka.common.serialization.Deserializer
zzhongcy的专栏
01-18 2625
kafka
求教大神解答 SparkStreaming链接kafka时候序列化报错
weixin_39321548的博客
09-26 614
Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.StringDeserializer 查询了很多文章也依旧没有找到答案 以下附上我的测试代码： import org.apache.kafka.common.serialization.StringDese...
kafka自定义消息序列化和反序列化方式
shirukai
08-28 3万+
kafka自定义消息序列化和反序列化方式 版本说明： kafka版本：kafka_2.12-2.0.0.tgz pom依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</
classnotfoundexception org.apache.kafka.common.serialization.ByteArrayDeserializer
东城庞太师
01-12 1888
少包~ kafka-clients-2.2.1.jar 放到flink的lib下面，集群都要放。
Flink连接Hbase时的kafka报错：java.lang.NoClassDefFoundError: org/apache/kafka/common/utils/ThreadUtils
qq_31412425的博客
07-23 2125
书接上文 【Flink实时数仓】需求一：用户属性维表处理-Flink CDC 连接 MySQL 至 Hbase 实验及报错分析http://t.csdn.cn/bk96r我隔了一天跑Hbase中的数据，发现kafka报错，但是kafka在这个代码段中并没有使用，原因就是我在今天的其他项目中添加的kafka依赖导致了冲突。
自动注入报错
weixin_40904124的博客
04-27 1020
org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'com.baizhi.service.TestUserService': Unsatisfied dependency expressed through field 'userService'; nest...
都在用Kafka ! 消息队列序列化怎么处理？
码农架构
01-25 1429
生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给Kafka。而在对侧，消费者需要用反序列化器（Deserializer）把从 Kafka 中收到的字节数组转换成相应的对象。 先参考下面代码实现一个简单的客户端。 为了方便，消息的 key 和 value 都使用了字符串，对应程序中的序列化器也使用了客户端自带的 org.apache.kafka.common.serialization.StringSerializer，除了用于 String 类型的序列化器，还有
kafka序列化对象
onway_goahead的博客
05-19 2225
kafka 有两种序列化方式，以及一个序列化接口 // 序列化方式 org.apache.kafka.common.serialization.ByteArraySerializer org.apache.kafka.common.serialization.ByteArrayDeserializer org.apache.kafka.common.serialization.StringDe...
kafka使用过程中的坑及解决方法
weixin_49114503的博客
01-13 3383
记录kafka使用中的坑及解决方法
kylin java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.Consumer
HouYing
07-22 4978
运行kylin，kafka任务报错： Failure task Diagnostics: Error: java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.Consumer at java.net.URLClassLoader.findClass(URLClassLoader.java:381) ...
class org.apache.kafka.common.serialization.StringSerializer is not an instance of org.apache.kafka.
严同学在努力
03-08 3191
class org.apache.kafka.common.serialization.StringSerializer is not an instance of org.apache.kafka.运行kafka程序报错
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lzhlizihang

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值