18、【SparkStreaming】object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord,...

原创于 2023-07-01 17:54:00 发布 · 452 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#apache #kafka #分布式

收录于

文章描述了在使用SparkStream从Kafka消费数据时遇到的对象非序列化错误，具体是ConsumerRecord无法正确序列化。为解决这个问题，文章提出在配置SparkConf时，应指定使用KryoSerializer作为序列化器，以此确保数据能被正确处理。

背景：

当SparkStream连接kafka，消费数据时，报错：

object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord, value: ConsumerRecord

分析：

消费者的消费记录序列化出现了问题，需要正确的进行序列化。

措施：

在设置sparkconf的时候，指定序列化方式就可以解决了

val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("LocalStreaming").set(
    "spark.serializer","org.apache.spark.serializer.KryoSerializer"
)

效果：

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Norni

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

SparkContext和SparkSession不能序列化分析，解决方法

cyz52的博客

01-08

1713

Task not serializable,Caused by: java.io.NotSerializableException: org.apache.spark.SparkContext 错误原因分析，@transient注解解决报错信息错误原因解决方法解决方法1：解决方法2：需要注意报错信息 Caused by: java.io.NotSerializableException: org...

参与评论您还未登录，请先登录后发表或查看评论

spark错题本

epitomizelu的专栏

04-15

9460

一，Task not serializable 原因：用了mysql的jdbc，其connect需要在各个服务器上单据创建，不能集群共享一个数据连接。下图中的driver和excutor不在同一台服务器，connection不能共享。

SparkStreaming消费kafka数据报错 object not serializable

weixin_41634597的博客

03-11

567

sparkstreaming消费kafka数据报错记录

object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord)

afei2530的博客

08-21

1212

3. object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord) val stream = KafkaUtils.createDirectStream[String, String]( ssc, PreferConsist...

kafka spark java,Java Spark Kafka流中的对象不可序列化(org.apache.kafka.clients.consumer.ConsumerRecord)...

weixin_30291543的博客

02-21

660

I am pretty sure that I am pushing data only string and deserialize also as String. Record I pushed it is showing in error also.But why suddenly it is showing such type of error, Is there anything I a...

java中的No serializer found for class的解决方法和思路

ityw520的博客

12-16

2万+

1、报错的问题解析 org.springframework.http.converter.HttpMessageConversionException: Type definition error: [simple type, class com.app.entity.duty.Site]; nested exception is com.fasterxml.jackson.databind.exc.InvalidDefinitionException: No serializer found for c

org.apache.spark.SparkException: Task not serializable

热门推荐

Shockang的博客

07-25

3万+

报错原因解析如果出现“org.apache.spark.SparkException: Task not serializable”错误，一般是因为在 map 、 filter 等的参数使用了外部的变量，但是这个变量不能序列化(不是说不可以引用外部变量，只是要做好序列化工作)。

出现No serializer found for class异常解决

goddamnliu的博客

03-09

3535

序列化异常解决

No serializer found for class org 问题解决一定要细心！！也许问题根本不是这个。

LinggoLing的博客

12-09

1611

No serializer found for class org 问题解决

not serializable result: org.apache.kafka.clients.consumer.ConsumerRecord

wangchao_cn的专栏

04-18

1072

解决方法创建SparkContext时设置一个属性 set("spark.serializer","org.apache.spark.serializer.KryoSerializer") Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Ta...

No serializer found for class解决方法

weixin_45066871的博客

06-05

3万+

今天在新建项目的时候，测试springboot项目是否搭好，接口是否可以访问的时候，报了一个错误： No serializer found for class com.lin.pojo.TestVo.TextVo and no properties discovered to create BeanSerializer

Error:(3, 41) java: 程序包org.apache.kafka.clients.producer不存在错误提示解决办法

peihj的博客

09-09

2166

【代码】Error:(3, 41) java: 程序包org.apache.kafka.clients.producer不存在错误提示解决办法。

Spring 中 No serializer found for class问题

neversayno_yl的博客

10-14

2283

HTTP Status 500 - Could not write content: No serializer found for class org.hibernate.proxy.pojo.javassist.JavassistLazyInitializer and no properties discovered to create BeanSerializer (to avoid exc...

求助帖：我在spark的structured streaming进行流计算，想要将每个批次的结果自定义写入hdfs文件中，但是报错无法序列化。

a997002636的博客

03-16

603

求助帖：我在spark的structured streaming进行流计算，想要将每个批次的结果自定义写入hdfs文件中，但是报错无法序列化。自定义写文件代码如下： val query = sessionUpdates.writeStream.outputMode(“update”).foreach(new ForeachWriter[NewSessionUpdate] { var batchCount = 0 val conf = new Configuration() conf.set("

springcloud feign client异常 feign.FeignException$NotFound: [404] during [GET] to...

weixin_43118901的博客

11-23

1万+

概述搭建了一个微服务demo跑跑，使用feignClient调用微服务接口时，虽然能成功调用接口，但是抛出了异常：feign.FeignException$NotFound: [404] during… 模拟场景：下订单后，给用户返还积分代码如下会员积分服务-积分接口 @RequestMapping("/credit") public interface ICreditApi { @GetMapping("/add/{userId}/{number}") ResponseResult

No serializer found for class ******** and no properties discovered to create BeanSerializer (to avo

公子小杰的博客

12-24

914

经检查，上面报错信息中标注的类没有加getter方法，加上即可解决。Springboot出现如下错误。

IDEA导入JAR包引起的错误

reedom1991的博客

04-13

2064

所用软件版本： spark2.3.0 kafka 1.10 IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0) 在用IDEA导入kafka JAR包的时候，一直导入不进去，因为spark-streaming-kafka的jar包和kafka的jar包搞混，把org.apache.kafka.clients.consumer.Cons...

Flink读取kafka scala 和 java的小坑

qq_31866793的博客

08-13

3477

报错就是找不到kafka的类 Caused by: java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.ConsumerRecord Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.ByteArrayDeserializer 先贴代码：在读取kafka多个topic的时候自定义输出类：...

自动注入报错

weixin_40904124的博客

04-27

1021

org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'com.baizhi.service.TestUserService': Unsatisfied dependency expressed through field 'userService'; nest...

【异常】RDD出现序列化异常Serialization stack: object not serializable (class: org.apache.hadoop.i

dearbaba_11的博客

08-29

714

【异常】RDD出现序列化异常Serialization stack: object not serializable (class: org.apache.hadoop.i