阿里云 flink sql 异常 java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z

最新推荐文章于 2023-01-31 15:39:10 发布

原创

最新推荐文章于 2023-01-31 15:39:10 发布 · 866 阅读

标签

#java #apache #flink

收录于

在使用阿里云Flink SQL与Kafka Connectors进行Avro序列化时遇到`java.lang.NoSuchMethodError`异常。解决方法是将引擎版本从vvr-4.0.13-flink-1.13降级到vvr-4.0.8-flink-1.13，以此解决Avro Schema的不兼容问题。

使用kafka Connectors 时候，序列化方式选择avro时候报
java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z

CREATE TEMPORARY TABLE sink_benchmark (
	      f_random_int int,
          f_random_str STRING
		) WITH (
		  'connector' = 'kafka',
		  'topic' = 'topic_test',
		  'properties.bootstrap.servers'

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

黑狗偶高

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

关于FlinkCDC运行报错 : Caused by: java.lang.NoSuchMethodError:

JinKla的博客

03-17

6299

Caused by: java.lang.NoSuchMethodError: com.mysql.cj.CharsetMapping.getJavaEncodingForMysqlCharset(Ljava/lang/String;)Ljava/lang/String; 解决：flinkcdc本身依赖与mysql连接依赖发生了冲突，注释掉mysql连接依赖即可。  <!-- <groupId>mysql&l

参与评论您还未登录，请先登录后发表或查看评论

java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z

sun%moon

03-23

2291

问题描述 Flink依赖flink-avro安装包 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-avro</artifactId> <version>1.12.0</version> <scope>provided</scope> </dependency&g

org.apache.avro.SchemaParseException

QYHuiiQ

03-20

2267

在使用kafka的avro定义schema的时候，出现了这个异常：原来代码是这么写的： String schemaStr = "{\"type\":\"record\",\"name\";\"Student\",\"fields\":[{\"name\":\"id\","type\":\"int\"},{\"name\":\"name\",\"type":"String\"},{\"na...

java runtime 异常_Java RuntimeException异常处理汇总

weixin_29485887的博客

02-16

1259

Java中所有异常的父类是Throwable类，在Throwable类下有两大子类：一个是Error类，指系统错误异常，例如：VirtualMachineError 虚拟机错误，ThreadDeath 线程死锁。一般如果是Error类的异常的话，就是程序的硬伤，就好比是工厂里断水断电，机器损坏了。另一个是Exception类，指编码、环境、用户操作输入等异常，这个是比较常见的异常类，Excepti...

flume常见报错记录

SW_LCC的博客

06-18

2307

1.java.nio.channels.ClosedChannelException Unexpected exception from downstream 一般来说，这种错误是source往channel写入数据时错误才有的异常，因此只需根据实际情况去处理就行。但有另一种错误，我们配置zabbix监控flume端口时，会每隔固定时间往source端口建立一个tcp连接但并没有发送具体数据。查看...

Flink 踩坑汇总

dh12313012的博客

07-06

6380

Flink 踩坑汇总Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: Specifying keys via field positions is only valid for tuple data types. Type: GenericType最近在学习Flink，踩坑汇总。（后续会持续添加） Exception in thread “main” org.apache.flink.api.com

编写Flink入门代码报出java.lang.NoSuchMethodError,解决建议。

weixin_45928961的博客

12-01

7921

这是我的pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio...

java.lang.NoSuchMethodError 原因和处理方案

热门推荐

清泉影月

01-28

18万+

问题描述工程中明明有该方法，却提示 java.lang.NoSuchMethodError 错误 1.原因 java 的类加载机制是把所有不同名称的本类和引用类的包全部加载到内存，这样就有一个问题，如果有两个类名一样怎么办，机器很难区分引用类，即引用别人包中的类： public class Data(){ public static getData(){ System.o...

flink sql 连接kafka avro序列化异常 Failed to deserialize Avro record ArrayIndexOutOfBoundsException

朝小佐_的博客

07-05

2473

在使用flinksql 解析复杂avro格式时候，遇到ArrayIndexOutOfBoundsException报错。问题的原因是所有非空字段都需要显示 not null,注意是每个层级的字段。正确写法

flink sql 连接kafka avro序列化异常 Malformed data. Length is negative: -25

朝小佐_的博客

07-06

2151

反序列化 avro格式时候遇到如下问题，原因是flink sql 的数据源DDL的字段定义要和avro的schema定义一致，字段数量，字段类型都要一致。错误的sql 正确的写法

avro数据格式说明

黑曼巴

04-30

4292

1.API参考文档地址 https://avro.apache.org/docs/current/api/java/index.html 2.avro数据格式定义官网说明：https://avro.apache.org/docs/current/spec.html 这里定义一个简单的schema文件user.avsc,注意，后缀一定是avsc，其中的内容如下： { "namespace": "com.yyj.avro.demo", "type": "record", "name":

java.lang.NoSuchMethodError错误解决

weixin_43930865的博客

11-06

1万+

1：java项目常见冲突解决 1：java.lang.NoSuchMethodError 缺失相应的jar包或者引入的版本包之间不兼容，没有对应 1：https://mvnrepository.com maven官网 2：搜索缺失的类或者方法：用/分割，不能用.分割进行搜索 org/apache/hadoop/hbase/HBaseTestingUtility 3：找到自己正在用的依赖包，点入对应的版本中，下方自己的jar包编译需要的其他对应版本包，将自己使用的其他依赖包替换为适配版本即可

Flink 实战问题（八）：NoSuchMethodError: org.apache.kafka.clients.producer.KafkaProducer.close

在前进的路上

10-15

3174

批处理写入kafka，结束关闭kafka时出现错误：NoSuchMethodError: org.apache.kafka.clients.producer.KafkaProducer.close

【日常Exception】第三十三回：Flink运行jar包报错NoSuchMethodError: org.apache.flink.api.common.functions.Runtime....

Yangy的博客

01-31

3578

解决：将jar包中的pom中flink的依赖版本，也换成1.14.5，与服务器上的flink版本一致，即可正常启动啦！原因：升级后使用的flink安装版本是1.14.5，而我的jar包中是使用的1.13.2。

Java.Lang.NoSuchMethodError: Org.Apache.Commons.Collections.SetUtils.OrderedSet(Ljava/Util/Set;)Ljav

小民工的博客

05-16

2004

tomcat启动报错:Java.Lang.NoSuchMethodError: Org.Apache.Commons.Collections.SetUtils.OrderedSet(Ljava/Util/Set;)Ljava/Util/Set; 1. 项目环境: IDE:myeclipse 框架:spring2.5.6+struts2+hibernate3.3.2 web容器:tomc...

【Flink】 java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/ByteArrayDeserializer

一杯咖啡半杯糖的博客

12-13

3069

自研flinsql提交平台，在服务器上新安装了一个flink客户端，准备提交flinksql到yarn，执行测试的时候报错 /data/flink/flink-1.13.3/bin/flink run -p 1 -ynm flink@547116966402719744 -yd -m yarn-cluster -yqu root.default -c com.huize.beidou.realtime.streaming.core.JobApplication /home/it/beidou_

出现 java.lang.NoSuchMethodError 错误的原因及解决方法

贵公子丶笔记

05-21

3万+

1 原因在项目依赖比较复杂或者 Java 运行的环境有问题时，或者同一类型的 jar 包有不同版本存在，都可能触发该错误。本质上说是 JVM 找不到某个类的特定方法，也就是说 JVM 加载了错误版本的类。说白了，就是 JVM 找不到真正想要调用的方法啦！出现该错误的情形主要有以下两个种：导入了不匹配的包版本；开发环境和运行环境不一致。 2 解决方法查看“External Libraries”，看报错的方法到底存不存在，如果不存在，说明这个包一定有问题啦，更新包就可以啦；如果存在，说明包已...

java.lang.NoSuchMethodError异常原因及解决办法

weixin_56668422的博客

03-10

2万+

原因第一种简单的情况就是本类中需要调用的方法名称错误，这种情况就需要去检查方法名称是否正确，避免调用的方法和本类中的有相同的名称。第二种情况就是jar包的问题可能是jar包没有导入进来或者jar包导入错误，导致出现异常。可能是jar包冲突问题，项目中不同的jar之间版本不同，导致产生了冲突，需要更换jar包的版本在maven项目中，当发生了jar包冲突，并且已经更换了jar包版本，当启动Tomcat后，服务器还是无法启动，报异常，这时候可以去删除target目录，然后重新启动服务器。

java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;

Abandon_Sun的博客

09-10

1万+

Flink入门程序异常，记录一下跟大家分享。 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#Stat...

【Hudi数据湖应用】Hudi-Spark-Bundle NoSuchMethodError(SessionHandler.setHttpOnly)异常修复

m0_66705151的博客

04-18

3071

最近尝试在sparksql上对hudi表进行insert数据，会报java.lang.NoSuchMethodError: org.apache.hudi.org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V异常。如果只是进行简单的create table, 然后进行select查询是没有问题的。但如果是create table test_cow using hudi as select * from source_cw这样的语句，由