spark udf 出现java.lang.UnsupportedOperationException: Schema for type AnyVal is not supported

最新推荐文章于 2024-09-19 11:50:42 发布

原创最新推荐文章于 2024-09-19 11:50:42 发布 · 2.2k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#spark #java #scala

收录于

Spark 同时被 2 个专栏收录

35 篇文章

订阅专栏

Scala

23 篇文章

订阅专栏

本文探讨了在Spark SQL中使用UDF时遇到UnsupportedOperationException的问题, 函数返回类型为AnyVal导致DataFrame解析失败。文章详细分析了错误产生的原因，并提供了相应的解决思路。

Exception in thread "main" java.lang.UnsupportedOperationException: Schema for type AnyVal is not supported
	at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$schemaFor$1.apply(ScalaReflection.scala:790)
	at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$schemaFor$1.apply(ScalaReflection.scala:724)
	at scala.reflect.internal.tpe.TypeConstraints$UndoLog.undo(TypeConstraints.scala:56)
	at org.apache.spark.sql.catalyst.ScalaReflection$class.cleanUpReflectionObjects(ScalaReflection.scala:907)
	at org.apache.spark.sql.catalyst.ScalaReflection$.cleanUpReflectionObjects(ScalaReflection.scala:45)
	at org.apache.spark.sql.catalyst.ScalaReflection$.schemaFor(ScalaReflection.scala:723)
	at org.apache.spark.sql.catalyst.ScalaReflection$.schemaFor(ScalaReflection.scala:720)
	at org.apache.spark.sql.UDFRegistration.register(UDFRegistration.scala:234)
	at myspark.warehouse.DataParsing$.main(DataParsing.scala:62)
	at myspark.warehouse.DataParsing.main(DataParsing.scala)

原因：

之前定义了一个函数，在spark sql中使用，该函数的返回值类型是AnyVal，导致DataFrame无法解析，然后抛出了这个错误