spark sql 中 hive变量的使用记录

最新推荐文章于 2024-09-11 11:32:49 发布

原创最新推荐文章于 2024-09-11 11:32:49 发布 · 9k 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

Spark 同时被 3 个专栏收录

14 篇文章

订阅专栏

Hive

3 篇文章

订阅专栏

Cloudera

2 篇文章

订阅专栏

本文介绍了在Spark中使用变量的方法，并通过实例演示了如何在SQL查询中应用这些变量。同时，文章对比了不同版本Spark对变量的支持情况，指出在Spark 2.0中可以直接使用set key=value形式的变量，而在CDH5.7自带的Spark 1.6.0中则存在兼容性问题。

一、使用变量的方式：

和 hive 中使用方式一样，如 ${varName}

案例如下：

scala> spark.sql("set unit_len=8")
res3: org.apache.spark.sql.DataFrame = [key: string, value: string]

scala> spark.sql("set unit_flag=unit_day")
res4: org.apache.spark.sql.DataFrame = [key: string, value: string]

scala> val point_pv_site_day = spark.sql("select substr(access_date, 1, ${unit_len}) as ${unit_flag}, count(1) as pv_site from harli.point_pv group by substr(access_date, 1, ${unit_len})")

二、说明

当前在 Spark 2.0 中可以正确使用 set key=value 之类定义的变量，但在CDH 5.7 自带的 Spark 1.6.0 中无法识别，执行时的报错信息如下所示：

NoViableAltException(16@[147:1: selectExpression : ( expression | tableAllColumns );])
at org.antlr.runtime.DFA.noViableAlt(DFA.java:158)
at org.antlr.runtime.DFA.predict(DFA.java:116)

........................

org.apache.spark.sql.AnalysisException: cannot recognize input near '$' '{' 'unit_len' in select expression; line 1 pos 31
at org.apache.spark.sql.hive.HiveQl$.createPlan(HiveQl.scala:318)
at org.apache.spark.sql.hive.ExtendedHiveQlParser$$anonfun$hiveQl$1.apply(ExtendedHiveQlParser.scala:41)
at org.apache.spark.sql.hive.ExtendedHiveQlParser$$anonfun$hiveQl$1.apply(ExtendedHiveQlParser.scala:40)