运行Spark SQL报错

原创 已于 2022-01-21 15:44:09 修改 · 3.8k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#spark
于 2020-11-02 17:54:31 首次发布
博客主要讲述Spark SQL报错的处理方法，通过将pom.xml中的<spark.version>从2.1.1更换为2.4.4，即可解决报错问题。

1.Spark SQL报错处理

Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException: 
mismatched input '(' expecting {<EOF>, ',', 'WHERE', 'GROUP', 'ORDER', 'HAVING', 'LIMIT', 'JOIN', 'CROSS', 'INNER', 'LEFT', 'RIGHT', 'FULL', 'NATURAL', 'LATERAL', 'WINDOW', 'UNION', 'EXCEPT', 'MINUS', 'INTERSECT', 'SORT', 'CLUSTER', 'DISTRIBUTE', 'ANTI'}(line 6, pos 5)

更换下pom.xml中

<spark.version>2.1.1</spark.version>

改为
<spark.version>2.4.4</spark.version>
即可。

Exception in thread “main“ org.apache.spark.sql.AnalysisException: Table or view not found: df； line
CSDN 精品推荐
09-02 1005
编写Spark程序在调用自定义函数时出现如下问题 `Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: df; line 1 pos 30; 'Project [unresolvedalias('myFunction('Fruit), None)] +- 'UnresolvedRelation [df]`
Spark报错处理系列之：Exception in thread “main“ org.apache.spark.SparkException: Job aborted due to stage
zhengzaifeidelushang的博客
12-16 2081
Spark报错处理系列之：Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 23 tasks 1043.8 MB is bigger than spark.driver.maxResultSize 1024.0 MB
Exception in thread “main“ org.apache.spark.sql.catalyst.parser.ParseException: extraneous input ‘$
summer089089的博客
11-22 6561
1.报错 Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException: extraneous input '$' expecting {'(', 'SELECT', 'FROM', 'ADD', 'AS', 'ALL', 'ANY', 'DISTINCT', 'WHERE', 'GROUP', 'BY', 'GROUPING', 'SETS', 'CUBE', 'ROLLUP', 'ORDER', 'HAVI
Spark常见问题汇总
aiwode1234的专栏
05-16 1385
注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr，查看是否有错误，一般情况下一旦驱动提交了，报错的情况只能在任务日志里面查看是否有错误情况了1、Operation category READ is not supported in state
Exception in thread “main“ org.apache.spark.sql.AnalysisException: Cannot write incompatible data to
JIE的博客 --- moon_coder
11-15 6385
开始，Spark SQL 增加了一个安全策略，不对非同类型的数据进行强制转换，然后就会出现这个错误。LEGACY 策略，允许 Spark 进行类型强制转换，只要它是有效的 Cast 操作。STRICT 策略，不允许 Spark 进行任何可能有损精度的转换。修改 Spark 版本到。中发现有这样一个配置。修改策略为 LEGACY。
Spark-shell上运行sql命令报错 WARN metastore.ObjectStore
DataAlgo
08-28 3648
在spark-shell上运行sql语句，报错 WARN metastore.ObjectStore: Failed to get database default, returning NoSuchObjectException 刚开始在自己的IDEA上都可以编译成功sql部分的代码， 没想到在client上翻了车。 google了好一会才发现是因为spark上conf里面缺少hive配置文件。 很简单，找到hive里conf的下hive-site.xml文件 拷贝到spark的conf目录下 cp h
select报错 spark_spark-sql master on yarn 模式运行 select count(*) 报错日志
weixin_33490603的博客
01-14 643
启动hive --service metastore启动 dfs yarn[root@bigdatastorm bin]# ./spark-sql --master yarn --deploy-mode client --driver-memory 512m --executor-memory 512m --total-executor-cores 1spark-sql>select cou...
spark-sql master on yarn 模式运行 select count(*) 报错日志
09-05 394
启动hive --service metastore 启动 dfs yarn [root@bigdatastorm bin]# ./spark-sql --master yarn --deploy-mode client --driver-memory 512m --executor-memory 512m --total-executor-cores...
运行spark报错Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'
slibra_L的博客
04-02 6841
问题描述 最近换了一台电脑，将原电脑的spark streaming代码考到了新电脑上，使用IDEA运行却报错了 Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState' The root scratch dir: /tmp/hive on HDFS should be writable 经检查发现是/tmp/...
Exception in thread “main“ org.apache.spark.sql.AnalysisException: Cannot up cast `age` from bigint
qq_53810226的博客
03-23 4936
这个是报错信息 Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot up cast `age` from bigint to int. The type path of the target object is: - field (class: "scala.Int", name: "age") Exception in thread "main" org.apache.spark.sql.AnalysisE
SparkSession 访问 Hive 表数据报错：org.apache.spark.sql.AnalysisException: Table or view not found
weixin_37417954的博客
07-04 3956
错误场景 当通过 SparkSession 访问 hive 中的表数据时，报错如下： Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: emp; line 1 pos 47 at org.apache.spark.sql.catalyst.analys...
Spark sql hive 整合问题
u012842247的专栏
01-07 685
1、Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'portrait' not found; at org.apache.spark.sql.catalyst.catalog.SessionCatalog.org$apache$spark...
sparkSQL ParseException createOrReplaceTempView
SummerT148337的博客
07-18 5664
在运用sparksql创建视图表时抛错 Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException:  mismatched input '20180718' expecting {'SELECT', 'FROM', 'ADD', 'AS', 'ALL', 'DISTINCT', 'WHERE',...
hive org.apache.spark.sql.catalyst.parser.ParseException: mismatched input expecting {...
热门推荐
weixin_42079988的博客
05-16 2万+
select de2.* ,locate(';',de2.cus_rank) as cus_rank_new from table limit 10 运行查询语句时 java.sql.SQLException: org.apache.spark.sql.catalyst.parser.ParseException: mismatched input ''' expecting {'(', 'SELECT', 'FROM', 'ADD', 'AS', 'ALL', 'DISTINCT',...
spark sql中Exception in thread “main“ org.apache.spark.sql.AnalysisException问题
weixin_43100196的博客
11-18 1万+
在spark中遇到Exception in thread “main” org.apache.spark.sql.，这往往是所选取 'pibid'字段不存在，或者名字写错了。所以要查该字段！！！ Exception in thread “main” org.apache.spark.sql.AnalysisException: cannot resolve ‘pibid’ given input columns: [spark_catalog.lg_edu_warehouse.dwd_t_baseexamh
spark写入hive中提示找不到数据库解决办法
这个人很懒什么都没有留下
04-26 4051
WARN metastore.ObjectStore: Failed to get database odsl, returning NoSuchObjectException Exception in thread “main” org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘odsl’ not found; 解决方法 将hive配置复制到spark cp hive-site.xml /opt/soft/s
spark-04_Exception in thread main org.apache.spark.sql.catalyst.analysis.NoSuchTa
Welcome to Feng.Chang's Blog
12-03 2447
文章目录相关版本错误片段解决方法 相关版本 spark version: spark-2.1.0-bin-hadoop2.6 错误片段 Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'rating_table' not found in ...
spark应用提交报错解决
lsr40的博客
04-20 1万+
老样子，菜鸡一只！如果有什么说错的，还请大家见谅~！！也希望大家帮我指出改正。本次测试的spark版本是2.2.X的，从打包开始，打包有两种方式，一种是maven打包，一种是idea打包（据说这种打包方式叫SBT？maybe把），然后打出来的包也有两种，一种叫胖包，一种叫瘦包。我先打了胖包（胖包就是把项目中所有依赖的jar包都打进去，如果依赖多的话，能达到好几百M，瘦包就是单纯打包你的代码），然后...
Exception in thread “main“ org.apache.spark.sql.AnalysisException: Only one generator allowed per se
m0_65377167的博客
06-08 415
/ 对 wrap, wrap1, wrap2 三列数据分别使用 explode 函数拆分至新行中。错误原因：是进行多列分割时，使用explode函数时只能有一个生成器。// 将三个DataFrame合并为一个 val。打算先对这三列进行分割，再统计每个字符出现次数。修改后代码：使用三次explode函数就OK了。
Spark 创建 hive表报错 ROW FORMAT DELIMITED is only compatible with 'textfile', not 'parquet'
jast
10-09 4574
场景： 在spark分析数据时，创建hive表失败。 提示异常 ： 19/10/09 10:59:18 INFO execution.SparkSqlParser: Parsing command: CREATE EXTERNAL TABLE IF NOT EXISTS dm_xxx.user_area(biFollowersCount String,city String,creat...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

明月清风，良宵美酒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值