spark读取Hive出错： Database 'hxh' not found;

最新推荐文章于 2024-10-15 09:19:44 发布

原创最新推荐文章于 2024-10-15 09:19:44 发布 · 2.3k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

Spark

当前文章被收录于：

Spark

13 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文解决了一个在使用Spark读取Hive数据库时遇到的问题，即找不到指定的Hive数据库。通过在Spark配置中启用Hive支持，成功解决了此问题。

提示spark读取hive找不到库

Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'hxh' not found;
	at org.apache.spark.sql.catalyst.catalog.ExternalCatalog.requireDbExists(ExternalCatalog.scala:40)
	at org.apache.spark.sql.catalyst.catalog.InMemoryCatalog.tableExists(InMemoryCatalog.scala:323)
	at org.apache.spark.sql.catalyst.catalog.ExternalCatalog.requireTableExists(ExternalCatalog.scala:45)
	at org.apache.spark.sql.catalyst.catalog.InMemoryCatalog.getTable(InMemoryCatalog.scala:314)
	at org.apache.spark.sql.catalyst.catalog.SessionCatalog.lookupRelation(SessionCatalog.scala:681)
	at org.apache.spark.sql.SparkSession.table(SparkSession.scala:609)
	at org.apache.spark.sql.SparkSession.table(SparkSession.scala:605)
	at org.apache.spark.sql.DataFrameReader.table(DataFrameReader.scala:591)
	at com.hxh.spark.SqlNetworkWordCount$.main(SqlNetworkWordCount.scala:44)
	at com.hxh.spark.SqlNetworkWordCount.main(SqlNetworkWordCount.scala)

解决方案：

加上enableHiveSupport()即可，否则默认不读hive-site.xml。

val sparkConf = new SparkConf().setAppName("SqlNetworkWordCount").setMaster("local[*]").enableHiveSupport().getOrCreate()

标签

#sparkonhive #NoSuchDatabaseException

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

笔和墨

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark.sql.AnalysisException: Table or view not found: xxx.xxx_xxxx_ad, the database dwd doesn't exis

comeOnBaby126的博客

03-18

1918

最近项目中需要用到spark/hive 处理业务逻辑，手痒写了一些代码，结果不可描述。其实问题很简单，简单的无法描述。 spark支持hive即可。 Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: xxx.xxx_base_ad, the databa...

1 条评论您还未登录，请先登录后发表或查看评论

工业异常检测评价指标（I-AUROC、PRO等）

最新发布

qq_1532145264的博客

10-15

7300

模型评价指标：TPR、FPR、Recall、ROC、AUC、AUROC、IoU、PRO、AUPRO等

spark读取Hive出错： Database 'test1' not found

BigData_Mining的博客

07-03

6346

错误：找不到数据库。Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'test1' not found;解决方案：加上enableHiveSupport()即可，否则默认不读hive-site.xml。val spark = SparkSessio...

org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘dwd‘ not found

打工日常

03-06

3333

spark操作hive时，报错如下：实际上hive中是有这个库的，后来查看了一下，是因为spark没有开启对hive的支持加上这个就好了

spark1.6升级2.3读取hive表报错NoSuchDatabaseException: Database 'ods' not found

zhiaixiatian的专栏

10-30

2481

升级完spark后，通过spark-submit 操作hive报错，如下： org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'ods' not found; at org.apache.spark.sql.catalyst.catalog.SessionCatalog.org$ap...

spark 操作hive数据库，使用spark-sql执行hivesql语句

qq_37969476的博客

12-18

994

spark 操作hive数据库 1、配置 hive-site.xml 新增 vim hive-site.xml <property> <name>hive.metastore.uris</name> <value>thrift://hadoop01:9083</value> </property> 2、拷贝到...

spark写入hive中提示找不到数据库解决办法

这个人很懒什么都没有留下

04-26

4053

WARN metastore.ObjectStore: Failed to get database odsl, returning NoSuchObjectException Exception in thread “main” org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘odsl’ not found; 解决方法将hive配置复制到spark cp hive-site.xml /opt/soft/s

java:java.lang.ClassNotFoundException:

weixin_45730125的博客

06-16

723

Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.connector.catalog.SupportsCatalogOptions

org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'traffic' not found;

zzw_17600691357的博客

07-15

5951

spark向hive中写入数据时，提示找不到已经创建完成的数据库， org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'traffic' not found; 我的问题出现原因：没有为spark设置hive的路径解决方案：将hive客户端的hive-site.xml放入到spark的conf目...

spark创建hive外部表失败

liminghui4321的博客

12-06

2389

问题1：spark版本问题一般碰到结尾为V，很可能是版本问题 <spark.version>2.4.0</spark.version> 问题2：一直报库不存在 org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'user_profile0224' not found; 解决办法： a.检查hadooponwindows-master环境变量 b.增加配置 .se.

Spark sql hive 整合问题

u012842247的专栏

01-07

688

1、Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database 'portrait' not found; at org.apache.spark.sql.catalyst.catalog.SessionCatalog.org$apache$spark...

遇到的Spark的坑

coderlaw's study

02-21

7162

spark 写入hive出错。 mysql驱动版本低。https://datameer.zendesk.com/hc/en-us/articles/204262140-Hive-Jobs-Fail-with-com-mysql-jdbc-exceptions-MySQLSyntaxErrorExceptionspark写入Hive找不到表16/12/21 17:57:36 INFO SparkSql

spark报错：The current account does not have the permission of database

hzp666的博客

02-22

959

异常信息： 22/01/18 20:21:34 [main] WARN HiveSessionCatalog: The current account does not have the permission of database [adm], It may be a virtual database. Error in query: Table or view not found: `adm`.`adm_d07_cps_batch_det`; line 1 pos 14; 'GlobalLimit

Kyuubi采坑记录

星星木有夜

11-04

1301

1、hive meta server使用sentry权限认证，kyuubi在opensession的时候初始化默认数据库会报空指针异常问题版本：0.8 原因：hive metahook过滤元数据的时候需要从配置中获取用户名，属性名是hive.sentry.subject.name，但是在sparkcontext初始化的时候并没有设置该属性解决方案：在sparkcontext初始化的时候设置参数...

sparkSql连接hive，找不到Hive数据库或Hive表

搬砖的鱼的博客

09-27

8196

项目场景： spark整合Hive，idea本地用spark读取Hive中的数据问题描述：在hive客户端查看数据库spark是存在的但是用spark连接Hive查不到数据库spark hive> show databases; OK default spark Time taken: 0.11 seconds, Fetched: 3 row(s) 原因分析： spark没找到Hive的元数据解决方案：加上元素据配置，hive.metastore.uris scala中整合Hive

IDEA中使用SparkSQL连接Hive数据库报错：找不到表Table or view 'emp' not found

BigData_Mining的博客

07-03

8870

错误信息：Exception in thread "main" org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'emp' not found in database 'test1';解决方案：需要将hive-site.xml这个文件拷贝到resource下。问题解决！！...

Spark连接hive出错，table not found

zhaoguowei的博客

04-02

3084

运行通过maven构建好的jar出错： Exception in thread “main” org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view ‘zgw’ not found in database ‘default’; Exception in thread "main" org.apache.s...

Vulkan入门系列0- Vulkan与OpenGL的区别

GPU全栈博主

07-12

3988

虽然Vulkan和OpenGL都是对GPU的抽象，都能达到相同的功能，但它们的设计理念不同，可以说设计差异是非常之大，由于OpenGL从1992年到现在，已经有30多年的历史，GPU功能日新月异，与当年不可同日而语，在OpenGL保持向下兼容情况下，还要在OpenGL基础上设计一套编程接口显然是不可能的，所以推出了新编程规范Vulkan。另外在一些无窗口的应用中，Vulkan可以有选择的不创建帧缓冲区，比如在数学运算，物理模拟，处理视频流的应用中并不需要窗口，所以Vulkan支持更灵活的应用场景。

实验二 FFT算法_CCS；_DSP；_

这是一个关于信号生成以及利用FFT算法实现信号从时域信号变为频域信号的快速算法，利用CCS软件完成FFT的DSP编程。