推荐系统实现过程中SparkSql整合hive报元信息错误

最新推荐文章于 2024-06-27 10:00:31 发布
原创 最新推荐文章于 2024-06-27 10:00:31 发布 · 2.3k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
大数据学习路上的坑

当前文章被收录于：

大数据学习路上的坑
3 篇文章 1 人学习
订阅专栏 查看详情
博客内容描述了一个在使用Hive时遇到的元数据错误，由于缺少hive-site.xml文件导致。错误信息涉及到DataNucleus和Hive的MDatabase类。解决方案是简单地将hive-site.xml配置文件导入到项目中，这表明该文件对于正确配置Hive连接至关重要。

问题描述：

错误信息如下：

org.datanucleus.metadata.InvalidClassMetaDataException: Class "org.apache.hadoop.hive.metastore.model.MDatabase" field "org.apache.hadoop.hive.metastore.model.MDatabase.catalogName" : declared in MetaData, but this field doesnt exist in the class!
Caused by: org.datanucleus.exceptions.NucleusUserException: Identifier principalName is unresolved (not a static field)
        }

解决方案：

找了很多资料，都没有解决，其实只是因为我忘记把hive-site.xml导入了
导入hive-site.xml即可

标签
#big data #hive #spark #大数据
hive启动时出现javax.jdo.JDODataStoreException: Error executing SQL query
微电子学与固体电子学-俞驰
05-27 4105
启动metastore和hiveserver2后, 发现hiveserver2启动失败，因为没有被占用10000端口 $HIVE_HOME/logs下出现如下报错: 2020-05-27T22:39:52,203 WARN [pool-6-thread-1] metastore.MetaStoreDirectSql: Failed to execute [SELECT "TBLS"."TBL_NAME" FROM "TBLS" INNER JOIN "DBS" ON "TBLS"."DB_ID"
hive配置远程metastore
热门推荐
竹叶青 的专栏
10-31 2万+
hive配置远程metastore的方法：     1）首先配置hive使用本地mysql存储metastore（服务器A 111.121.21.23）（也可以使用远程mysql存储）     2）配置完成后，在服务器A启动服务：bin/hive --service metastore  （默认监听端口是：9083）     3）配置hive客户端，修改hive-site.xml：（服务
Hive初始化异常：org.apache.hadoop.hive.metastore.HiveMetaException: 加载驱动程序大数据失败
JieLun_C的博客
09-17 2612
当在Hive初始化过程中遇到"加载驱动程序大数据失败"的异常时，需要检查所需的大数据驱动程序是否正确配置和加载。在Hive的配置文件（hive-site.xml）中，搜索与大数据驱动程序相关的属性，例如"hive.metastore.uris"和"hive.metastore.warehouse.dir"，确保它们指向正确的位置。大数据的驱动程序是连接Hive和底层存储系统（如Hadoop）的关键组件，因此在启动Hive时，确保正确配置并加载所需的驱动程序至关重要。
apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.1.0
m0_50360098的博客
11-11 7815
项目场景： hive3.1.2配置mysql的问题 问题描述： 我在初始化mysql的时候，一直报错 Metastore connection URL: jdbc:mysql://192.168.10.100:3306/metastore?useSSL=false Metastore Connection Driver : com.mysql.jdbc.Driver Metastore connection User: root Starting metastore schema initializ
spark 连接 hive 报错 Identifier principalName is unresolved (not a static field)
weixin_53359823的博客
12-08 1016
spark连接hive的mysql元数据库metastore，不能直接访问，需要通过metastore server间接访问因此需要开启元数据服务。
idea配置spark连外置hive问题记录
zyann95的博客
07-16 936
记录
hive elt mysql_hive配置远程metastore | 学步园
weixin_35964207的博客
02-15 507
hive配置远程metastore的方法：1)首先配置hive使用本地mysql存储metastore(服务器A 111.121.21.23)(也可以使用远程mysql存储)2)配置完成后，在服务器A启动服务：bin/hive --service metastore (默认监听端口是：9083)3)配置hive客户端，修改hive-site.xml：(服务器B-需要有hadoop环境)hive....
eclipse调试hive源码warn提示 hive.metastore.model.MVersionTable has no table in the database
lixiaoksi的博客
06-16 1187
问题描述：eclipse中调试hive2.1.1源码时，出现warn情况，但是hive-cli未正常启动 错误信息如下： 2020-06-16 10:35:22,636 INFO [main] DataNucleus.JDO (Log4JLogger.java:info(87)) - Exception thrown Identifier name is unresolved (not a static field) org.datanucleus.exceptions.NucleusUserExce.
启动hive报错org.datanucleus.exceptions.NucleusException:Error creating transactional connecCtion factory
哇咔咔哇咔的博客
12-26 2151
启动hive报错org.datanucleus.exceptions.NucleusException:Error creating transactional connecCtion factory
hive0.13的搭建配置
夜的博客
10-17 596
注意：hive是搭建在hadoop的基础上的，Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成 因此，启动hive时，必须先启动hadoop的集群，还要启动metastore进程。 hive的安装 1.解压hive文件到你所创建的文件中 tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz -C /opt/modules/
spark采坑之hive2.0版本后面初始化错误
会飞的鱼
06-28 1103
报错一： Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the “BONECP” plugin to create a ConnectionPool gave an error : The specified datastore driver (“com.mysql.jdbc.Driver”) w...
hive问题
weixin_45430750的博客
03-30 2223
hive启动报错 问题描述：hive启动程序报错错误 Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "HikariCP" plugin to create a ConnectionPool gave an error : Failed to initialize pool: null, message from server: "Host '192.168.1.111' is blocked be
SparkSQL操作Hive
学亮编程手记
05-12 2519
title: SparkSQL操作Hive date: 2020-05-12 16:12:55 tags: Spark Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说.
hive启动报错
心动的博客
06-27 521
原因：同一个ip在短时间内产生太多（超过mysql数据库max_connection_errors的最大值）中断的数据库连接而导致的阻塞 （短时间内链接错误次数过多）登录数据库所在虚拟机并登录数据库 执行 flush hosts 命令，然后重启hive。
SparkSQL-DataFrame学习笔记
Richard_More的博客
09-20 1861
（1）导语 昨天在处理寻医问药网的记录时，遇到了处理非关系型的数据库，非关系数据以前都是mongodb来处理的，但它（a）不能分布式。所以处理的数据能力有上限（b）不能很好衔接外源程序，要是对其数据进行处理。必须下载一个第三方的包，来回对读，写其数据。非常不方便。下面我们来看看SparkSQL DataFrame这种数据库的优缺点。 （2）分析材料 网上关于DataFrame介绍的资源也只有
cdh5.11 mysql_CDH5.11.2安装启动hive 启动失败解决办法
weixin_33089345的博客
02-15 558
1、通过Cloudera Manager添加Hive服务，在启动Hive的时候遇到错误：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver这种情况，猜测是缺少jdbc驱动，于是添加jdbc驱动到相应的包下面。报的错中提示了lib路径，添加一下即可。mysql-connector-java-5.1.36-...
Hive初始化遇到的问题：org.apache.hadoop.hive.metastore.HiveMetaException: 失败加载驱动程序
学习使你进步。
08-27 4568
在大数据领域，Hive是一个常用的数据仓库工具，它构建在Hadoop之上，提供了一种类似于SQL的查询语言，用于处理大规模的数据集。确认驱动程序的存在：首先，确保所需的数据库驱动程序已经正确安装在Hive所在的机器上。根据您使用的数据库类型，下载相应的驱动程序，并将其放置在适当的位置。Hive需要特定的数据库驱动程序来连接到底层的元数据存储，例如Derby、MySQL或PostgreSQL。在重新启动后，Hive将尝试加载所需的数据库驱动程序，并连接到元数据存储。设置为正确的数据库驱动程序类名，
处理--在搭建hive中遇到的一些问题
VC_djx的博客
12-26 1411
如果没有hive-site.xml文件可能是没有拷贝，hive-site.xml从hive-default.xml.template文件拷贝的。打开并在<configuration> </configuration>中增加连接数据库的配置：（放在最下方）这个问题出现的原因是因为配置没有配置好导致的。要修改hive-site.xml文件。点击新建数据库，输入信息后点击确定即可。建立hive库并查询是否建立成功。处理方法：新建一个hive库。希望对各位友友有帮助。
Persistent class “org.apache.hadoop.hive.metastore.model.MVersionTable“ has no table in the database
qq_61151401的博客
03-19 175
提交spark任务时出现这个问题，辛苦解决了两天，最后无意间看见spark的lib目录下datanucleus几个包和我spring中依赖的包版本不一致，将spring中的datanucleus包版本改为和spark的一致，问题解决。spark版本：1.6.0。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值