Hive SQL扫描分区过多，元数据SQL拼接过长报错

原创 已于 2025-02-01 13:28:48 修改 · 684 阅读 · 13
标签
#sql #数据库 #hive #数据仓库 #大数据
#云计算 #hadoop
于 2025-01-31 14:56:34 首次发布

 #Hive常见故障 #大数据 #生产环境真实案例 #Hive #离线数据库 #整理 #经验总结

说明：此篇总结hive常见故障案例处理方案 结合自身经历 总结不易 +关注 +收藏 欢迎留言

更多Hive案例汇总方案 解决方案：请往下翻

Hive SQL扫描分区过多，元数据SQL拼接过长

问题

SQL扫描表分区过多，拼接的元数据SQL过长导致客户端返回或者HiveServer与MetaStore运行日志里出现如下报错：

原因

SQL扫描表分区过多。

解决方法

修改SQL，减少分区遍历量，当前可以正常遍历2000以下分区。

更多Hive案例汇总方案 (点击跳转) ：

Hive常见故障多案例维护宝典 --项目总结(宝典一)

Hive常见故

最低0.47元/天 解锁文章
java 通过zookeeper连接hiveserver2报错：org.apache.hive.jdbc.ZooKeeperHiveClientException: Unable to read Hi
热门推荐
QYmufeng的博客
06-02 1万+
环境： hive驱动版本：1.2.1 通过以下连接方式，通过hiveserver2 urljdbc:hive2://prddn01.com:10000/;principal=hive/prddn01.com@SC.COM 连接hiveserver2完全正确，但是换成zookeeper url就报错： package com.asiainfo; import java.io.IOException; import java.sql.Connection; import java.sql.Drive..
[hive-3.1.3]Beeline 用zookeeper 发现模式连接 HiveServer2 连接 leader 异常
houzhizhen的专栏
05-11 4309
1. 异常描述 使用 beeline 连接 hivesever 时，抛出异常如下： [root@vhost-120-28 hive]# beeline -u "jdbc:hive2://vhost-120-26:2181,vhost-120-27:2181,vhost-120-28:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2" --verbose=true SLF4J: Class path contains mul
Hive执行set命令的时候报cannot modify xxx at runtime
编程技术、独立开发、技术资讯以及编程感悟等内容
01-29 946
Hive执行set命令的时候报cannot modify xxx at runtime
Unable to read HiveServer2 configs from ZooKeeper
u012667450的博客
11-18 1万+
Unable to read HiveServer2 configs from ZooKeeper 问题描述 在HDP集群开启kerberos后，在连接Hive时报错： Unable to read HiveServer2 configs from ZooKeeper 产生原因 原因可能很多，说不完，道不尽。 但是，如果zookeeper是正常启动的话，归根结底，就一个： Hive的连接串中参数不对！！！ 可能的情况有： 没有加keytab文件 没有加krb5.conf文件 principal拼错了
Hadoop相关问题解决--记录
奔跑入坑大数据
07-23 6531
Hive 1.查询hivemeta信息，查到的numRows为-1 cdh 不限 不限 不限 在hivemeta库中可以通过以下sql查询表的元数据信息 SELECT * FROM TABLE_PARAMS WHERE tbl_id = 45857 其中numRows会被用来统计为表的行数，但是发现有些表查出来行数为-1 可能原因 可能是因为这个表新建后没有通过这种方式插入过数据，所以表没有进行过统计，默认信息即为numRows=-1 解决方案 使用命令ANALYZE.
Hive动态分区方式插入数据，创建过多文件/分区
编程技术、独立开发、技术资讯以及编程感悟等内容
01-29 998
动态分区方式插入数据，创建过多文件/分区
SQL过于复杂，嵌套过多，导致HiveSQL编译时间过长
编程技术、独立开发、技术资讯以及编程感悟等内容
01-31 948
SQL过于复杂，嵌套过多，导致HiveSQL编译时间过长
Hive alter table drop partition删除大量分区慢、报错
最新发布
编程技术、独立开发、技术资讯以及编程感悟等内容
01-31 1274
Hive alter table drop partition删除大量分区慢、报错
Hive动态分区静态分区
qq_52310720的博客
03-07 1271
简述：分区是hive存放数据的一种方式，将列值作为目录来存放数据，就是一个分区，可以有多列。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描不关心的分区，快速定位，提高查询效率。对于静态分区，表的分区数量和分区值是固定的。新增分区或者是加载分区数据时，需要提前指定分区名。对于动态分区，分区的值是不确定的，会根据数据自动的创建新的分区。1.对于静态分区而言分区一开始就是规定好的，包括插入的时候都是根据自己写的东西进行插入。
分区表维护的常用命令：
viviliving的专栏
05-25 3875
分区表维护的常用命令： ALTER TABLE -- DROP -- PARTITION -- ADD | -- RENAME | -- MODIFITY | -- TRUNCATE | -- SPILT | -- MOVE | -- EXCHANGE | 分区索引的常用维护命令： ALTER INDEX -- DROP -- PARTITION -- REBUILD | -- RENAME | -- MODIFITY | -- SPILT | -- PARALLEL -- UNUSABLE 1、
Ambari+HDP集群关闭kerberos认证后遇到的问题
我的博客
06-25 3014
文章目录集群环境操作场景场景一问题及解决方法Hive服务无法启动Hbase服务启动不了Kakfa服务启动不了场景二问题及解决方法HDFS使用hadoop fs 指令出错重启YARN出错HDFS的Datanode不可用跑测试mr出错 集群环境 这里使用的场景是Ambari：2.5.2+HDP：2.6.4 在开启kerberos论证服务后，安装过的Hadoop系列组件均可正常使用，包括hdfs、map...
Jdbc访问hive
zeng6325998的博客
06-20 2751
JDBC访问注意点 如果JDBC代码访问出现问题，解决问题的办法（我们在不同环境出现了不少问题，发现匪夷所思的问题大部分都是版本导致的） 1、校验JDBC URL是否可以使用，在服务器上使用beeline连接这个URL看看是否可以连接的上 2、如果JDBC URL没有问题，那么检查代码中的JDBC的版本(如果是pom文件的话 是hive-jdbc)和服务器hive的版本是否对应的上。如果对应不上，修改下版本使其和服务器一致 1、hiveserver、hiveserver2 的区别 两者都允许远程客户端使用多
hiveJdbc ha 链接报错
yangwy012210的博客
12-06 8029
java hive execute org.apache.hadoop.hive.ql.exec.mr.MapRedTask  安装的是hive2  然后java执行hive 直接select* from table 没有问题 但是带有mr的会包这个错， 然后beeline连接执行查看是版本问题换成 1.2.就ok了 org.apache.hive.jdbc.ZooKeep
Accessing Hive using Java JDBC Issue -Unable to read HiveServer2 uri from ZooKeeper
rainysia的专栏
03-04 9368
启动Hadoop后, 发现hive 一直启动不起来, HIVE 3.1, driver是mysql 5.6 测试了下mysql链接, 配置了 hive-site.xml 里面的mysql Password, 并且开通了mysql远程链接. 进入到mysql后发现没有hive的相关DB. 这下就好办了. 初始化下schema cd /usr/hdp/3.1.0.0-78/hive/bin ...
alter table XXXX drop partition xxxx 不释放存储空间问题
weixin_37650796的博客
12-10 6238
对一个分区表进行清理，由于全是local索引，因此执行删除分区脚本 alter table xxxx drop partition xxxx; 执行完毕发现dba_free_space剩余空间没有变化。 后来发现，执行删除分区脚本必须加上update子句才能释放空间，即使没有全局索引。 alter table xxxx drop partition xxxx update global indexes; ...
ALTER TABLE 分区操作-动态增加一级，多级分区，动态删除分区
weixin_48370579的博客
11-11 4240
1.8.5.6 ALTER TABLE 分区操作 alter 分区操作包括增加分区和删除分区操作，这种分区操作在Spark3.x之后被支持，spark2.4版本不支持，并且使用时，必须在spark配置中加入spark.sql.extensions属性，其值为：org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions，在添加...
join on 后跟or有什么用_left join on 后跟and和where区别
weixin_39759995的博客
02-01 5092
相信很多朋友在写sql的时候会用到 left join on，right join on， inner join on 这种连接方式，但是如果想在我们连接的表中去过滤某个条件该怎么做呢，是直接在 on 后面加 and 还是直接在where中加条件呢？之前自己遇到这种情况总是先去做尝试，对于这其中的原理不明白。通过网上搜索以及自己实践，把自己的见解以及网上搜到的一些结果写下来，以便以后回顾使用。数据...
【数据开发】HiveSQL 临时表&分步执行（with, as ）与时间函数（时间戳unix_timestamp）
小哈里的博客
01-13 2575
语句可以用于分步执行，即将一个大的查询语句拆分成多个小的查询语句，每个小的查询语句都可以使用WITH…语句可以让查询语句更加清晰易懂，同时也可以提高查询效率，因为每个临时表只需要被计算一次，然后就可以在后面的查询语句中反复使用。在上面的示例中，我们将大的查询语句分成了两个小的查询语句，分别定义了两个临时表temp1和temp2，然后在最后的查询语句中使用了这两个临时表。DATE_FORMAT(date, format)：将日期格式化为指定的格式。TO_DATE(date)：将日期时间戳转换为日期。
Hive 实验操作 简记
qq_51308613的博客
04-01 3117
hive简单操作简记
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值