Hive分区字段含中文报错问题解决方案

最新推荐文章于 2023-06-06 16:24:28 发布

原创

最新推荐文章于 2023-06-06 16:24:28 发布 · 3k 阅读

标签

#hive #大数据

收录于

本文详细讲述了在Hive中遇到中文分区名引发的非法字符集错误，并提供了两种解决方案：一是修改MySQL配置，二是调整Hive元数据库表的字符集。通过实例说明了如何解决Hive中文分区显示乱码和插入错误的问题。

使用Hive创建动态分区时，如果分区中含有中文，会报以下错误。

Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’

原因应该是分区表的编码和全局编码不相同造成的

提供两种解决方案:

方案一：修改mysql配置

临时修改：进入mysql中设置如下参数

set character_set_client = utf8;
set character_set_connection = utf8;
set character_set_results = utf8;
 
SET collation_server = utf8_general_ci
SET collation_database = utf8_general_ci

永久修改：修改mysql配置文件后重启

[root@ambari03 etc] vim /etc/my.cnf
# [client]下添加如下内容
[client]
default-character-set=utf8
# [mysqld]下添加如下内容
[mysqld]
default-character-set=utf8
init_connect='SET NAMES utf8'
# [mysql]下添加如下内容
[mysql]
default-character-set=utf8

然后systemctl restart mysqld重启mysql服务

使用该方法后仍未能解决问题！

方案二：修改mysql中Hive元数据库各个表的编码

进入mysql后，执行以下语句修改hive元数据表的编码信息

alter database hive_meta default character set utf8;
alter table BUCKETING_COLS default character set utf8;
alter table CDS default character set utf8;
alter