hive-将数据直接复制到hive的hdfs上然后通过msck repair table tn来导入数据和分区

一、创建外部表

1. partitioned by (etl_date string)必须放在列名括号之后

2. location '/user/hive/dctest/test222'必须放在最后

create external  table test222
(id int,name string) 
partitioned by (etl_date string)
row format delimited 
fields terminated by '|' 
partitioned by (etl_date string)
location '/user/hive/dctest/test222' ;

二、在hdfs上直接上传文件并修复分区

当对hive表进行数据迁移时，比如使用distcp命令，通常在目标集群或库先建立表结构，然后将数据文件copy过去。

如果迁移的表有分区，需要在数据copy过去后对表分区进行修复，将分区信息添加到hive表的元数据信息中。但分区的目录名必须是partition_name=partition_value 分区字段=分区值结构的，否则会报return code 1，将无法添加分区。此时只能使用add partition命令

只有一层分区：

   MSCK REPAIR TABLE table_name;

有多层分区情况：

    set hive.msck.path.validation=ignore;
    MSCK REPAIR TABLE table_name;

三、将hive数据导出到本地和hdfs上

1. 导出的文件并不会自动按分区->目录的形式，而是集中到一个文件中，将额外的分区字段放在最后

2. 可以指定分隔符，如果不指定，默认没有，字段值最紧挨在一起

insert overwrite local directory 'path'  
row format delimited  
fields terminated by '\t' select q1;

insert overwrite directory 'path'  
row format delimited  
fields terminated by '\t' select q1;