本文介绍了Hive数据迁移的两种主要类型——整体迁移和分步迁移，详细阐述了各自的适用场景和实施步骤，包括导出、导入数据、修复元数据以及注意事项。
目录
1. Hive迁移类型
■ 表和数据整体迁移
一般在企业进行大数据平台产品的升级更换（如国产化）、机房搬迁、物理机转向云平台等情况下，会进行整库迁移，那么此时Hive迁移建议使用表和数据整体迁移的方式进行迁移。
■ 表和数据分步迁移
一般在企业进行数据库改造、历史数据库区域创建、业务条线改造等，或是数据库出现瓶颈的情况下，会进行部分数据迁移，那么此时Hive迁移建议使用表和数据分步迁移的方式进行迁移。
2. Hive迁移步骤
（1）将表和数据从老集群Hive导出到老集群HDFS
（2）将表和数据从老集群HDFS导出到老集群本地磁盘或共享磁盘
（3）将表和数据从老集群本地磁盘复制到新集群本地磁盘（如共享磁盘此步骤省略）
（4）将表和数据从新集群本地磁盘或共享磁盘上传到新集群HDFS
（5）修复新集群Hive数据库元数据
如果老集群HDFS和新集群HDFS连通，可使用DistCp工具跨集群复制，跳过中间步骤，直接执行第5步。
3. Hive迁移实施步骤
■ 新集群和服务器检查
#查看本地空间使用情况是否足够
df -h#查看HDFS集群使用情况是否满足
hadoop dfsadmin -report#查找Hive库存储位置
hadoop fs -find / -name warehouse</
扫一扫
950
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
