Hive 数据迁移与备份

原创

已于 2023-02-28 09:36:21 修改 · 8.3k 阅读

标签

#hive #big data #hadoop

收录于

于 2021-11-03 16:29:18 首次发布

本文详细介绍了Hive数据迁移的方法，包括使用import和export工具同时迁移表及其数据、分步迁移表和数据的过程，以及迁移步骤的具体操作命令。此外，还提供了在不同场景下（如HDFS集群是否连通）的数据迁移策略。

迁移类型

同时迁移表及其数据（使用import和export）
分步迁移表和数据
1. 迁移表（show create table <tab_name>）
2. 迁移数据
3. 关联表和数据（msck repair）

迁移步骤

将表和数据从 Hive 导出到 HDFS
将表和数据从 HDFS 导出到本地服务器
将表和数据从本地服务器复制到目标服务器
将表和数据从目标服务器上传到目标 HDFS
将表和数据从目标 HDFS 上传到目标 Hive 库

如果原始 HDFS 和目标 HDFS 集群连通，可使用 DiskCP 工具直接跨集群复制，而跳过2~4步

实施过程

目标集群和服务器检查

df -lh # 查看本地空间使用情况
hadoop dfsadmin -report # 查看HDFS集群使用情况
hadoop fs -find / -name warehouse # 查找Hive库位置
hadoop fs -du -h /user/hive/warehouse # 查看Hiv

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

linzeyu

关注关注

10
点赞
踩
34

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hive全库备份整库备份备份数据库数据库备份

yy的博客

02-17

1346

hive备份数据库

2 条评论您还未登录，请先登录后发表或查看评论

hive数据迁移

前方的路在刚开始

01-07

1602

bandwidth100-m100代表每个map传送的宽带是每秒100mb，-m指的是启动100个map。同步方式很多，导出sql，用工具navicat，同步脚本。hive有2种表方式，磁盘和关系型数据库，一般我们都是用mysql，2者操作一样。hive有2种存储方式，存磁盘或者hdfs，2者操作一样，磁盘就scp过去。然后进入迁移后的表，迁移数据后，进入hive在将这个建表sql建立一下。，那么需要在迁移后的表，迁移数据后，进行分区修复。如果迁移失败，导致没有元数据，那么需要重新建表。

Apache Hive数据安全终极指南：5种高效备份与恢复策略详解

最新发布

gitblog_00489的博客

05-06

1088

Apache Hive作为大数据生态中关键的数据仓库工具，其数据安全与可靠性直接影响业务连续性。本文将系统介绍5种实用的Hive数据备份与恢复策略，帮助你构建完善的数据保护机制，确保在意外发生时能够快速恢复关键业务数据。 ### 一、Hive元数据备份：守护数据的"身份证" 元数据是Hive的核心资产，包含表结构、分区信息和数据位置等关键信息。定期备份元数据可有效防止因元数据损坏导致的全库不可

Hive内容分享(十一)：Hive数据迁移

之乎者也·的博客

01-04

2535

在数据量不大的情况下，Hive迁移一般常用的方式是使用Export、Import进行数据和元数据的导出导入，Export会将数据和元数据写到一起，并且元数据在恢复时是直接关联数据的，不需要再做其他的操作。一般在企业进行数据库改造、历史数据库区域创建、业务条线改造等，或是数据库出现瓶颈的情况下，会进行部分数据迁移，那么此时Hive迁移建议使用表和数据分步迁移的方式进行迁移。Hive的数据迁移其实有多种方式，根据需求不同采用的迁移方式也不尽相同，每种迁移的优势也是不同的，其中数据量是影响迁移的重要因素之一。

Hive中备份分区表

mizuhokaga的博客

05-18

3068

0 接手前辈的一个项目有新需求，虽然ods层表是全量采集的不过为了稳妥起见备份原始ods层的表 1.备份分区表旧表名是kpi，先like完全复制原表结果生成bak后缀的备份表 create table if not exists kpi_bak like kpi 我倾向于用like 而不是as select。like虽然只能复制表结构不能带数据，但是可以完全复制表结构（包括分区），备份数据后所占空间和原表差不多。 as select 备份表可以复制表结构和数据，语法简单。缺点是备份表的分区字段会变

hive數據遷移和備份

m0_37759590的博客

04-11

205

hive數據遷移

Hive跨集群迁移

遥望......

10-22

505

Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。 1. 迁移hdfs数据至新集群 hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs://xxx.xxx.xxx.xxx:8020/user/ -skipcrccheck 因本次迁...

技术实践｜Hive数据迁移干货分享

zhongdianjinxin的博客

08-28

1389

Hive的数据迁移其实有多种方式，根据需求不同采用的迁移方式也不尽相同，每种迁移的优势也是不同的，其中数据量是影响迁移的重要因素之一。在数据量不大的情况下，Hive迁移一般常用的方式是使用Export、Import进行数据和元数据的导出导入，Export会将数据和元数据写到一起，并且元数据在恢复时是直接关联数据的，不需要再做其他的操作。同时还直接关联分区，不需要再使用MSCK进行分区修复。

hive数仓数据跨集群迁移

NDF923的专栏

01-14

2593

当前集群是在局域网环境，按要求要迁到阿里云集群上（阿里云的服务器，自己搭建的大数据集群），所以要把hive中的数仓数据迁移到新的集群上。前提 hive有export和import命令（该功能是从hive0.8开始才有的），可以将hive表中的表结构和数据导入和导出。 1、export命令 EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])] TO 'export_target_path' 2、import命令

不同集群的 Hive 迁移方案

houzhizhen的专栏

08-12

1931

本文档描述了怎样把 Hive 数据库从一个 Hadoop 集群迁移到另一个 Hadoop 集群。本文档假定新集群的 Hive 元数据库的内容可以清空。

Hive数据备份和恢复

热门推荐

邹中凡

11-13

1万+

本文说明如何通过把Hive中的数据备份到磁盘中，并从磁盘中恢复到Hive中。1，把Hive中的表数据备份到磁盘中。备份示例：use GRC_BIGDATA; insert overwrite local directory '/root/grc_bigdata/backup/src_companyinfo' ROW FORMAT DELIMITED FIELDS TERMINATED BY '|

hive全库数据及表结构的备份与恢复

王义凯的博客

04-09

3331

在之前的文章中介绍了hive的export和import的使用方式，下面提供一个简单的脚本实现对指定的库列表做全库的数据及元数据的备份以及恢复。 hive的数据导入导出，备份恢复很简单，是利用了awk和sed命令结合hive命令行。首先传入库名列表，再遍历库名使用hive查看该库下所有表，然后拼接字符串到export文件内，前面介绍了export和import的命令仅仅是export和i...

hive中复制（备份）一张表的两种方式

m0_38109926的博客

03-23

8490

hive中复制（备份）一张表的两种方式第一种种方式虽然可以复制表字段、表数据，但是表属性会发生改变 create table if not exists a_tableNMm as select * from b_tabNm 第二种建表语句会完全相同，再加载数据。 create table if not exists a like b insert into a select * from b ...

hive数据备份与恢复

weixin_44154134的博客

08-11

1412

hive 数据备份 ##数据准备 hive> create table demo( > id int comment 'ID', > name string comment '名字') > row format delimited fields terminated by ','; OK Time taken: 0.18 seconds hive> load data local inpath '/data/lilin/demo.txt' into ta

Hive跨集群和版本迁移

L, there!

07-05

1621

公司重新搭建CDH6.0.1，并把旧集群Hive1.1迁移新集群Hive2.1，记录一下过程。步骤：目录步骤： 1. 迁移Hive数据和MySQL中的matastore 1. 迁移Hive数据至新集群，在新集群上执行 2. 在源集群上MySQL导出Hive metastore 3. 在新集群使用Hive用户导入metastore 4. 升级Hive库 5. 修改meta...

hive数据文件备份

qq_27032175的博客

04-25

2708