hive数据导入的6种方式

最新推荐文章于 2024-07-27 11:00:39 发布
原创 最新推荐文章于 2024-07-27 11:00:39 发布 · 2.2k 阅读 · 9
标签
#hive
本文详细介绍了Hive数据导入的六种方法：包括使用hadoop fs -put、LOAD DATA、INSERT...VALUES、INSERT...SELECT、CTAS以及CREATE VIEWS。重点比较了CTAS和CREATE VIEWS在效率和使用场景上的差异，对于数据导入提供了实用的操作示例。

目录

1.hadoop fs -put的方式

语法：hadoop fs -put 数据文件名 HDFS目录 的形式暴力导入。【不太推荐】

hadoop fs -put students.txt /home/hadoopUser/apps/hive/warehouse/myhive1029.db/stu1029/
在这里插入图片描述

2.load的方式

可查看hive的官方文档

LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)]

说明：
LOAD操作是单纯的复制或者移动，将数据文件移动到hive表对应的位置。
【local】查找本地linux的filepath位置。
【overwrite】先清空hive表目录下的所有文件，然后再把filepath文件添加进去。

  1. 从本地目录导入数据到hive表，需要添加【local】关键字
    从本地目录复制文件到hive表目录下
    load data local inpath “/home/hadoopUser/文件名” into table 表名;</

最低0.47元/天 解锁文章
Hive导入数据的五种方法
m0_62332728的博客
01-14 5910
介绍Hive表导入数据的五种方法：Load加载数据、insert插入数据、As Select加载数据、Location加载数据、Import加载数据
hive 导入数据的5种方式
热门推荐
不是一枚开发
06-30 7万+
:表示覆盖表中已有数据，否则表示追加如：  从本地文件系统加载数据到hive表   从hdfs文件系统加载数据覆盖hive表 insert into：以追加数据的方式插入到表或分区，原有数据不会删除 insert overwrite：覆盖表中已存在的数据 3. 创建表时加载数据 （1）创建表时使用查询语句 （2）创建表时通过指定加载数据路径先用export导出后，再将数据导入() 如： 从a集群中导出hive表数据： 向b集群中导入数据到hive表： Sqoop User Guide...
Hive导入数据的四种方式
hyj
07-22 1万+
Hive导入数据的四种方式 2、HDFS上导入数据到Hive表 先将文件从本地导入到hdfs上 注意： (1)是移动不是复制，hdfs中的teacher2.txt移动走了。 (2)如果有多个文件可以：load data inpath '/input/*' into table teacher; 3、从别的表中查询出相应的数据并导入到Hi...
Hive几种数据导入方式
xiaoqixiaodong的专栏
02-12 1150
数据导入方式，我总结为四种：  （1）、从本地文件系统中导入数据到Hive表；  （2）、从HDFS上导入数据到Hive表；  （3）、从别的表中查询出相应的数据并导入到Hive表中；  （4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。  我会对每一种数据的导入进行实际的操作，因为纯粹的文字让人看起来很枯燥，而且学起来也很抽象。好了，开始操作！ 一、从本地
Hive导入数据的五种方式
weixin_59295776的博客
12-14 6580
1. Load方式，可以从本地或HDFS上导入，本地是copy，HDFS是移动 本地：load data local inpath ‘/root/student.txt’ into table student; HDFS：load data inpath ‘/user/hive/data/student.txt’ into table student; 2. Insert方式，往表里插入 insert into table student values(1,’zhanshan’); 3. As se
Hive导入数据的6种方式
qq_32445015的博客
10-03 607
下面介绍几种常用的导入数据到hive的方式 1. 加载本地文件到hive load data local inpath '/data/hive/student_info.txt' into table default.student_info 2. 加载hdfs文件到hive中 load data inpath '/data/hive/student...
Hive--导入数据的6种方式
qq_46893497的博客
12-09 3647
总结: 本地文件导入到Hive表– load data local inpath '路径' into/overwrite table 表名 HDFS文件导入到Hive表 load data inpath 'hdfs路径' into/overwrite table 表名 Hive表导入到Hive表(select 或者insert ) 创建表的过程中从其他表导入 create table ... as select xxx from 其他表 从其他表导入 insert into/ov
导入数据到hive表中的6种方式
大数据学习成长之路
03-06 3万+
数据导入六种方式1、加载本地文件到hive表语法2、加载hdfs文件到hive中3、加载数据覆盖表中已有的数据4、创建表时通过select加载create table if not exists default.dept_catsas select * from dept;5、创建表通过insert加载6、创建表的时候通过location指定加载外部表方式create external table...
导入数据进入hive的6种方式
u012957549的博客
12-27 5128
下面介绍几种常用的导入数据到hive的方式 加载本地文件到hive load data local inpath '/data/hive/student_info.txt' into table default.student_info 加载hdfs文件到hive中 load data inpath '/data/hive/student_info.txt' into...
Hive的几种常见的数据导入方式
lz_N_one的博客
07-29 7216
(1)、从本地文件系统中导入数据到Hive表； (2)、从HDFS上导入数据到Hive表； (3)、从别的表中查询出相应的数据并导入到Hive表中； (4)、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。...
Hive四种数据导入方式介绍
on the way的专栏
07-16 5625
问题导读 1.从本地文件系统中通过什么命令可导入数据到Hive表？ 2.什么是动态分区插入？ 3.该如何实现动态分区插入？
Hive导入数据的五种方式及其应用
最新发布
My_wife_QBL的博客
07-27 1399
Hive 提供了多种数据导入方式，以满足不同场景和需求。本文详细介绍了 Hive 导入数据的五种方式，并通过实际案例进行了说明。通过灵活运用这些导入方式，可以高效地管理和处理大数据集。LOAD DATA：适用于将本地文件或 HDFS 文件加载到 Hive 表中。：适用于将查询结果插入到 Hive 表中。：适用于根据查询结果创建新表并插入数据。：适用于管理已经存在于 HDFS 或其他存储系统中的数据文件。：适用于实时导入数据。
hive表导入数据的几种方式
l1394049664的博客
08-10 2182
目录 一、通过LOAD DATA 命令 1、不指定分区 1）、从本地文件系统中导入数据到Hive表 2）、从HDFS上导入数据到Hive表 2、指定分区 二、把select查询的结果插入到指定的表中 1、静态分区导入 2、动态分区导入 3、多表插入 三、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中create table .. as select 四、把数...
往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解
涤生大数据
05-20 1万+
      往hive数据仓库的表中导入数据，可以直接insert ，也可以选择load方式。当然也可以通过第三方工具如sqoop等将数据导入到hive当初。特别注意：hive虽然不会验证用户装载的数据和表的模式是否匹配，但是hive会验证文件的存储格式和hive定义的表结构的存储格式是否一致。比如将文本文件装载到sequencefile表中则报错。 1.往hive表中导入数据    1.lo...
hive表中加载数据方式:表数据的导入五种方式
11-26 7224
直接向分区表中插入数据 create table score3 like score; insert into table score3 partition(month ='201807') values ('001','002','100'); 通过查询插入数据 通过load方式加载数据 load data local inpath '/export/servers/hivedatas/s...
佛祖保佑 永无BUG(网转 by atkfc)
weixin_30488313的博客
08-26 603
// _ooOoo_ // o8888888o // 88" . "88 // (| -_- |) // O\ = /O // ____/`---'\__...
hive几种导入数据方式
weixin_38610500的博客
12-13 2061
load 语法： load data [local] inpath ‘xx’ into table 表名 partition() local: 如果导入的文件在本地文件系统，需要加上local，使用put将本地上传到hdfs 不加local默认导入的文件是在hdfs，使用mv将源文件移动到目标目录 hadoop fs -put department / load data inpath ‘/department’ into table deptpart3 partition(area=‘suzh
Hive数据导入
明日は良くなる
10-23 877
可以通过多种方式将数据导入hive表 1.通过外部表导入 用户在hive上建external表，建表的同时指定hdfs路径，在数据拷贝到指定hdfs路径的同时，也同时完成数据插入external表。 例如： 编辑文件test.txt $ cat test.txt  1       hello 2       world 3       test 4       case 字
hive表中导入数据 多种方法详细说明
nuhao的博客
02-25 2121
- 创建 db_myhive_5-- 创建表score intloaddatalocalinpathscore.txt'overwriteintotabletb_scorepartitionmonth'202006'通过方式加载数据createtablescore3liketb_score;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值