hive → phoenix数据导入导出方案

最新推荐文章于 2024-09-12 18:00:00 发布

原创

最新推荐文章于 2024-09-12 18:00:00 发布 · 5.1k 阅读

标签

#hbase #phoenix

收录于

主要是使用Phoenix Storage Handler for Apache Hive Feature Installation，优势是phoenix自带的feature，支持力度比较好
phoenix主页上相关的介绍[https://phoenix.apache.org/hive_storage_handler.html ]

1. 调研的环境

phoenix 4.8
hive 1.2.1
测试环境共有两个集群。 hbase和hadoop

2. 操作过程

2.1 需要开启的配置项

hbase-site.xml 集群和客户端都需要开启这两项配置

<property>
 <name>phoenix.schema.isNamespaceMappingEnabled</name>
 <value>true</value>
</pr

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AlbertLee1

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Sqoop通过Phoenix导hbase数据到hive

11-06

1 条评论您还未登录，请先登录后发表或查看评论

Phoenix 数据导入与导出

迹_Jason

05-15

7468

Phoenix 官方提供了相应的导入和导出的方案，分别位于：导入：https://phoenix.apache.org/bulk_dataload.html 导入、导出：https://phoenix.apache.org/pig_integration.html 导出需要依赖 Apache Pig 相应进行实现。我们先来聊聊如何导出吧。 **环境：**HDP 3.0.0、HBase 2.0.0...

hbase-phoenix

u012581453的专栏

08-22

934

phoenix 客户端，

Hive集成Phoenix

邢为栋

11-30

1338

Hive支持使用HDFS之外的存储系统作为底层存储系统，其中官方明确支持HBase，Kudu，Druid和JDBC(MySQL等)。 Hive提供了相应的接口 StorageHandlers，用以实现和其他存储系统的整合。 Phoenix实现了相应的接口，可以使用Phoenix作为Hive的底层存储系统，在Hive中操作Phoenix表，并和Hive本地表进行互操作。 Phoenix官网该特性的详细描述可参考 Phoenix Storage Handler for Apache Hive。本文主要描述在C

Hive实战处理（二十三）hive整合phoenix

sheep8521的博客

01-04

1642

业务表使用hbase存储,使用hive整合phoenix，使用sql语法进行数据查询。

技.艺.道：phoenix数据的导入与导出

qq_32254003的博客

07-16

2856

前言 Apache.Phoenix官方口号是：We put the SQL back in NoSQL.以HBASE作为其数据存储基础。更通俗的说法是：phoenix是HBASE的SQL引擎。为本不支持标准SQL语法的NoSQL数据库服务HBase提供了一个用SQL语言交互的入口，降低了使用门槛，拓宽了HBASE的使用范围。基于phoenix和hbase可以在一定的硬件基础上，获得一个“超级My...

在Hive中操作Phoenix，对比Hive查询Hbase

王义凯的博客

06-05

2513

前面介绍过通过Phoenix操作HBase，实现了hbase的SQL语义，以及查询性能的提升，也对比过使用hive查hbase和使用phoenix查hbase的性能，也介绍了如何在hive中查询ES，那么今天我们就尝试在hive中查phoenix。也就是hbase-->Phoenix-->hive这样的链路。

hive数据灌入phoenix

AlexWong的专栏

03-26

1981

apache phoenix！！首先需要在hive命令行创建相应的表，映射到phoenix，具体操作如下： add jar hdfs://***/hive_udf/phoenix-core-4.7.1-HBase-1.1-SNAPSHOT.jar; add jar hdfs://***/hive_udf/phoenix-hive-4.7.1-HBase-1.1-SNAPSHOT.jar; ...

Spring Boot 整合Hive/Phoenix数据源

weixin_44327656的博客

05-08

1981

环境准备 Hadoop : 2.7.3 Hive : 1.2.1 HBase : 1.2 添加依赖 pom.xml文件 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <spring-data-hadoop.version>2....

hbase学习之整合Phoenix与hive

weixin_44178366的博客

10-23

1702

hbase学习之整合Phoenix与hive Phoenix Phoenix简介定义 Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。特点 1）容易集成：如Spark，Hive，Pig，Flume和Map Reduce； 2）操作简单：DML命令以及通过DDL命令创建和操作表和版本化增量更改； 3）支持HBase二级索引创建。架构 Phoenix快速入门部署安装 #1.官网地址 http://phoe

Hive/Phoenix + Druid + JdbcTemplate 在 Spring Boot 下的整合

热门推荐

BalaBalaYi的博客

03-28

1万+

一.POM依赖作者的hadoop集群环境为： HDFS,YARN,MapReduce2 : 2.7.3 Hive : 1.2.1000 HBase : 1.1.2 注：phoenix版本依赖性较强，请注意不同发行版之间的差异（直接从集群服务器上获取jar包最为可靠） UTF-8 2.4.0.RELEASE 1.2.1 4.7 1.

hive 删除数据_Hive中操作Phoenix，对比Hive查询Hbase

weixin_39576751的博客

12-01

153

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多惊喜来源:http://suo.im/6kDoDq作者:王义凯_Rick大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！今天我们尝试在hive中查phoenix。也就是hbase-->Phoenix-->hive这样的链路。环境CDH-6.3.1Hive-2.1.1Phoenix...

hive集成phoenix

xbing的博客

10-16

2228

因为有用到phoenix往hbase中建表及填充数据，所以在使用到hive的时候不能直接通过hive建立hbase的外部表 1. 指定hive的HIVE_AUX_JARS_PATH vi hive-env.sh HIVE_AUX_JARS_PATH=<path to jar> vi hive-site.xml <property> <n...

hive映射hbase，通过phoenix查询该表

weixin_37796929的博客

06-07

1411

rowkey:key(生成规则待定) 列族(单列族)：cf1 列名: id,name,code 1在hive中建表映射到hbase CREATE TABLE tmp.test_hbase_phoenix(key string,id int,name string,code string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageH...

学习hadoop遇到的问题（hive整合phoenix及注意问题）

小马哥的博客

03-08

1613

测试环境：phoenix4.14.1 hbase1.1.1 hive2.3.3 hadoop2.7.2 （由于不是通过CDH/Ambari搭建，所以会出现组件的兼容性问题）聊一聊为什么要使用hive映射phoenix？将数据存储Phoenix，本质是HBase提供的SQL。用于前端的查询，要求RT在秒级以内。phoenix作为hbase二级索引的最佳组合，测试过上百万级别的数据构...

hbase 查询_Hive中操作Phoenix，对比Hive查询Hbase

weixin_39516956的博客

12-01

347

今天我们尝试在hive中查phoenix。也就是hbase-->Phoenix-->hive这样的链路。环境CDH-6.3.1Hive-2.1.1Phoenix-5.0.0Hbase-2.1.0 hive集成phoenix仅支持hive使用mapreduce，tez引擎，不支持spark引擎;如果启用了kerberos，需要使用同时有hive和hbase权限的用户;依赖需要在hive中...

HBase操作组件：Hive、Phoenix、Lealone

SmallSunL的博客

01-08

1875

1、Hive是什么 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了...

Hive on Phoenix

风远陌

11-19

584

简单~ 第一步，参考官网http://phoenix.apache.org/hive_storage_handler.html# 第二步，找到phoenix-xxxx-hive.jar 第三步，Phoenix建表 create table IF NOT EXISTS cz.testtb01 (IDCardNum INTEGER not null primary key, Nam...

hive整合phoenix

用一行行优雅代码重构现实的造梦者，坚信简洁即正义的美学践行者。

04-25

431

一个简单表查询当hive.fetch.task.conversion=more and hive.exec.parallel=true.就可以像在Phoenix CLI一样快。最开始我用的hbase-0.96.2-hadoop2版本，不能整合，这个是需要hbase-client-0.98.21-hadoop2.jar包，更换这个jar包就解决了，但是还是会报下面的错。创建成功，插入也能成功，就是hive查询的时候报错找不到a1列，因为phoenix是aa列。hive表字段与phoenix字段一样就可以了。

大数据组件详解：Spark、Hive、HBase、Phoenix 与 Presto