Flink-SQL 读取hbase 问题总结

青山流水在深谷

关注

已于 2024-03-28 09:30:01 修改 · 1.2k 阅读

原创

本文为博客 VIP 文章，开通 VIP 后可阅读全文

开通 VIP

flink-sql 读取hbase 维度数据配置

若维度数据插入后几乎不发生更新,或不发生更新,可以用hbase存储大数据量维度数据
可以同步异步读取hbase数据,提高flink与外部hbase 交互的并发数

flink-sql连接hbase 配置

hbase相关配置


CREATE TABLE dim_hljy_ord_stu_info (
      rowkey STRING, 
      cf1 ROW<id BIGINT ,order_type STRING ,order_no STRING  ,create_time timestamp(1) ,update_time timestamp(1) ,is_deleted tinyint>,
      PRIMARY KEY (rowkey) NOT ENFORCED
 ) WITH (
        'connector' = 'hbase-2.2',
      'table-name' = 'dim:dim_stu_info',
      'zookeeper.quorum' = 'localhost:2181',
      'sink.buffer-flush.max-size'='10mb',
      'sink.buffer-flush.max-rows' = '2000',
      'sink.buffer-flush.interval' = '1s',
      'sink.async' = 'true' 
 );

– flink-sql 读取hbase列簇(数据列)

  SELECT  cf1.order_type from dim_hljy_ord_stu_info limit 10 ;

<

最低0.47元/天解锁文章

收录于

当前文章被以下社区和专栏收录：

标签

#hbase #flink #sql

Flink1.2.1通过Table API / Flink SQL读取HBase2.4.0 最近需要整一个推荐系统，学了下Flink，整合HBase出了很多怪问题<= 主要还是Hadoop生态各种组件组合时的配置文件配置不熟悉。 1. 环境废话不多说，这里用到的环境如下（不确定是否都必要，但是至少我是这个环境） zookeeper 3.6.2 Hbase 2.4.0 Flink 1.2.1 2. HBase表 # 创建表 create 'u_m_01' , 'u_m_r' # 插入数据 put 'u_m_01', 'a,A', 'u_m_r:r' , '1' put . 阅读详情

相关推荐

Flink读取hbase的数据然后对数据进行业务操作以后写入到hbase中

import cn.flink.streaming.sink.VehicleDetailSinkFunction; import cn.flink.streaming.source.VechileDetailSourceFunction; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.api.java.tuple.Tuple9; import org.apache.f

不会写代码 1150

flink SQL与hbase整合

一、前言 flink sql 与hbase 整合主要实现：flink sql 客户端中的hbase表与hbase中的表数据交互，为以后纯sql编写程序做准备如：创建kafka表、hive表、hbase表、mysql表，kafka表作为source hive表 sql语句加工作为算子 hbase表、mysql表作为sink表 1.flink sql 客户端中能读取hbase shell 写入的数据 2.flink sql 客户端写入hbase表中的数据在hbase shell中能读取 flink ..

m0_37592814的博客 5678

Flink sql 基于hbase，mysql的维表实战 -未完

目前需要用到维表数据，所以选择hbase作为维表数据存储 1）sql加载kafka的数据

qq_31866793的博客 3224

FlinkSQL读取Hbase数据

概述最近项目中用到flink进行实时计算，流程为从kafka读取数据，如果是维度数据，则插入到hbase中，如果是需要实时计算的数据，则进行实时计算，并将计算结果保存到MySQL中。在实时计算过程中，可能会用到hbase中的维度数据，为了开发的效率，使用flink-sql的方式实现。 flink-sql是在flink流式计算的基础上进行了高度抽象，使开发过程更简单，更有效率，但要理解sql执行背后的原理还是需要仔细学习flink流式计算的相关内容。本文主要以flink-sql实现相关功能。假设需

Baron_ND的博客 7287

【好文收藏】Flink1.14.3 Table与HBase集成遇到的坑

摘要 1.使用最新Flink1.14.3版本集成HBase，很多老的API已经过时。 2.Flink1.14.3与HBase集成有很多兼容性问题 3.Flink1.14.3与HBase集成实现代码比较稀缺，即使官方文档也有很多问题没有交代清楚，有很多坑。 1 需求需求：Flink Table API从HBase NOSQL数据库读取表数据。 2 添加Maven依赖 FlinkTable集成HBase需引⼊如下依赖： <dependency> <groupId>..

大数据研习社 1724

Flink学习笔记（五）：与kafka、HBase整合案例

文章目录案例1.从kafka读取数据再写入kafka案例2.从kafka读取数据写入hbase案例3.从kafka读取数据写入Mysql 案例1.从kafka读取数据再写入kafka 环境： flink版本：1.7.2 kafka版本：2.1.1 flink与kafka交互有多种方式，本案例通过dataStream的addSource和addSink的方式与kafka交互。flink默认支持k...

gentlewei的博客 1885

1.12 Flink HBase SQL 连接器

之前直接搬了1.14的连接器嫁接了一下，呆胶布 HBase 连接器支持读取和写入 HBase 集群。本文档介绍如何使用 HBase 连接器基于 HBase 进行 SQL 查询。 HBase 连接器在 upsert 模式下运行，可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于 HBase 的 rowkey 字段定义。如果没有声明主键，HBase 连接器默认取 rowkey 作为主键。 1.1依赖为了使用HBase连接器，使用构建自动化工具（如Maven或SBT）的项目.

GavinKai 1645

batchplot3.5.9如何使用_Flink 1.9 -- SQL 使用注意点

Flink 1.9 版本开源了很多 Blink 方面的功能，尤其是在 SQL 方面，这使得我们在开发 Flink 实时任务变得更加方便。目前 Blink SQL 支持了 Create Table 功能，以及维表的功能。我们的实时任务整体流程为，读取Kafka的数据，然后去关联 HBase 维表的数据，最后在输出到 Kafka 中，虽然整体流程跑通，但是其中也遇到了很多坑，这里记录一下，和大家一起分...

weixin_39688687的博客 114

Flink读取kafka主题，并写入hbase

是版本号错误 flink-sql-connector-hbase-2.2-1.17.2.jar 1.17.2与flink版本号不对。hbase(main):014:0> create 'venn','cf' 创建表，有一个列族cf。（4）对于一大题，可拆成若干步，如上面可拆成连接kafka，连接hbase，插入三步，缩小问题范围。本次解决问题是用了flink-sql-connector-hbase-2.2-1.17.2.jar。{"字段1": "值1", "字段2":"值2", ……

taoyundao_1的博客 2836

HBase Flink操作

Apache Flink 是一个开源的分布式流处理框架，能够高效地处理和分析实时数据流以及批数据。HBase 是一个分布式、面向列的开源数据库，是 Hadoop 项目的子项目，适合非结构化数据结构的存储，并提供实时读写能力。

王小工小工历程 1865

Flink源码分析 | 读取HBase配置

上面文章中总结了Flink 获取 HBase 配置的逻辑和优先级，但是并没有对源码进行分析，本文主要是补充这一部分的源码分析。

主要分享大数据相关的知识，如Spark、Hudi 1472

Flink Table 读写Hbase

Flink Table 读写Hbase1、获取表环境2、创建Hbase表连接3、Hbase读取计算和写入3.1利用Flink SQL读取Hbase明细表和计算3.2写入Hbase聚合表4、pom5、demo代码 1、获取表环境批处理为例 // 批执行环境 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // StreamExecutionEnvironment

NuOne_plus的博客 1759

Flink SQL 实战：HBase 的结合应用

本文主要介绍 HBase 和 Flink SQL 的结合使用。HBase 作为 Google 发表 Big Table 论文的开源实现版本，是一种分布式列式存储的数据库，构建在 HDFS...

Ververica的博客 1567

flink sql 读取 kafka 数据写入 Hbase中

版本说明： flink 1.12 、Hbase 1.4 1、查询 flink 1.12 的官网，找寻flink sql 连接 Hbase 的信息。 Apache Flink 1.12 Documentation: HBase SQL Connector 根据 Hbase 版本需要下载依赖官网中的连接信息 -- register the HBase table 'mytable' in Flink SQL CREATE TABLE hTable ( rowkey I...

zuixue_lei的博客 2430

flink实战（一） flink-sql关联hbase维度数据处理

zhaocuit的博客 5483

Flink 内容分享(七)：Flink 读写 HBase 总结

总结 Flink 读写 HBase本文总结了Flink SQL 读写 HBase 的参数配置，解决了在kerberos环境下因 hudi 包 hbase-site.xml 配置冲突引起的异常，学习总结了 Flink SQL 读写 HBase 时加载 HBase 配置的优先级，但是没有详细的分析源码中的逻辑，可能会在后面的文章中补充相关的源码分析~

之乎者也·的博客 5247

Flink SQL查询HBase维表

本文讲解了通过Flink SQL查询Hbase维度数据的方法和示例

修破立生 3864

Flink SQL与HBase的集成

版本说明： flink-1.12.1 hbase-1.4.13 目录（1）Flink SQL与HBase的集成配置（2）测试Flink SQL与HBase集成代码（3）测试kafka数据源与HBase写入数据（1）Flink SQL与HBase的集成配置第一步：Maven dependency <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector