Pyspark读取hive表数据进行处理，将结果插入到hive及hbase

最新推荐文章于 2025-12-17 01:10:15 发布

原创

最新推荐文章于 2025-12-17 01:10:15 发布 · 2.6k 阅读

标签

#spark #hive

收录于

本文介绍了如何使用Pyspark从hive表中读取数据，进行处理后，将结果分别插入到新的hive表和hbase。首先，通过ReadConfig()方法读取配置文件获取相关参数。然后，DataDeal类包含了初始化sparksession、读取hive数据、数据处理、插入hive和hbase的方法。数据处理过程中，使用了开源的shc框架来写入hbase。

文章目录

前言
一、基本思路
- 1.创建参数初始化方法ReadConfig();
- 2.创建一个数据处理类DataDeal()：
二、实现过程及说明
总结

前言

项目需要使用pyspark将hive数据进行处理插入到hive表及hbase中，刚开始接触spark，记录了学习的过程帮助初学者。

一、基本思路

1.创建参数初始化方法ReadConfig();

读取key:value格式的配置文件，获取“表名”、“列名”、“日期”等相关的参数传递给数据处理类。
配置文件格式如下：
source_table:test_a #源表
target_table:test_b #目标表
columns:A,B,C #列名
base_hdfs_dir:/warehouse/tablespace/managed/hive/test.db/test_a/ #源表hdfs路径
inner_tb_loc:/warehouse/tablespace/managed/hive/test.db/test_b/ #目标表hdfs路径

2.创建一个数据处理类DataDeal()：

包括sparksession的初始化方法：CreateSparkSession(self,SessionName)；
包括hive数据读取方法：HiveExtenalRead(self)；
数据处理方法：InnerTbDeal(self,DataFrame)；
插入到hive方法：JsonToHive(self, DataFrame)；
插入到hbase方法：JsonToHbaseShc(self, DataFrame)；