Spark thriftserver和beeline的简单使用

最新推荐文章于 2024-10-18 23:12:25 发布
原创 最新推荐文章于 2024-10-18 23:12:25 发布 · 2.7k 阅读 · 0
本文介绍了如何设置Spark Thriftserver的元数据库，包括创建`hive-site.xml`配置文件，详细讲解了元数据库的配置过程。接着，文章阐述了启动Thriftserver的步骤，并指导读者在$SPARK_HOME环境下使用Beeline连接Thriftserver进行操作。

1.设置元数据库

如果不设置，则使用$SPARK_HOME/metastore_db/，是只支持单用户的derby

创建$SPARK_HOME/conf/hive-site.xml

<configuration>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hostname:3306/hive_meta?createDatabaseIfNotExist=true</value>
    <description>JDBC的连接字符串，如果没有hive_meta这个数据库则自动创建</description>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>连接JDBC元数据库的Driver类名，mariadb和mysql都用这个</description>
</property&g
标签
#spark #hive #beeline #thriftserver
最低0.47元/天 解锁文章
Spark-SQL连接Hive 的五种方法
m0_73734232的博客
12-11 4060
Spark-SQL连接Hive 的五种方法
hive安装、配置及spark-sql远程连接hive服务
m0_50289266的博客
03-14 2656
hive安装、配置及spark-sql远程连接hive服务
Spark与Hive的Beeline运行机制
简单就好
01-03 6363
因为业务中主要使用Spark Thriftserver作为adhoc查询服务，而Spark原生是不支持SQLStdBasedAuthorization，所以需要调研这方面源码，本文将这方面的理解分享给大家，如有错误欢迎指出。Spark的beeline在很多地方直接沿袭hive的beeline，当然Spark也有很多适应性的本地化改造，下面从数据流的角度来讲解。 (注：Spark源码主要依据spar
DataGrip远程连接Spark-sql，和使用beeline命令来连接hive
最新发布
ABU009的博客
10-18 1838
#DataGrip连接Spark SQL #sparksql与hive整合后，使用beeline命令进入hive
Hive的hiveserver2和beeline的使用以及spark thritfserver的启动
a18792721831的博客
02-24 6818
Hive的hiveserver2和beeline的使用以及spark thritfserver的启动Hive 的hiveserver2介绍hiveserver2 的配置beeline连接hiveserver2配置hiveserver2的界面spark thriftserver的配置beeline 连接spark thriftserverthriftserver和spark-sql对比spark sql 程序连接thriftserver Hive 的hiveserver2介绍 HiveServer2 (HS2
Spark Sql之ThriftServer和Beeline的使用
u011250186的博客
11-26 578
概述 ThriftServer相当于service层，而ThriftServer通过Beeline 来连接数据库。客户端用于连接JDBC的Server的一个工具 步骤 1：启动metastore服务 ./sbin/start-thriftserver.sh 2：连接 [rachel@bigdata-senior01 spark-2.2.0-bin]$ ./bin/beeline Beeline version 1.2.1.spark2 by Apache Hive beeline...
Spark中ThriftServer、HiveServer2、MetaStore、Beeline之间的关系
奇迹虎虎的博客
02-26 4133
在实际大数据分析项目中，使用 SparkSQL 时，往往启动一个 SparkThriftserver 服务，分配较多资源（Executor数目和内存、CPU），不同的用户启动客户端比如 beeline 连接它，编写SQL语句分析数据，方便集中管理。
【spark-sql】使用thriftserver/beeline,spark访问hive
06-06 720
一、使用thriftserver/beeline,spark访问hive 1.启动thriftserver：默认端口是10000 （端口可以修改） cd /opt/spark/sbin ./start-thriftserver.sh --master local[2] --jars /opt/mysql-connector-java-5.1.22-bin.jar 2.启动beeline -n 用户名 ./beeline -u jdbc:hive2://localhost:10000 -n root
SparkSQL之thriftserver/beeline的使用
vincent_duan的专栏
03-27 734
启动thriftserver 使用命令启动：./start-thriftserver.sh --master local[2] --jars /home/iie4bu/software/mysql-connector-java-5.1.35.jar。 然后使用jps -m查看，可以看到SparkSubmit 同样可以通过浏览器进行访问。实际上beeline访问端口则需要访问10000 启动客户...
使用spark-SQL的thriftserver和beeline的方式连接hive
weixin_42873992的博客
09-06 1344
1. 准备条件 ①　需要将hive-site.xml文件拷贝到Spark的conf目录下，这样就可以通过这个配置文件找到Hive的元数据以及数据存放位置。 ②　如果Hive的元数据存放在Mysql中，我们还需要准备好Mysql相关驱动，比如：mysql-connector-java-5.1.35.jar 2. 启动参数设置 2.1 启动thriftserver: 默认端口是10000，可以自定义设...
sparkSql 中，beeline 连接thriftserver 来操作表中的数据
leizhengtao520的博客
05-24 2193
beeline:客户端，负责与thriftserver连接thriftserver ：服务端，负责允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。 使用jdbc协议连接hive的thriftserver服务器。正常的hive仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveS...
Spark SQL 使用beeline访问hive仓库
weixin_33860722的博客
05-21 1685
一、添加hive-site.xml 在$SPARK_HOME/conf下添加hive-site.xml的配置文件，目的是能正常访问hive的元数据 vim hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> ...
一.SparkSQL中thriftserver和beeline的使用
飞翔的宇宙
10-08 3575
使用的前提是你已经安装好了spark,在这里我使用的版本是spark-2.0.2-bin-hadoop2.7,建议使用该版本,因为试了几个版本都不理想,最后找到了这个版本感觉挺好的,学习Spark SQL很方便. 1. 首先是启动thriftserver服务端: 服务器端是在spark目录下的sbin目录下,但是启动的时候不能直接使用./start-thriftserver.sh进行启动,会报没有...
SparkSql 之ThriftServer和Beeline的使用
Rachel的博客
10-14 700
概述 ThriftServer相当于service层，而ThriftServer通过Beeline 来连接数据库。客户端用于连接JDBC的Server的一个工具 步骤 1：启动metastore服务 ./sbin/start-thriftserver.sh 2：连接 [rachel@bigdata-senior01 spark-2.2.0-bin]$ ./bin/beeline ...
spark基础之Spark SQL和Hive的集成以及ThriftServer配置
热门推荐
happy19870612's blog
10-27 1万+
如果希望Maven编译Spark时支持Hive,需要给定-Phive -Phive-thriftserver。比如比如：mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-Phive -Phive-thriftserver -DskipTests clean package   一 Spark SQL和Hive集成 1.1 将hive的配置文件hiv
thriftserver/beeline/jdbc等方式连接到SparkSQL
段渣渣推轮子的飙车场
03-28 2446
版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～ https://blog.csdn.net/xiaoduan_/article/details/79730384 thriftserver/beeline、jdbc等方式连接到SparkSQL thriftserver和beeline的简单配置和使用 启动thriftserver: 默认端口是10000 ，可以修...
spark-shell、spark-sql、thriftserver beeline 的区别
weixin_37417954的博客
07-03 2386
spark-shell、spark-sql 都是是一个独立的 spark application，启动几个就是几个 spark application每次都要重新启动申请资源。 用thriftserver，无论启动多少个客户端（beeline），只要是连在一个thriftserver上，它都是一个spark application，后面不用在重新申请资源。能数据共享（上一个beeli...
spark中thriftserver服务端、beeline客户端使用
GulfMoon
09-27 2026
一、thriftserver服务端 1. 启动服务 $SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1 1）指定服务端端口 hive.server2.thrift.port ...
通过thriftserver的beeline/jdbc等方式连接到SparkSQL
weixin_30617797的博客
11-08 238
thriftserver和beeline的简单配置和使用启动thriftserver: 默认端口是10000 ，可以修改 $ ./${SPARK_HOME}/sbin/start-thriftserver.sh --master local[2] --jars ~/software/mysql-connector-java-5.1.27-bin.jar 同样需要通过 --jars 传入mysql驱...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值