flink使用sql-client-defaults.yml无效

本文介绍了如何在Flink1.14及以后版本中,通过修改启动脚本(sql-client.sh)和sql-startup.sql来在启动时自动选择Hivecatalog,以减少配置复杂性。作者分享了从使用旧配置文件到脚本方式的迁移过程和示例。

希望在flink sql脚本启动时自动选择catalog,减少麻烦。于是乎配置sql-client-defaults.yaml:

catalogs:
  - name: hive_catalog
    type: iceberg
    catalog-type: hive
    property-version: 1
    cache-enabled: true
    uri: thrift://localhost:9083
    client: 5
    warehouse: hdfs://localhost:9000/user/hive/warehouse
    hive-conf-dir: /opt/hive/conf

发现没有效果。查了下资料,自flink1.14开始已经不使用sql-client-defaults.yaml了

改用启动sql脚本的方式:

sql-client.sh embedded -i /opt/flink/conf/sql-startup.sql shell

sql-startup.sql:

create catalog hive_catalog with(
'type'='iceberg',
'catalog-type'='hive',
'property-version'='1',
'cache-enabled'='true',
'uri'='thrift://localhost:9083',
'client'='5',
'warehouse'='hdfs://localhost:9000/user/hive/warehouse',
'hive-conf-dir'='/opt/hive/conf'
);

USE CATALOG hive_catalog;
-- create database hive_catalog.test;
use hive_catalog.test;

这样进入后就使用了自己的catalog并默认在test库了

还可执行多个脚本方式:

sql-client.sh embedded shell -i a.sql,b.sql

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FoxMale007

文章非V全文可读,觉得好请打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值