Lakehouse ランタイム カタログを使用して Spark と Hive を設定する

コンソール

1. コンソールで、[Lakehouse] ページを開きます。 Google Cloud

   Lakehouse に移動

2. [カタログを作成] をクリックします。

3. [Lakehouse ランタイム カタログ] を選択します。

4. [**カタログタイプ**] で、[**Hive Metastore**] を選択します。

5. [Cloud Storage バケットを選択] フィールドに、カタログで使用する Cloud Storage バケットの名前を入力します。または、[参照] をクリックして、既存のバケットを選択するか、新しいバケットを作成します。

6. [**カタログ ID**] に、Lakehouse Hive カタログの名前を指定します。

7. [**プライマリ ロケーション**] に、バケットと同じリージョンを指定します。

8. [作成] をクリックします。

gcloud

Hive カタログを作成するには、次のコマンドを実行します。

gcloud biglake hive catalogs create LAKEHOUSE_CATALOG_ID \
    --project=PROJECT_ID
    --location-uri="gs://GCS_WAREHOUSE_PATH" \
    --primary_location=REGION \
    --description="DESCRIPTION"

次のように置き換えます。

• LAKEHOUSE_CATALOG_ID: Hive カタログ名。

• GCS_WAREHOUSE_PATH: Hive ウェアハウスを保存する Cloud Storage パス。

• PROJECT_ID: プロジェクト ID。 Google Cloud

• REGION: メタストアのプライマリ リージョン。単一リージョン バケットの場合は、バケット リージョンと一致する必要があります。デュアルリージョン バケットまたはマルチリージョン バケットの場合は、構成リージョンのいずれかであり、メタストアのプライマリ レプリカが配置される場所である必要があります。 もう一方のリージョンはセカンダリ レプリカになります。

• DESCRIPTION: カタログの説明。

curl

1. Hive カタログを作成するには、次のコマンドを実行します。

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"locationUri": "gs://GCS_WAREHOUSE_PATH", "description": "DESCRIPTION"}' \
-H "Content-Type:application/json" \ "https://biglake.googleapis.com/hive/v1/projects/PROJECT_ID/catalogs?hiveCatalogId=LAKEHOUSE_CATALOG_ID&primary_location=REGION"

次のように置き換えます。

• LAKEHOUSE_CATALOG_ID: Hive カタログ名。

• GCS_WAREHOUSE_PATH: Hive ウェアハウスを保存する Cloud Storage パス。

• PROJECT_ID: 実際の Google Cloud プロジェクト ID。

• REGION: メタストアのプライマリ リージョン。単一リージョン バケットの場合は、バケット リージョンと一致する必要があります。デュアルリージョン バケットまたはマルチリージョン バケットの場合は、構成リージョンのいずれかであり、メタストアのプライマリ レプリカが配置される場所である必要があります。もう一方のリージョンはセカンダリ レプリカになります。

• DESCRIPTION: カタログの説明。

spark-sql

1. SSH を使用して、Managed Service for Apache Spark クラスタのプライマリ ノードに接続します。

2. 次のプロパティを指定してコマンドラインで spark-sql を実行し、インタラクティブな Spark SQL セッションを開始します。

   spark-sql \
       --conf spark.hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
       --conf spark.hive.metastore.blms.project.id=PROJECT_ID \
       --conf spark.hive.metastore.blms.catalog.default=LAKEHOUSE_CATALOG_ID \
       --conf spark.hive.metastore.warehouse.dir=gs://GCS_WAREHOUSE_PATH
   

3. セッションが開始すると、Spark は Lakehouse ランタイム カタログに接続します。

   次のコマンドを実行して、リソースを作成してクエリします。

   
   -- Show all the databases in the current project.
   SHOW DATABASES;
   
   -- Create a database.
   CREATE DATABASE spark_blms_database;
   
   -- Create a Parquet datasource table.
   CREATE TABLE spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;
   
   -- Insert data into the table.
   INSERT INTO TABLE spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');
   

   次のように置き換えます。

   • PROJECT_ID: 実際の Google Cloud プロジェクト ID。

   • LAKEHOUSE_CATALOG_ID: Hive カタログ名。

   • GCS_WAREHOUSE_PATH: Hive ウェアハウスを保存する Cloud Storage パス。

Jupyter ノートブック

1. 手順に沿って、Managed Service for Apache Spark クラスタで Jupyter ノートブックを実行します。
2. コンソールのクラスタの詳細ページの [**ウェブ インターフェース**] タブから Jupyter ウェブ インターフェースにアクセスします。 Google Cloud

3. 新しいノートブックで Spark セッションを作成し、次のクエリを実行します。

   from pyspark.sql import SparkSession
   
   # If a Spark session exists, stop it first by running spark.stop()
   spark = SparkSession.builder\
       .master("local")\
       .appName("Lakehouse runtime catalog tutorial")\
       .config("spark.hive.metastore.client.factory.class", "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory")\
       .config("spark.hive.metastore.blms.project.id", "PROJECT_ID")\
       .config("spark.hive.metastore.warehouse.dir", "gs://GCS_WAREHOUSE_PATH")\
       .config("spark.hive.metastore.blms.catalog.default", "LAKEHOUSE_CATALOG_ID")\
       .getOrCreate()
   
   # Show all the databases.
   df = spark.sql("SHOW DATABASES;")
   df.show()
   
   # Create a database.
   spark.sql("CREATE DATABASE jupyter_blms_db")
   
   # Create a Parquet datasource table.
   spark.sql("CREATE TABLE jupyter_blms_db.parquet_table(id INT, name STRING) USING PARQUET")
   
   # Insert data into the table.
   spark.sql("INSERT INTO TABLE jupyter_blms_db.parquet_table VALUES (1, 'my-first-user');")
   
   # Query from table.
   spark.sql("SELECT * FROM jupyter_blms_db.parquet_table;").show()
   

   次のように置き換えます。

   • PROJECT_ID: 実際の Google Cloud プロジェクト ID。

   • GCS_WAREHOUSE_PATH: Hive ウェアハウスを保存する Cloud Storage パス。

   • LAKEHOUSE_CATALOG_ID: Hive カタログ名。

BigQuery ノートブック

1. コンソールで、[BigQuery] に移動します。 Google Cloud

   BigQuery に移動

2. [**エクスプローラ**] ペインで、[**+ 追加**] をクリックし、[**Python ノートブック**] をクリックします。

3. コードセルで、Managed Service for Apache Spark セッションと Lakehouse ランタイム カタログのプロパティを構成します。

   from google.cloud.dataproc_spark_connect import DataprocSparkSession
   from google.cloud.dataproc_v1 import Session
   import os
   
   os.environ['DATAPROC_SPARK_CONNECT_DEFAULT_DATASOURCE'] = ""
   
   session = Session()
   session.environment_config.execution_config.ttl = {"seconds": 864000}
   session.runtime_config.version = "2.3"
   session.runtime_config.properties = {
    "spark.hive.metastore.blms.project.id": "PROJECT_ID",
    "spark.hive.metastore.blms.catalog.default": "LAKEHOUSE_CATALOG_ID",
    "spark.hive.metastore.warehouse.dir": "gs://GCS_WAREHOUSE_PATH",
    "spark.hive.metastore.client.factory.class": "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory",
    "spark.sql.catalogImplementation": "hive"
   }
   
   spark = DataprocSparkSession.builder.dataprocSessionConfig(session).getOrCreate()
   print("Spark session created successfully")
   

4. 別のコードセルで、データベースとテーブルを作成します。

   # Create a database
   spark.sql("CREATE DATABASE bq_spark_blms_database;")
   
   # Create a parquet datasource table
   spark.sql("CREATE TABLE bq_spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;")
   
   # Insert data into the table
   spark.sql("INSERT INTO TABLE bq_spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');")
   
   # Query from table
   spark.sql("select * from bq_spark_blms_database.parquet_quick_start;").show()
   

   次のように置き換えます。

   • PROJECT_ID: 実際の Google Cloud プロジェクト ID。

   • GCS_WAREHOUSE_PATH: Hive ウェアハウスを保存する Cloud Storage パス。

   • LAKEHOUSE_CATALOG_ID: Hive カタログ名。

Hive CLI

Hive CLI を使用するには、メタストアに接続するように構成する必要があります。これを行うには、次の 2 つの方法があります。

• オプション 1: 永続的な構成。プライマリ ノードの /etc/hive/conf/hive-site.xml ファイルを更新します。
• オプション 2: 一時的な構成。CLI の起動時に構成フラグを指定します。

CLI を構成してクエリ セッションを実行する手順は次のとおりです。

1. SSH を使用して、Managed Service for Apache Spark クラスタのプライマリ ノードに接続します。

2. 構成方法に応じて、次のいずれかを行います。

   • 永続的に構成するには（オプション 1）:

     1. プライマリ ノードで /etc/hive/conf/hive-site.xml を開き、次のプロパティを追加します。

        <property>
            <name>hive.metastore.blms.project.id</name>
            <value>PROJECT_ID</value>
            <description></description>
        </property>
        
        <property>
            <name>hive.metastore.client.factory.class</name>
            <value>com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.blms.catalog.default</name>
            <value>LAKEHOUSE_CATALOG_ID</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>gs://GCS_WAREHOUSE_PATH</value>
            <description></description>
        </property>
        

     2. Hive CLI を起動します。

        hive
        

   • 起動時に一時的に構成するには（オプション 2）: 構成フラグを指定して Hive CLI を起動します。

     hive \
     --hiveconf hive.metastore.blms.project.id="PROJECT_ID" \
     --hiveconf hive.metastore.blms.catalog.default="LAKEHOUSE_CATALOG_ID" \
     --hiveconf hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
     --hiveconf hive.metastore.warehouse.dir="gs://GCS_WAREHOUSE_PATH"
     

3. 次に、Hive CLI セッションで次のコマンドを実行します。

   show databases;
   create database hive_query_test;
   create table hive_query_test.parquet_table (id INT, name STRING) stored as PARQUET;
   select * from hive_query_test.parquet_table;
   

   次のように置き換えます。

   • PROJECT_ID: 実際の Google Cloud プロジェクト ID。

   • LAKEHOUSE_CATALOG_ID: Hive カタログ名。

   • GCS_WAREHOUSE_PATH: Hive ウェアハウスを保存する Cloud Storage パス。