Spark und Hive mit dem Lakehouse-Laufzeitkatalog einrichten

Console

1. Öffnen Sie in der Google Cloud Console die Seite Lakehouse.

   Zu Lakehouse

2. Klicken Sie auf Katalog erstellen.

3. Wählen Sie Lakehouse-Laufzeitkatalog aus.

4. Wählen Sie unter Katalogtyp die Option Hive-Metastore aus.

5. Geben Sie im Feld Cloud Storage-Bucket auswählen den Namen des Cloud Storage-Buckets ein, der mit Ihrem Katalog verwendet werden soll. Alternativ können Sie auf Durchsuchen klicken, um einen vorhandenen Bucket auszuwählen oder einen neuen zu erstellen.

6. Geben Sie unter Katalog-ID einen Namen für Ihren Lakehouse Hive-Katalog ein.

7. Geben Sie unter Primärer Standort dieselbe Region wie für Ihren Bucket an.

8. Klicken Sie auf Erstellen.

gcloud

Führen Sie den folgenden Befehl aus, um einen Hive-Katalog zu erstellen:

gcloud biglake hive catalogs create LAKEHOUSE_CATALOG_ID \
    --project=PROJECT_ID
    --location-uri="gs://GCS_WAREHOUSE_PATH" \
    --primary_location=REGION \
    --description="DESCRIPTION"

Dabei gilt:

• LAKEHOUSE_CATALOG_ID: der Name des Hive-Katalogs.

• GCS_WAREHOUSE_PATH: der Cloud Storage-Pfad, in dem Ihr Hive-Data-Warehouse gespeichert ist.

• PROJECT_ID: Ihre Google Cloud Projekt-ID.

• REGION: die primäre Region des Metastores. Bei Buckets mit einer einzelnen Region muss sie mit der Bucket-Region übereinstimmen. Bei Buckets mit zwei oder mehreren Regionen muss sie eine der Regionen sein und der Ort, an dem sich das primäre Replikat des Metastores befinden soll. Die andere Region wird zum sekundären Replikat.

• DESCRIPTION: eine Beschreibung des Katalogs.

curl

1. Führen Sie den folgenden Befehl aus, um einen Hive-Katalog zu erstellen:

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"locationUri": "gs://GCS_WAREHOUSE_PATH", "description": "DESCRIPTION"}' \
-H "Content-Type:application/json" \ "https://biglake.googleapis.com/hive/v1/projects/PROJECT_ID/catalogs?hiveCatalogId=LAKEHOUSE_CATALOG_ID&primary_location=REGION"

Dabei gilt:

• LAKEHOUSE_CATALOG_ID: der Name des Hive-Katalogs.

• GCS_WAREHOUSE_PATH: der Cloud Storage-Pfad, in dem Ihr Hive-Data-Warehouse gespeichert ist.

• PROJECT_ID: Ihre Google Cloud Projekt-ID.

• REGION: die primäre Region des Metastores. Bei Buckets mit einer einzelnen Region muss sie mit der Bucket-Region übereinstimmen. Bei Buckets mit zwei oder mehreren Regionen muss sie eine der Regionen sein und der Ort, an dem sich das primäre Replikat des Metastores befinden soll. Die andere Region wird zum sekundären Replikat.

• DESCRIPTION: eine Beschreibung des Katalogs.

spark-sql

1. Stellen Sie über SSH eine Verbindung zum primären Knoten Ihres Managed Service for Apache Spark-Clusters her.

2. Führen Sie spark-sql in der Befehlszeile mit den folgenden Attributen aus, um eine interaktive Spark SQL-Sitzung zu starten:

   spark-sql \
       --conf spark.hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
       --conf spark.hive.metastore.blms.project.id=PROJECT_ID \
       --conf spark.hive.metastore.blms.catalog.default=LAKEHOUSE_CATALOG_ID \
       --conf spark.hive.metastore.warehouse.dir=gs://GCS_WAREHOUSE_PATH
   

3. Nach dem Start der Sitzung stellt Spark eine Verbindung zum Lakehouse-Laufzeitkatalog her.

   Führen Sie die folgenden Befehle aus, um Ressourcen zu erstellen und abzufragen:

   
   -- Show all the databases in the current project.
   SHOW DATABASES;
   
   -- Create a database.
   CREATE DATABASE spark_blms_database;
   
   -- Create a Parquet datasource table.
   CREATE TABLE spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;
   
   -- Insert data into the table.
   INSERT INTO TABLE spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');
   

   Dabei gilt:

   • PROJECT_ID: Ihre Google Cloud Projekt ID.

   • LAKEHOUSE_CATALOG_ID: der Name des Hive-Katalogs.

   • GCS_WAREHOUSE_PATH: der Cloud Storage-Pfad, in dem Ihr Hive-Data-Warehouse gespeichert ist.

Jupyter-Notebook

1. Folgen Sie der Anleitung, um ein Jupyter-Notebook in einem Managed Service for Apache Spark-Cluster auszuführen.
2. Rufen Sie die Jupyter-Weboberfläche auf dem Tab Weboberflächen der Detailseite des Clusters in der Google Cloud Console auf.

3. Erstellen Sie in einem neuen Notebook eine Spark-Sitzung und führen Sie dann die folgenden Abfragen aus:

   from pyspark.sql import SparkSession
   
   # If a Spark session exists, stop it first by running spark.stop()
   spark = SparkSession.builder\
       .master("local")\
       .appName("Lakehouse runtime catalog tutorial")\
       .config("spark.hive.metastore.client.factory.class", "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory")\
       .config("spark.hive.metastore.blms.project.id", "PROJECT_ID")\
       .config("spark.hive.metastore.warehouse.dir", "gs://GCS_WAREHOUSE_PATH")\
       .config("spark.hive.metastore.blms.catalog.default", "LAKEHOUSE_CATALOG_ID")\
       .getOrCreate()
   
   # Show all the databases.
   df = spark.sql("SHOW DATABASES;")
   df.show()
   
   # Create a database.
   spark.sql("CREATE DATABASE jupyter_blms_db")
   
   # Create a Parquet datasource table.
   spark.sql("CREATE TABLE jupyter_blms_db.parquet_table(id INT, name STRING) USING PARQUET")
   
   # Insert data into the table.
   spark.sql("INSERT INTO TABLE jupyter_blms_db.parquet_table VALUES (1, 'my-first-user');")
   
   # Query from table.
   spark.sql("SELECT * FROM jupyter_blms_db.parquet_table;").show()
   

   Dabei gilt:

   • PROJECT_ID: Ihre Google Cloud Projekt ID.

   • GCS_WAREHOUSE_PATH: der Cloud Storage-Pfad, in dem Ihr Hive-Data-Warehouse gespeichert ist.

   • LAKEHOUSE_CATALOG_ID: der Name des Hive-Katalogs.

BigQuery-Notebook

1. Wechseln Sie in der Google Cloud Console zu BigQuery.

   BigQuery aufrufen

2. Klicken Sie im Bereich Explorer auf + HINZUFÜGEN und dann auf Python Notebook.

3. Konfigurieren Sie in einer Codezelle die Attribute für die Managed Service for Apache Spark-Sitzung und den Lakehouse-Laufzeitkatalog:

   from google.cloud.dataproc_spark_connect import DataprocSparkSession
   from google.cloud.dataproc_v1 import Session
   import os
   
   os.environ['DATAPROC_SPARK_CONNECT_DEFAULT_DATASOURCE'] = ""
   
   session = Session()
   session.environment_config.execution_config.ttl = {"seconds": 864000}
   session.runtime_config.version = "2.3"
   session.runtime_config.properties = {
    "spark.hive.metastore.blms.project.id": "PROJECT_ID",
    "spark.hive.metastore.blms.catalog.default": "LAKEHOUSE_CATALOG_ID",
    "spark.hive.metastore.warehouse.dir": "gs://GCS_WAREHOUSE_PATH",
    "spark.hive.metastore.client.factory.class": "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory",
    "spark.sql.catalogImplementation": "hive"
   }
   
   spark = DataprocSparkSession.builder.dataprocSessionConfig(session).getOrCreate()
   print("Spark session created successfully")
   

4. Erstellen Sie in einer anderen Codezelle eine Datenbank und eine Tabelle:

   # Create a database
   spark.sql("CREATE DATABASE bq_spark_blms_database;")
   
   # Create a parquet datasource table
   spark.sql("CREATE TABLE bq_spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;")
   
   # Insert data into the table
   spark.sql("INSERT INTO TABLE bq_spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');")
   
   # Query from table
   spark.sql("select * from bq_spark_blms_database.parquet_quick_start;").show()
   

   Dabei gilt:

   • PROJECT_ID: Ihre Google Cloud Projekt ID.

   • GCS_WAREHOUSE_PATH: der Cloud Storage-Pfad, in dem Ihr Hive-Data-Warehouse gespeichert ist.

   • LAKEHOUSE_CATALOG_ID: der Name des Hive-Katalogs.

Hive-Befehlszeile

Wenn Sie die Hive-Befehlszeile verwenden möchten, müssen Sie sie so konfigurieren, dass sie eine Verbindung zum Metastore herstellt. Dazu haben Sie zwei Möglichkeiten:

• Option 1: Permanente Konfiguration Aktualisieren Sie die Datei /etc/hive/conf/hive-site.xml auf Ihrem primären Knoten.
• Option 2: Temporäre Konfiguration Geben Sie beim Starten der Befehlszeile Konfigurationsflags an.

So konfigurieren Sie die Befehlszeile und führen Ihre Abfragesitzung aus:

1. Stellen Sie über SSH eine Verbindung zum primären Knoten Ihres Managed Service for Apache Spark-Clusters her.

2. Führen Sie je nach Konfigurationsmethode einen der folgenden Schritte aus:

   • Permanente Konfiguration (Option 1):

     1. Öffnen Sie /etc/hive/conf/hive-site.xml auf dem primären Knoten und fügen Sie die folgenden Attribute hinzu:

        <property>
            <name>hive.metastore.blms.project.id</name>
            <value>PROJECT_ID</value>
            <description></description>
        </property>
        
        <property>
            <name>hive.metastore.client.factory.class</name>
            <value>com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.blms.catalog.default</name>
            <value>LAKEHOUSE_CATALOG_ID</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>gs://GCS_WAREHOUSE_PATH</value>
            <description></description>
        </property>
        

     2. Starten Sie die Hive-Befehlszeile:

        hive
        

   • Temporäre Konfiguration beim Starten (Option 2): Starten Sie die Hive-Befehlszeile mit Konfigurationsflags:

     hive \
     --hiveconf hive.metastore.blms.project.id="PROJECT_ID" \
     --hiveconf hive.metastore.blms.catalog.default="LAKEHOUSE_CATALOG_ID" \
     --hiveconf hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
     --hiveconf hive.metastore.warehouse.dir="gs://GCS_WAREHOUSE_PATH"
     

3. Führen Sie dann die folgenden Befehle in der Hive-Befehlszeilensitzung aus:

   show databases;
   create database hive_query_test;
   create table hive_query_test.parquet_table (id INT, name STRING) stored as PARQUET;
   select * from hive_query_test.parquet_table;
   

   Dabei gilt:

   • PROJECT_ID: Ihre Google Cloud Projekt ID.

   • LAKEHOUSE_CATALOG_ID: der Name des Hive-Katalogs.

   • GCS_WAREHOUSE_PATH: der Cloud Storage-Pfad, in dem Ihr Hive-Data-Warehouse gespeichert ist.