Configurer Spark et Hive avec le catalogue d'environnements d'exécution Lakehouse

Console

1. Dans la console Google Cloud , ouvrez la page Lakehouse.

   Accéder à Lakehouse

2. Cliquez sur Créer un catalogue.

3. Sélectionnez Catalogue d'environnements d'exécution Lakehouse.

4. Pour Type de catalogue, sélectionnez Hive Metastore.

5. Dans le champ Sélectionner un bucket Cloud Storage, saisissez le nom du bucket Cloud Storage à utiliser avec votre catalogue. Vous pouvez également cliquer sur Parcourir pour choisir un bucket existant ou en créer un.

6. Pour ID du catalogue, donnez un nom à votre catalogue Hive Lakehouse.

7. Pour Emplacement principal, spécifiez la même région que celle de votre bucket.

8. Cliquez sur Créer.

gcloud

Pour créer un catalogue Hive, exécutez la commande suivante :

gcloud biglake hive catalogs create LAKEHOUSE_CATALOG_ID \
    --project=PROJECT_ID
    --location-uri="gs://GCS_WAREHOUSE_PATH" \
    --primary_location=REGION \
    --description="DESCRIPTION"

Remplacez les éléments suivants :

• LAKEHOUSE_CATALOG_ID : nom du catalogue Hive.

• GCS_WAREHOUSE_PATH : chemin d'accès Cloud Storage qui stocke votre entrepôt Hive.

• PROJECT_ID : ID de votre projet Google Cloud.

• REGION : région principale du metastore. Pour les buckets à région unique, elle doit correspondre à la région du bucket. Pour les buckets birégionaux ou multirégionaux, il doit s'agir de l'une des régions qui les composent et de l'emplacement prévu pour la réplique principale du metastore. L'autre région devient l'instance répliquée secondaire.

• DESCRIPTION : description du catalogue.

curl

1. Pour créer un catalogue Hive, exécutez la commande suivante :

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"locationUri": "gs://GCS_WAREHOUSE_PATH", "description": "DESCRIPTION"}' \
-H "Content-Type:application/json" \ "https://biglake.googleapis.com/hive/v1/projects/PROJECT_ID/catalogs?hiveCatalogId=LAKEHOUSE_CATALOG_ID&primary_location=REGION"

Remplacez les éléments suivants :

• LAKEHOUSE_CATALOG_ID : nom du catalogue Hive.

• GCS_WAREHOUSE_PATH : chemin d'accès Cloud Storage qui stocke votre entrepôt Hive.

• PROJECT_ID : ID de votre projet Google Cloud .

• REGION : région principale du metastore. Pour les buckets à région unique, elle doit correspondre à la région du bucket. Pour les buckets birégionaux ou multirégionaux, il doit s'agir de l'une des régions qui les composent et de l'emplacement prévu pour la réplique principale du metastore. L'autre région devient l'instance répliquée secondaire.

• DESCRIPTION : description du catalogue.

spark-sql

1. Utilisez SSH pour vous connecter au nœud principal de votre cluster Managed Service pour Apache Spark.

2. Exécutez spark-sql sur la ligne de commande avec les propriétés suivantes pour démarrer une session SparkSQL interactive :

   spark-sql \
       --conf spark.hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
       --conf spark.hive.metastore.blms.project.id=PROJECT_ID \
       --conf spark.hive.metastore.blms.catalog.default=LAKEHOUSE_CATALOG_ID \
       --conf spark.hive.metastore.warehouse.dir=gs://GCS_WAREHOUSE_PATH
   

3. Une fois la session démarrée, Spark se connecte au catalogue Lakehouse Runtime.

   Exécutez les commandes suivantes pour créer et interroger des ressources :

   
   -- Show all the databases in the current project.
   SHOW DATABASES;
   
   -- Create a database.
   CREATE DATABASE spark_blms_database;
   
   -- Create a Parquet datasource table.
   CREATE TABLE spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;
   
   -- Insert data into the table.
   INSERT INTO TABLE spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');
   

   Remplacez les éléments suivants :

   • PROJECT_ID : ID de votre projet Google Cloud .

   • LAKEHOUSE_CATALOG_ID : nom du catalogue Hive.

   • GCS_WAREHOUSE_PATH : chemin Cloud Storage qui stocke votre entrepôt Hive.

Notebook Jupyter

1. Suivez les instructions pour exécuter un notebook Jupyter sur un cluster Managed Service pour Apache Spark.
2. Accédez à l'interface Web Jupyter depuis l'onglet Interfaces Web de la page d'informations du cluster dans la console Google Cloud .

3. Dans un nouveau notebook, créez une session Spark, puis exécutez les requêtes suivantes :

   from pyspark.sql import SparkSession
   
   # If a Spark session exists, stop it first by running spark.stop()
   spark = SparkSession.builder\
       .master("local")\
       .appName("Lakehouse runtime catalog tutorial")\
       .config("spark.hive.metastore.client.factory.class", "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory")\
       .config("spark.hive.metastore.blms.project.id", "PROJECT_ID")\
       .config("spark.hive.metastore.warehouse.dir", "gs://GCS_WAREHOUSE_PATH")\
       .config("spark.hive.metastore.blms.catalog.default", "LAKEHOUSE_CATALOG_ID")\
       .getOrCreate()
   
   # Show all the databases.
   df = spark.sql("SHOW DATABASES;")
   df.show()
   
   # Create a database.
   spark.sql("CREATE DATABASE jupyter_blms_db")
   
   # Create a Parquet datasource table.
   spark.sql("CREATE TABLE jupyter_blms_db.parquet_table(id INT, name STRING) USING PARQUET")
   
   # Insert data into the table.
   spark.sql("INSERT INTO TABLE jupyter_blms_db.parquet_table VALUES (1, 'my-first-user');")
   
   # Query from table.
   spark.sql("SELECT * FROM jupyter_blms_db.parquet_table;").show()
   

   Remplacez les éléments suivants :

   • PROJECT_ID : ID de votre projet Google Cloud .

   • GCS_WAREHOUSE_PATH : chemin Cloud Storage qui stocke votre entrepôt Hive.

   • LAKEHOUSE_CATALOG_ID : nom du catalogue Hive.

Notebook BigQuery

1. Dans la console Google Cloud , accédez à BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, cliquez sur + AJOUTER, puis sur Notebook Python.

3. Dans une cellule de code, configurez les propriétés du catalogue de session Managed Service pour Apache Spark et du runtime Lakehouse :

   from google.cloud.dataproc_spark_connect import DataprocSparkSession
   from google.cloud.dataproc_v1 import Session
   import os
   
   os.environ['DATAPROC_SPARK_CONNECT_DEFAULT_DATASOURCE'] = ""
   
   session = Session()
   session.environment_config.execution_config.ttl = {"seconds": 864000}
   session.runtime_config.version = "2.3"
   session.runtime_config.properties = {
    "spark.hive.metastore.blms.project.id": "PROJECT_ID",
    "spark.hive.metastore.blms.catalog.default": "LAKEHOUSE_CATALOG_ID",
    "spark.hive.metastore.warehouse.dir": "gs://GCS_WAREHOUSE_PATH",
    "spark.hive.metastore.client.factory.class": "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory",
    "spark.sql.catalogImplementation": "hive"
   }
   
   spark = DataprocSparkSession.builder.dataprocSessionConfig(session).getOrCreate()
   print("Spark session created successfully")
   

4. Dans une autre cellule de code, créez une base de données et une table :

   # Create a database
   spark.sql("CREATE DATABASE bq_spark_blms_database;")
   
   # Create a parquet datasource table
   spark.sql("CREATE TABLE bq_spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;")
   
   # Insert data into the table
   spark.sql("INSERT INTO TABLE bq_spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');")
   
   # Query from table
   spark.sql("select * from bq_spark_blms_database.parquet_quick_start;").show()
   

   Remplacez les éléments suivants :

   • PROJECT_ID : ID de votre projet Google Cloud .

   • GCS_WAREHOUSE_PATH : chemin Cloud Storage qui stocke votre entrepôt Hive.

   • LAKEHOUSE_CATALOG_ID : nom du catalogue Hive.

CLI Hive

Pour utiliser la CLI Hive, vous devez la configurer pour qu'elle se connecte au metastore. Pour cela, deux possibilités s'offrent à vous :

• Option 1 : Configuration permanente Mettez à jour le fichier /etc/hive/conf/hive-site.xml sur votre nœud principal.
• Option 2 : Configuration temporaire Fournissez des indicateurs de configuration lorsque vous démarrez la CLI.

Pour configurer la CLI et exécuter votre session de requête, procédez comme suit :

1. Utilisez SSH pour vous connecter au nœud principal de votre cluster Managed Service pour Apache Spark.

2. Selon votre méthode de configuration, effectuez l'une des opérations suivantes :

   • Pour configurer de manière permanente (option 1) :

     1. Ouvrez /etc/hive/conf/hive-site.xml sur le nœud principal et ajoutez les propriétés suivantes :

        <property>
            <name>hive.metastore.blms.project.id</name>
            <value>PROJECT_ID</value>
            <description></description>
        </property>
        
        <property>
            <name>hive.metastore.client.factory.class</name>
            <value>com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.blms.catalog.default</name>
            <value>LAKEHOUSE_CATALOG_ID</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>gs://GCS_WAREHOUSE_PATH</value>
            <description></description>
        </property>
        

     2. Démarrez la CLI Hive :

        hive
        

   • Pour configurer temporairement au démarrage (option 2) : démarrez la CLI Hive avec des indicateurs de configuration :

     hive \
     --hiveconf hive.metastore.blms.project.id="PROJECT_ID" \
     --hiveconf hive.metastore.blms.catalog.default="LAKEHOUSE_CATALOG_ID" \
     --hiveconf hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
     --hiveconf hive.metastore.warehouse.dir="gs://GCS_WAREHOUSE_PATH"
     

3. Exécutez ensuite les commandes suivantes dans la session Hive CLI :

   show databases;
   create database hive_query_test;
   create table hive_query_test.parquet_table (id INT, name STRING) stored as PARQUET;
   select * from hive_query_test.parquet_table;
   

   Remplacez les éléments suivants :

   • PROJECT_ID : ID de votre projet Google Cloud .

   • LAKEHOUSE_CATALOG_ID : nom du catalogue Hive.

   • GCS_WAREHOUSE_PATH : chemin Cloud Storage qui stocke votre entrepôt Hive.