使用 Lakehouse 執行階段目錄設定 Spark 和 Hive

控制台

1. 在 Google Cloud 控制台中開啟「Lakehouse」Lakehouse頁面。

   前往 Lakehouse

2. 按一下「建立目錄」。

3. 選取「Lakehouse 執行階段目錄」。

4. 在「目錄類型」部分，選取「Hive Metastore」。

5. 在「選取 Cloud Storage bucket」欄位中，輸入要與目錄搭配使用的 Cloud Storage bucket 名稱。或者，按一下「瀏覽」，選擇現有 bucket 或建立新 bucket。

6. 在「目錄 ID」中，為 Lakehouse Hive 目錄命名。

7. 在「Primary location」(主要位置) 中，指定與值區相同的區域。

8. 點選「建立」。

gcloud

如要建立 Hive 目錄，請執行下列指令：

gcloud biglake hive catalogs create LAKEHOUSE_CATALOG_ID \
    --project=PROJECT_ID
    --location-uri="gs://GCS_WAREHOUSE_PATH" \
    --primary_location=REGION \
    --description="DESCRIPTION"

更改下列內容：

• LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

• GCS_WAREHOUSE_PATH：儲存 Hive 倉庫的 Cloud Storage 路徑。

• PROJECT_ID：您的 Google Cloud專案 ID。

• REGION：中繼資料存放區的主要區域。如果是單一區域值區，應與值區區域相符。如果是雙區域或多區域值區，應為其中一個組成區域，也是中繼資料存放區主要副本的預定位置。另一個區域則會成為次要副本。

• DESCRIPTION：目錄說明。

curl

1. 如要建立 Hive 目錄，請執行下列指令：

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"locationUri": "gs://GCS_WAREHOUSE_PATH", "description": "DESCRIPTION"}' \
-H "Content-Type:application/json" \ "https://biglake.googleapis.com/hive/v1/projects/PROJECT_ID/catalogs?hiveCatalogId=LAKEHOUSE_CATALOG_ID&primary_location=REGION"

更改下列內容：

• LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

• GCS_WAREHOUSE_PATH：儲存 Hive 倉庫的 Cloud Storage 路徑。

• PROJECT_ID：您的 Google Cloud 專案 ID。

• REGION：中繼資料存放區的主要區域。如果是單一區域值區，這應與值區區域相符。如果是雙區域或多區域值區，這應是其中一個組成區域，也是中繼資料存放區主要副本的預定位置。另一個區域則會成為次要副本。

• DESCRIPTION：目錄說明。

spark-sql

1. 使用 SSH 連線至 Managed Service for Apache Spark 叢集的主要節點。

2. 在指令列執行 spark-sql，並使用下列屬性啟動互動式 Spark SQL 工作階段：

   spark-sql \
       --conf spark.hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
       --conf spark.hive.metastore.blms.project.id=PROJECT_ID \
       --conf spark.hive.metastore.blms.catalog.default=LAKEHOUSE_CATALOG_ID \
       --conf spark.hive.metastore.warehouse.dir=gs://GCS_WAREHOUSE_PATH
   

3. 工作階段開始後，Spark 會連線至 Lakehouse 執行階段目錄。

   執行下列指令來建立及查詢資源：

   
   -- Show all the databases in the current project.
   SHOW DATABASES;
   
   -- Create a database.
   CREATE DATABASE spark_blms_database;
   
   -- Create a Parquet datasource table.
   CREATE TABLE spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;
   
   -- Insert data into the table.
   INSERT INTO TABLE spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');
   

   更改下列內容：

   • PROJECT_ID：您的 Google Cloud 專案 ID。

   • LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

   • GCS_WAREHOUSE_PATH：儲存 Hive 倉庫的 Cloud Storage 路徑。

Jupyter 筆記本

1. 按照操作說明在 Managed Service for Apache Spark 叢集上執行 Jupyter 筆記本。
2. 在 Google Cloud 控制台的叢集詳細資料頁面中，透過「網路介面」分頁存取 Jupyter 網頁介面。

3. 在新筆記本中建立 Spark 工作階段，然後執行下列查詢：

   from pyspark.sql import SparkSession
   
   # If a Spark session exists, stop it first by running spark.stop()
   spark = SparkSession.builder\
       .master("local")\
       .appName("Lakehouse runtime catalog tutorial")\
       .config("spark.hive.metastore.client.factory.class", "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory")\
       .config("spark.hive.metastore.blms.project.id", "PROJECT_ID")\
       .config("spark.hive.metastore.warehouse.dir", "gs://GCS_WAREHOUSE_PATH")\
       .config("spark.hive.metastore.blms.catalog.default", "LAKEHOUSE_CATALOG_ID")\
       .getOrCreate()
   
   # Show all the databases.
   df = spark.sql("SHOW DATABASES;")
   df.show()
   
   # Create a database.
   spark.sql("CREATE DATABASE jupyter_blms_db")
   
   # Create a Parquet datasource table.
   spark.sql("CREATE TABLE jupyter_blms_db.parquet_table(id INT, name STRING) USING PARQUET")
   
   # Insert data into the table.
   spark.sql("INSERT INTO TABLE jupyter_blms_db.parquet_table VALUES (1, 'my-first-user');")
   
   # Query from table.
   spark.sql("SELECT * FROM jupyter_blms_db.parquet_table;").show()
   

   更改下列內容：

   • PROJECT_ID：您的 Google Cloud 專案 ID。

   • GCS_WAREHOUSE_PATH：儲存 Hive 倉庫的 Cloud Storage 路徑。

   • LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

BigQuery 筆記本

1. 前往 Google Cloud 控制台的「BigQuery」頁面BigQuery。

   前往「BigQuery」

2. 在「Explorer」窗格中，按一下「+ ADD」，然後按一下「Python notebook」。

3. 在程式碼儲存格中，設定 Managed Service for Apache Spark 工作階段和 Lakehouse 執行階段目錄屬性：

   from google.cloud.dataproc_spark_connect import DataprocSparkSession
   from google.cloud.dataproc_v1 import Session
   import os
   
   os.environ['DATAPROC_SPARK_CONNECT_DEFAULT_DATASOURCE'] = ""
   
   session = Session()
   session.environment_config.execution_config.ttl = {"seconds": 864000}
   session.runtime_config.version = "2.3"
   session.runtime_config.properties = {
    "spark.hive.metastore.blms.project.id": "PROJECT_ID",
    "spark.hive.metastore.blms.catalog.default": "LAKEHOUSE_CATALOG_ID",
    "spark.hive.metastore.warehouse.dir": "gs://GCS_WAREHOUSE_PATH",
    "spark.hive.metastore.client.factory.class": "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory",
    "spark.sql.catalogImplementation": "hive"
   }
   
   spark = DataprocSparkSession.builder.dataprocSessionConfig(session).getOrCreate()
   print("Spark session created successfully")
   

4. 在另一個程式碼儲存格中，建立資料庫和資料表：

   # Create a database
   spark.sql("CREATE DATABASE bq_spark_blms_database;")
   
   # Create a parquet datasource table
   spark.sql("CREATE TABLE bq_spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;")
   
   # Insert data into the table
   spark.sql("INSERT INTO TABLE bq_spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');")
   
   # Query from table
   spark.sql("select * from bq_spark_blms_database.parquet_quick_start;").show()
   

   更改下列內容：

   • PROJECT_ID：您的 Google Cloud 專案 ID。

   • GCS_WAREHOUSE_PATH：儲存 Hive 倉庫的 Cloud Storage 路徑。

   • LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

Hive CLI

如要使用 Hive CLI，必須設定連線至 Metastore。您可以選擇使用以下其中一種方法：

• 選項 1：永久設定。更新主要節點上的 /etc/hive/conf/hive-site.xml 檔案。
• 選項 2：暫時設定。啟動 CLI 時提供設定標記。

如要設定 CLI 並執行查詢工作階段，請按照下列步驟操作：

1. 使用 SSH 連線至 Managed Service for Apache Spark 叢集的主要節點。

2. 視設定方式而定，請執行下列其中一項操作：

   • 如要永久設定 (選項 1)：

     1. 在主要節點上開啟 /etc/hive/conf/hive-site.xml，並新增下列屬性：

        <property>
            <name>hive.metastore.blms.project.id</name>
            <value>PROJECT_ID</value>
            <description></description>
        </property>
        
        <property>
            <name>hive.metastore.client.factory.class</name>
            <value>com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.blms.catalog.default</name>
            <value>LAKEHOUSE_CATALOG_ID</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>gs://GCS_WAREHOUSE_PATH</value>
            <description></description>
        </property>
        

     2. 啟動 Hive CLI：

        hive
        

   • 在啟動時暫時設定 (選項 2)：使用設定旗標啟動 Hive CLI：

     hive \
     --hiveconf hive.metastore.blms.project.id="PROJECT_ID" \
     --hiveconf hive.metastore.blms.catalog.default="LAKEHOUSE_CATALOG_ID" \
     --hiveconf hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
     --hiveconf hive.metastore.warehouse.dir="gs://GCS_WAREHOUSE_PATH"
     

3. 接著，在 Hive CLI 工作階段中執行下列指令：

   show databases;
   create database hive_query_test;
   create table hive_query_test.parquet_table (id INT, name STRING) stored as PARQUET;
   select * from hive_query_test.parquet_table;
   

   更改下列內容：

   • PROJECT_ID：您的 Google Cloud 專案 ID。

   • LAKEHOUSE_CATALOG_ID：Hive 目錄名稱。

   • GCS_WAREHOUSE_PATH：儲存 Hive 倉庫的 Cloud Storage 路徑。