Lakehouse 런타임 카탈로그로 Spark 및 Hive 설정

콘솔

1. Google Cloud 콘솔에서 Lakehouse 페이지를 엽니다.

   레이크하우스로 이동

2. 카탈로그 만들기를 클릭합니다.

3. Lakehouse 런타임 카탈로그를 선택합니다.

4. 카탈로그 유형으로 Hive Metastore를 선택합니다.

5. Cloud Storage 버킷 선택 필드에 카탈로그와 함께 사용할 Cloud Storage 버킷의 이름을 입력합니다. 또는 찾아보기를 클릭하여 기존 버킷을 선택하거나 새 버킷을 만듭니다.

6. 카탈로그 ID에 Lakehouse Hive 카탈로그의 이름을 지정합니다.

7. 기본 위치에 버킷과 동일한 리전을 지정합니다.

8. 만들기를 클릭합니다.

gcloud

Hive 카탈로그를 만들려면 다음 명령어를 실행합니다.

gcloud biglake hive catalogs create LAKEHOUSE_CATALOG_ID \
    --project=PROJECT_ID
    --location-uri="gs://GCS_WAREHOUSE_PATH" \
    --primary_location=REGION \
    --description="DESCRIPTION"

다음을 바꿉니다.

• LAKEHOUSE_CATALOG_ID: Hive 카탈로그 이름입니다.

• GCS_WAREHOUSE_PATH: Hive 웨어하우스를 저장하는 Cloud Storage 경로입니다.

• PROJECT_ID: Google Cloud프로젝트 ID

• REGION: 메타스토어의 기본 리전입니다. 단일 리전 버킷의 경우 버킷 리전과 일치해야 합니다. 이중 리전 또는 멀티 리전 버킷의 경우 구성 리전 중 하나여야 하며 메타스토어의 기본 복제본이 의도된 위치여야 합니다. 다른 리전이 보조 복제본이 됩니다.

• DESCRIPTION: 카탈로그에 대한 설명입니다.

curl

1. Hive 카탈로그를 만들려면 다음 명령어를 실행합니다.

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"locationUri": "gs://GCS_WAREHOUSE_PATH", "description": "DESCRIPTION"}' \
-H "Content-Type:application/json" \ "https://biglake.googleapis.com/hive/v1/projects/PROJECT_ID/catalogs?hiveCatalogId=LAKEHOUSE_CATALOG_ID&primary_location=REGION"

다음을 바꿉니다.

• LAKEHOUSE_CATALOG_ID: Hive 카탈로그 이름입니다.

• GCS_WAREHOUSE_PATH: Hive 웨어하우스를 저장하는 Cloud Storage 경로입니다.

• PROJECT_ID: Google Cloud 프로젝트 ID입니다.

• REGION: 메타스토어의 기본 리전입니다. 단일 리전 버킷의 경우 버킷 리전과 일치해야 합니다. 이중 리전 또는 멀티 리전 버킷의 경우 구성 리전 중 하나여야 하며 메타 스토어의 기본 복제본이 의도된 위치여야 합니다. 다른 리전은 보조 복제본이 됩니다.

• DESCRIPTION: 카탈로그에 대한 설명입니다.

spark-sql

1. SSH를 사용하여 Managed Service for Apache Spark 클러스터의 기본 노드에 연결합니다.

2. 명령줄에서 다음 속성을 사용하여 spark-sql를 실행하여 대화형 Spark SQL 세션을 시작합니다.

   spark-sql \
       --conf spark.hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
       --conf spark.hive.metastore.blms.project.id=PROJECT_ID \
       --conf spark.hive.metastore.blms.catalog.default=LAKEHOUSE_CATALOG_ID \
       --conf spark.hive.metastore.warehouse.dir=gs://GCS_WAREHOUSE_PATH
   

3. 세션이 시작되면 Spark가 Lakehouse 런타임 카탈로그에 연결됩니다.

   다음 명령어를 실행하여 리소스를 만들고 쿼리합니다.

   
   -- Show all the databases in the current project.
   SHOW DATABASES;
   
   -- Create a database.
   CREATE DATABASE spark_blms_database;
   
   -- Create a Parquet datasource table.
   CREATE TABLE spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;
   
   -- Insert data into the table.
   INSERT INTO TABLE spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');
   

   다음을 바꿉니다.

   • PROJECT_ID: Google Cloud 프로젝트 ID입니다.

   • LAKEHOUSE_CATALOG_ID: Hive 카탈로그 이름입니다.

   • GCS_WAREHOUSE_PATH: Hive 웨어하우스를 저장하는 Cloud Storage 경로입니다.

Jupyter 노트북

1. Managed Service for Apache Spark 클러스터에서 Jupyter 노트북을 실행하는 안내를 완료합니다.
2. Google Cloud 콘솔의 클러스터 세부정보 페이지에 있는 웹 인터페이스 탭에서 Jupyter 웹 인터페이스에 액세스합니다.

3. 새 노트북에서 Spark 세션을 만든 후 다음 쿼리를 실행합니다.

   from pyspark.sql import SparkSession
   
   # If a Spark session exists, stop it first by running spark.stop()
   spark = SparkSession.builder\
       .master("local")\
       .appName("Lakehouse runtime catalog tutorial")\
       .config("spark.hive.metastore.client.factory.class", "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory")\
       .config("spark.hive.metastore.blms.project.id", "PROJECT_ID")\
       .config("spark.hive.metastore.warehouse.dir", "gs://GCS_WAREHOUSE_PATH")\
       .config("spark.hive.metastore.blms.catalog.default", "LAKEHOUSE_CATALOG_ID")\
       .getOrCreate()
   
   # Show all the databases.
   df = spark.sql("SHOW DATABASES;")
   df.show()
   
   # Create a database.
   spark.sql("CREATE DATABASE jupyter_blms_db")
   
   # Create a Parquet datasource table.
   spark.sql("CREATE TABLE jupyter_blms_db.parquet_table(id INT, name STRING) USING PARQUET")
   
   # Insert data into the table.
   spark.sql("INSERT INTO TABLE jupyter_blms_db.parquet_table VALUES (1, 'my-first-user');")
   
   # Query from table.
   spark.sql("SELECT * FROM jupyter_blms_db.parquet_table;").show()
   

   다음을 바꿉니다.

   • PROJECT_ID: Google Cloud 프로젝트 ID입니다.

   • GCS_WAREHOUSE_PATH: Hive 웨어하우스를 저장하는 Cloud Storage 경로입니다.

   • LAKEHOUSE_CATALOG_ID: Hive 카탈로그 이름입니다.

BigQuery 노트북

1. Google Cloud 콘솔에서 BigQuery로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 + 추가를 클릭한 다음 Python 노트북을 클릭합니다.

3. 코드 셀에서 Managed Service for Apache Spark 세션 및 Lakehouse 런타임 카탈로그 속성을 구성합니다.

   from google.cloud.dataproc_spark_connect import DataprocSparkSession
   from google.cloud.dataproc_v1 import Session
   import os
   
   os.environ['DATAPROC_SPARK_CONNECT_DEFAULT_DATASOURCE'] = ""
   
   session = Session()
   session.environment_config.execution_config.ttl = {"seconds": 864000}
   session.runtime_config.version = "2.3"
   session.runtime_config.properties = {
    "spark.hive.metastore.blms.project.id": "PROJECT_ID",
    "spark.hive.metastore.blms.catalog.default": "LAKEHOUSE_CATALOG_ID",
    "spark.hive.metastore.warehouse.dir": "gs://GCS_WAREHOUSE_PATH",
    "spark.hive.metastore.client.factory.class": "com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory",
    "spark.sql.catalogImplementation": "hive"
   }
   
   spark = DataprocSparkSession.builder.dataprocSessionConfig(session).getOrCreate()
   print("Spark session created successfully")
   

4. 다른 코드 셀에서 데이터베이스와 테이블을 만듭니다.

   # Create a database
   spark.sql("CREATE DATABASE bq_spark_blms_database;")
   
   # Create a parquet datasource table
   spark.sql("CREATE TABLE bq_spark_blms_database.parquet_quick_start (id INT, name STRING) USING PARQUET;")
   
   # Insert data into the table
   spark.sql("INSERT INTO TABLE bq_spark_blms_database.parquet_quick_start VALUES (1, 'my-first-user');")
   
   # Query from table
   spark.sql("select * from bq_spark_blms_database.parquet_quick_start;").show()
   

   다음을 바꿉니다.

   • PROJECT_ID: Google Cloud 프로젝트 ID입니다.

   • GCS_WAREHOUSE_PATH: Hive 웨어하우스를 저장하는 Cloud Storage 경로입니다.

   • LAKEHOUSE_CATALOG_ID: Hive 카탈로그 이름입니다.

Hive CLI

Hive CLI를 사용하려면 메타스토어에 연결하도록 구성해야 합니다. 다음 두 가지 방법 중 하나로 이 작업을 수행할 수 있습니다.

• 옵션 1: 영구 구성 기본 노드에서 /etc/hive/conf/hive-site.xml 파일을 업데이트합니다.
• 옵션 2: 임시 구성 CLI를 시작할 때 구성 플래그를 제공합니다.

CLI를 구성하고 쿼리 세션을 실행하려면 다음 단계를 따르세요.

1. SSH를 사용하여 Managed Service for Apache Spark 클러스터의 기본 노드에 연결합니다.

2. 구성 방법에 따라 다음 중 하나를 수행합니다.

   • 영구적으로 구성하려면 (옵션 1) 다음 단계를 따르세요.

     1. 기본 노드에서 /etc/hive/conf/hive-site.xml을 열고 다음 속성을 추가합니다.

        <property>
            <name>hive.metastore.blms.project.id</name>
            <value>PROJECT_ID</value>
            <description></description>
        </property>
        
        <property>
            <name>hive.metastore.client.factory.class</name>
            <value>com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.blms.catalog.default</name>
            <value>LAKEHOUSE_CATALOG_ID</value>
            <description></description>
        </property>
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>gs://GCS_WAREHOUSE_PATH</value>
            <description></description>
        </property>
        

     2. Hive CLI를 시작합니다.

        hive
        

   • 시작 시 일시적으로 구성하려면 (옵션 2): 구성 플래그를 사용하여 Hive CLI를 시작합니다.

     hive \
     --hiveconf hive.metastore.blms.project.id="PROJECT_ID" \
     --hiveconf hive.metastore.blms.catalog.default="LAKEHOUSE_CATALOG_ID" \
     --hiveconf hive.metastore.client.factory.class=com.google.cloud.bigquery.metastore.client.BigLakeMetastoreClientFactory \
     --hiveconf hive.metastore.warehouse.dir="gs://GCS_WAREHOUSE_PATH"
     

3. 그런 다음 Hive CLI 세션에서 다음 명령어를 실행합니다.

   show databases;
   create database hive_query_test;
   create table hive_query_test.parquet_table (id INT, name STRING) stored as PARQUET;
   select * from hive_query_test.parquet_table;
   

   다음을 바꿉니다.

   • PROJECT_ID: Google Cloud 프로젝트 ID입니다.

   • LAKEHOUSE_CATALOG_ID: Hive 카탈로그 이름입니다.

   • GCS_WAREHOUSE_PATH: Hive 웨어하우스를 저장하는 Cloud Storage 경로입니다.