הגדרה של קטלוג REST של Iceberg ב-Lakehouse

פרטי הכניסה של משתמשי הקצה

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type gcs-bucket \
    --credential-mode end-user \
    [--primary-location LOCATION]

מצב מכירת פרטי כניסה

אדמין של קטלוג מפעיל את האפשרות להקצאת הרשאות כשיוצרים או מעדכנים קטלוג. משתמש בקטלוג יכול להנחות את נקודת הקצה של קטלוג REST של Apache Iceberg להחזיר הרשאות אחסון עם היקף הרשאות מצומצם, על ידי ציון של הקצאת הרשאות גישה כשמגדירים את נקודת הקצה של קטלוג REST של Apache Iceberg.

חשבון השירות של קטלוג זמן הריצה של Lakehouse שמוקצה אוטומטית צריך את התפקיד 'משתמש באובייקט אחסון' (roles/storage.objectUser) באופן מפורש בקטגוריית היעד של Cloud Storage. כברירת מחדל, הוא נוצר עם גישה לצפייה בלבד. בלי התפקיד הזה, לפרטי הכניסה שסופקו לא יהיה היקף מספיק כדי לבצע כתיבות לאחסון. אם אתם משתמשים בכלים כמו gcloud או Terraform, אתם צריכים להעניק את התפקיד הזה באופן ידני.

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type gcs-bucket \
    --credential-mode vended-credentials \
    [--primary-location LOCATION]

אשכול

כדי להשתמש ב-Spark עם נקודת הקצה של קטלוג Apache Iceberg REST ב-Managed Service for Apache Spark, אפשר להשתמש במאפיינים כדי לפשט את ההגדרה, או להגדיר את הסשן באופן ידני.

הגדרה פשוטה באמצעות מאפיינים (מומלץ)

יוצרים אשכול עם נכס מסוג קטלוג:

gcloud dataproc clusters create CLUSTER_NAME \
    --enable-component-gateway \
    --project=PROJECT_ID \
    --region=REGION \
    --optional-components=ICEBERG \
    --image-version=DATAPROC_VERSION \
    --properties="dataproc:dataproc.lakehouse.catalog.CATALOG_NAME=projects/PROJECT_ID/catalogs/CATALOG_ID"

מחליפים את מה שכתוב בשדות הבאים:

• ‫CLUSTER_NAME: שם לאשכול.
• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫REGION: האזור של אשכול Managed Service for Apache Spark.
• ‫DATAPROC_VERSION: גרסת התמונה של Managed Service for Apache Spark, לדוגמה 2.2.
• ‫CATALOG_NAME: שם לקטלוג Lakehouse שישמש ב-Spark. יכול להיות זהה ל-CATALOG_ID.
• ‫CATALOG_ID: המזהה של קטלוג Lakehouse שיצרתם.

לאחר מכן יוצרים סשן Spark בלי לציין פרמטרים ידניים של קטלוג:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("APP_NAME").getOrCreate()

הגדרה ידנית

אם לא משתמשים במאפיין cluster, יוצרים אשכול כמו שמתואר למעלה (בלי הדגל --properties), ואז מגדירים את סשן Spark באופן ידני:

import pyspark
from pyspark.context import SparkContext
from pyspark.sql import SparkSession

catalog_name = "CATALOG_NAME"
spark = SparkSession.builder.appName("APP_NAME") \
  .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \
  .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/REST_API_VERSION/restcatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'WAREHOUSE_PATH') \
  .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \
  .config(f'spark.sql.catalog.{catalog_name}.rest.auth.type', 'org.apache.iceberg.gcp.auth.GoogleAuthManager') \
  .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \
  .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
  .config('spark.sql.defaultCatalog', 'CATALOG_NAME') \
  .getOrCreate()

מחליפים את מה שכתוב בשדות הבאים:

• ‫CATALOG_NAME: השם של נקודת הקצה של קטלוג REST של Apache Iceberg.
• ‫APP_NAME: שם להפעלת Spark.
• ‫REST_API_VERSION: מוגדר ל-v1 לגרסה היציבה של ה-API.
• ‫WAREHOUSE_PATH: הנתיב למחסן הנתונים. שימוש ב-gs://CLOUD_STORAGE_BUCKET_NAME. כדי להשתמש בפדרציית קטלוגים ב-BigQuery, אפשר לעיין במאמר שימוש בפדרציית קטלוגים ב-BigQuery.
• ‫PROJECT_ID: הפרויקט שמחויב על השימוש בנקודת הקצה של קטלוג REST של Apache Iceberg, שיכול להיות שונה מהפרויקט שבבעלותו נמצאת קטגוריית Cloud Storage. פרטים על הגדרת פרויקט כשמשתמשים ב-API בארכיטקטורת REST מופיעים במאמר פרמטרים של המערכת.

הגדרה באמצעות הקצאת הרשאות

כדי להשתמש בהקצאת הרשאות, צריך להשתמש בקטלוג במצב הקצאת הרשאות ולהוסיף את הכותרת X-Iceberg-Access-Delegation לבקשות קטלוג של Iceberg REST עם הערך vended-credentials. לשם כך, מוסיפים את השורה הבאה לבונה SparkSession:

.config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation','vended-credentials')

import pyspark
from pyspark.context import SparkContext
from pyspark.sql import SparkSession

catalog_name = "CATALOG_NAME"
spark = SparkSession.builder.appName("APP_NAME") \
  .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \
  .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/REST_API_VERSION/restcatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'gs://CLOUD_STORAGE_BUCKET_NAME') \
  .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \
  .config(f'spark.sql.catalog.{catalog_name}.rest.auth.type', 'org.apache.iceberg.gcp.auth.GoogleAuthManager') \
  .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \
  .config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation','vended-credentials') \
  .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
  .config('spark.sql.defaultCatalog', 'CATALOG_NAME') \
  .getOrCreate()

מידע נוסף מופיע בקטע Headers in RESTCatalog במאמרי העזרה של Apache Iceberg.

שירותים מנוהלים לאשכולות Apache Spark תומכים בתהליכי הרשאה של Google ל-Apache Iceberg בגרסאות הבאות:

• ‫Managed Service for Apache Spark בגרסאות של תמונות Compute Engine‏ 2.2 2.2.65 ואילך.
• ‫Managed Service for Apache Spark ב-Compute Engine בגרסאות אימג' 2.3‏, 2.3.11 ואילך.

ללא שרת (serverless)

שולחים עומס עבודה של אצווה ב-PySpark אל Managed Service for Apache Spark באמצעות מאפיינים כדי לפשט את ההגדרה (מומלץ) או על ידי ציון כל הפרמטרים.

הגדרה פשוטה באמצעות מאפיינים (מומלץ)

שולחים משימה באצווה עם נכס מסוג קטלוג:

gcloud dataproc batches submit pyspark PYSPARK_FILE \
    --project=PROJECT_ID \
    --region=REGION \
    --version=RUNTIME_VERSION \
    --properties="dataproc.lakehouse.catalog.CATALOG_NAME=projects/PROJECT_ID/catalogs/CATALOG_ID"

הגדרה ידנית

אם אתם מעדיפים לציין את כל המאפיינים באופן ידני, אתם יכולים להשתמש בהגדרה הבאה:

gcloud dataproc batches submit pyspark PYSPARK_FILE \
    --project=PROJECT_ID \
    --region=REGION \
    --version=RUNTIME_VERSION \
    --properties="\
    spark.sql.defaultCatalog=CATALOG_NAME,\
    spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,\
    spark.sql.catalog.CATALOG_NAME.type=rest,\
    spark.sql.catalog.CATALOG_NAME.uri=https://biglake.googleapis.com/iceberg/REST_API_VERSION/restcatalog,\
    spark.sql.catalog.CATALOG_NAME.warehouse=WAREHOUSE_PATH,\
    spark.sql.catalog.CATALOG_NAME.io-impl=org.apache.iceberg.gcp.gcs.GCSFileIO,\
    spark.sql.catalog.CATALOG_NAME.header.x-goog-user-project=PROJECT_ID,\
    spark.sql.catalog.CATALOG_NAME.rest.auth.type=org.apache.iceberg.gcp.auth.GoogleAuthManager,\
    spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"

מחליפים את מה שכתוב בשדות הבאים:

• ‫PYSPARK_FILE: הנתיב של Cloud Storage אל קובץ אפליקציית PySpark.gs://
• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫REGION: האזור של עומס העבודה של עיבוד ברצף (batch processing) ב-Managed Service for Apache Spark.
• ‫RUNTIME_VERSION: גרסת זמן הריצה של Managed Service for Apache Spark, לדוגמה 2.2.
• ‫CATALOG_NAME: השם של נקודת הקצה של קטלוג REST של Apache Iceberg.
• ‫REST_API_VERSION: מוגדר ל-v1 לגרסה היציבה של ה-API.
• ‫WAREHOUSE_PATH: הנתיב למחסן הנתונים. שימוש ב-gs://CLOUD_STORAGE_BUCKET_NAME. כדי להשתמש בפדרציית קטלוגים ב-BigQuery, אפשר לעיין במאמר שימוש בפדרציית קטלוגים ב-BigQuery.

הגדרה באמצעות הקצאת הרשאות

כדי להשתמש בהקצאת אישורים, צריך להשתמש בקטלוג במצב הקצאת אישורים ולהוסיף את הכותרת X-Iceberg-Access-Delegation לבקשות של נקודת הקצה של קטלוג Apache Iceberg REST עם הערך vended-credentials. לשם כך, מוסיפים את השורה הבאה להגדרות של Managed Service for Apache Spark:

.config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation','vended-credentials')

gcloud dataproc batches submit pyspark PYSPARK_FILE \
    --project=PROJECT_ID \
    --region=REGION \
    --version=RUNTIME_VERSION \
    --properties="\
    spark.sql.defaultCatalog=CATALOG_NAME,\
    spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,\
    spark.sql.catalog.CATALOG_NAME.type=rest,\
    spark.sql.catalog.CATALOG_NAME.uri=https://biglake.googleapis.com/iceberg/REST_API_VERSION/restcatalog,\
    spark.sql.catalog.CATALOG_NAME.warehouse=gs://CLOUD_STORAGE_BUCKET_NAME,\
    spark.sql.catalog.CATALOG_NAME.header.x-goog-user-project=PROJECT_ID,\
    spark.sql.catalog.CATALOG_NAME.rest.auth.type=org.apache.iceberg.gcp.auth.GoogleAuthManager,\
    spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions,\
    spark.sql.catalog.CATALOG_NAME.gcs.oauth2.refresh-credentials-endpoint=https://oauth2.googleapis.com/token, \
    spark.sql.catalog.CATALOG_NAME.header.X-Iceberg-Access-Delegation=vended-credentials"

מידע נוסף זמין בקטע Headers in RESTCatalog במאמרי העזרה של Apache Iceberg.

‫Managed Service for Apache Spark תומך בתהליכי הרשאה של Google ל-Apache Iceberg בגרסאות זמן הריצה הבאות:

• ‫Managed Service for Apache Spark 2.2 runtimes 2.2.60 and later
• ‫Managed Service for Apache Spark 2.3 runtimes 2.3.10 and later

Trino

כדי להשתמש ב-Trino עם נקודת הקצה של קטלוג Apache Iceberg REST, צריך ליצור אשכול של Managed Service for Apache Spark עם רכיב Trino ולהגדיר את מאפייני הקטלוג באמצעות הדגל gcloud dataproc clusters create --properties. בדוגמה הבאה נוצר קטלוג Trino בשם CATALOG_NAME:

gcloud dataproc clusters create CLUSTER_NAME \
    --enable-component-gateway \
    --region=REGION \
    --image-version=DATAPROC_VERSION \
    --network=NETWORK_ID \
    --optional-components=TRINO \
    --properties="\
    trino-catalog:CATALOG_NAME.connector.name=iceberg,\
    trino-catalog:CATALOG_NAME.iceberg.catalog.type=rest,\
    trino-catalog:CATALOG_NAME.iceberg.rest-catalog.uri=https://biglake.googleapis.com/iceberg/REST_API_VERSION/restcatalog,\
    trino-catalog:CATALOG_NAME.iceberg.rest-catalog.warehouse=WAREHOUSE_PATH,\
    trino-catalog:CATALOG_NAME.iceberg.rest-catalog.biglake.project-id=PROJECT_ID,\
    trino-catalog:CATALOG_NAME.iceberg.rest-catalog.rest.auth.type=org.apache.iceberg.gcp.auth.GoogleAuthManager"

מחליפים את מה שכתוב בשדות הבאים:

• ‫CLUSTER_NAME: שם לאשכול.
• ‫REGION: האזור של אשכול Managed Service for Apache Spark.
• ‫DATAPROC_VERSION: גרסת התמונה של Managed Service for Apache Spark, לדוגמה 2.2.
• ‫NETWORK_ID: מזהה רשת האשכול. מידע נוסף זמין במאמר בנושא הגדרת רשת של אשכול Managed Service for Apache Spark.
• ‫CATALOG_NAME: השם של קטלוג Trino באמצעות נקודת הקצה של קטלוג Apache Iceberg REST.
• ‫REST_API_VERSION: מוגדר ל-v1 לגרסה היציבה של ה-API.
• ‫WAREHOUSE_PATH: הנתיב למחסן הנתונים. שימוש ב-gs://CLOUD_STORAGE_BUCKET_NAME.
• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו רוצים להשתמש בקטלוג של זמן הריצה של Lakehouse.

אחרי שיוצרים את האשכול, מתחברים למופע ה-VM הראשי ומשתמשים ב-Trino CLI:

trino --catalog=CATALOG_NAME

‫Managed Service for Apache Spark Trino תומך בתהליכי הרשאה של Google ל-Apache Iceberg בגרסאות הבאות:

• ‫Managed Service for Apache Spark בגרסאות זמן ריצה של Compute Engine‏ 2.2 2.2.65 ואילך
• ‫Managed Service for Apache Spark ב-Compute Engine גרסאות זמן ריצה 2.3‏ 2.3.11 ואילך
• אין תמיכה ב-Managed Service for Apache Spark ב-Compute Engine 3.0.

הגדרה באמצעות הקצאת הרשאות

הקצאת אישורים נתמכת רק ב-Trino מגרסה 481 ואילך.

‫Apache Iceberg 1.10 ואילך

בגרסאות 1.10 ואילך של Apache Iceberg עם קוד פתוח יש תמיכה מובנית בזרימות הרשאות של Google ב-GoogleAuthManager. בדוגמה הבאה מוצג אופן ההגדרה של Spark לשימוש בנקודת הקצה של קטלוג Apache Iceberg REST.

import pyspark
from pyspark.context import SparkContext
from pyspark.sql import SparkSession

catalog_name = "CATALOG_NAME"
spark = SparkSession.builder.appName("APP_NAME") \
  .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \
  .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/REST_API_VERSION/restcatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'WAREHOUSE_PATH') \
  .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \
  .config(f'spark.sql.catalog.{catalog_name}.rest.auth.type', 'org.apache.iceberg.gcp.auth.GoogleAuthManager') \
  .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \
  .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
  .config('spark.sql.defaultCatalog', 'CATALOG_NAME') \
  .getOrCreate()

מחליפים את מה שכתוב בשדות הבאים:

• ‫CATALOG_NAME: השם של נקודת הקצה של קטלוג REST של Apache Iceberg.
• ‫APP_NAME: שם להפעלת Spark.
• ‫REST_API_VERSION: מוגדר ל-v1 לגרסה היציבה של ה-API.
• ‫WAREHOUSE_PATH: הנתיב למחסן הנתונים. שימוש ב-gs://CLOUD_STORAGE_BUCKET_NAME. כדי להשתמש בפדרציית קטלוגים ב-BigQuery, אפשר לעיין במאמר שימוש בפדרציית קטלוגים ב-BigQuery.
• ‫PROJECT_ID: הפרויקט שמחויב על השימוש בנקודת הקצה של קטלוג REST של Apache Iceberg, שיכול להיות שונה מהפרויקט שבבעלותו נמצא קטגוריה של Cloud Storage. פרטים על הגדרת פרויקט כשמשתמשים ב-API בארכיטקטורת REST מופיעים במאמר פרמטרים של המערכת.

הגדרה באמצעות הקצאת הרשאות

בדוגמה הקודמת לא נעשה שימוש במכירת אישורים. כדי להשתמש במנגנון למתן הרשאות, צריך להשתמש בקטלוג במצב של מתן הרשאות ולהוסיף את הכותרת X-Iceberg-Access-Delegation לבקשות של נקודת הקצה של קטלוג Apache Iceberg REST עם הערך vended-credentials. לשם כך, מוסיפים את השורה הבאה לבונה SparkSession:

.config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation','vended-credentials')

import pyspark
from pyspark.context import SparkContext
from pyspark.sql import SparkSession

catalog_name = "CATALOG_NAME"
spark = SparkSession.builder.appName("APP_NAME") \
  .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \
  .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/REST_API_VERSION/restcatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'gs://CLOUD_STORAGE_BUCKET_NAME') \
  .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \
  .config(f'spark.sql.catalog.{catalog_name}.rest.auth.type', 'org.apache.iceberg.gcp.auth.GoogleAuthManager') \
  .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \
  .config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation','vended-credentials') \
  .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
  .config('spark.sql.defaultCatalog', 'CATALOG_NAME') \
  .getOrCreate()

מידע נוסף זמין בקטע Headers in RESTCatalog במאמרי העזרה של Apache Iceberg.

גרסאות קודמות של Apache Iceberg

בגרסאות של Apache Iceberg בקוד פתוח שקדמו לגרסה 1.10, אפשר להגדיר אימות OAuth רגיל על ידי הגדרת סשן עם הפרטים הבאים:

import pyspark
from pyspark.context import SparkContext
from pyspark.sql import SparkSession

catalog_name = "CATALOG_NAME"
spark = SparkSession.builder.appName("APP_NAME") \
  .config('spark.jars.packages', 'org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.9.1,org.apache.iceberg:iceberg-gcp-bundle:1.9.1') \
  .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \
  .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/REST_API_VERSION/restcatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'WAREHOUSE_PATH') \
  .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \
  .config(f"spark.sql.catalog.{catalog_name}.token", "TOKEN") \
  .config(f"spark.sql.catalog.{catalog_name}.oauth2-server-uri", "https://oauth2.googleapis.com/token") \
  .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \
  .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
  .config('spark.sql.defaultCatalog', 'CATALOG_NAME') \
  .getOrCreate()

מחליפים את מה שכתוב בשדות הבאים:

• ‫CATALOG_NAME: השם של נקודת הקצה של קטלוג REST של Apache Iceberg.
• ‫APP_NAME: שם להפעלת Spark.
• ‫REST_API_VERSION: מוגדר ל-v1 לגרסה היציבה של ה-API.
• ‫WAREHOUSE_PATH: הנתיב למחסן הנתונים. שימוש ב-gs://CLOUD_STORAGE_BUCKET_NAME. כדי להשתמש בפדרציית קטלוגים ב-BigQuery, אפשר לעיין במאמר שימוש בפדרציית קטלוגים ב-BigQuery.
• ‫PROJECT_ID: הפרויקט שמחויב על השימוש בנקודת הקצה של קטלוג REST של Apache Iceberg, שיכול להיות שונה מהפרויקט שבבעלותו נמצא קטגוריה של Cloud Storage. פרטים על הגדרת פרויקט כשמשתמשים ב-API בארכיטקטורת REST מופיעים במאמר פרמטרים של המערכת.
• ‫TOKEN: אסימון האימות שלכם, שתקף לשעה אחת – לדוגמה, אסימון שנוצר באמצעות gcloud auth application-default print-access-token.

הגדרה באמצעות הקצאת הרשאות

בדוגמה הקודמת לא נעשה שימוש במכירת אישורים. כדי להשתמש במנגנון למתן הרשאות, צריך להשתמש בקטלוג במצב של מתן הרשאות ולהוסיף את הכותרת X-Iceberg-Access-Delegation לבקשות של נקודת הקצה של קטלוג Apache Iceberg REST עם הערך vended-credentials. לשם כך, מוסיפים את השורה הבאה לבונה SparkSession:

.config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation','vended-credentials')

import pyspark
from pyspark.context import SparkContext
from pyspark.sql import SparkSession

catalog_name = "CATALOG_NAME"
spark = SparkSession.builder.appName("APP_NAME") \
  .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \
  .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/REST_API_VERSION/restcatalog') \
  .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'gs://CLOUD_STORAGE_BUCKET_NAME') \
  .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \
  .config(f"spark.sql.catalog.{catalog_name}.token", "TOKEN") \
  .config(f"spark.sql.catalog.{catalog_name}.oauth2-server-uri", "https://oauth2.googleapis.com/token") \
  .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \
  .config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation','vended-credentials') \
  .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
  .config('spark.sql.defaultCatalog', 'CATALOG_NAME') \
  .getOrCreate()

מידע נוסף זמין בקטע Headers in RESTCatalog במאמרי העזרה של Apache Iceberg.

המסוף

1. במסוף Google Cloud , עוברים אל Lakehouse.

   מעבר אל Lakehouse

2. בוחרים קטלוג קיים או יוצרים קטלוג חדש אם אין לכם קטלוג.

3. בסרגל התפריטים, לוחצים על + יצירת מרחב שמות.

4. בשדה Namespace name (שם מרחב השמות), מזינים שם ייחודי למרחב השמות.

5. בשדה מיקום, בוחרים קטגוריה של Cloud Storage לקישור למרחב השמות.

6. לוחצים על יצירה.

Spark

מחסן נתונים ב-Cloud Storage

spark.sql("CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME;")
spark.sql("USE NAMESPACE_NAME;")

מחליפים את NAMESPACE_NAME בשם של מרחב השמות.

Trino

מחסן נתונים ב-Cloud Storage

CREATE SCHEMA IF NOT EXISTS  CATALOG_NAME.SCHEMA_NAME;
USE CATALOG_NAME.SCHEMA_NAME;

מחליפים את מה שכתוב בשדות הבאים:

• ‫CATALOG_NAME: השם של קטלוג Trino באמצעות נקודת הקצה של קטלוג Apache Iceberg REST.
• ‫SCHEMA_NAME: שם הסכימה.