為 Databricks Unity Catalog 設定跨雲端 Lakehouse

本文說明如何設定跨雲端 Lakehouse，直接在Google Cloud中查詢 Databricks Unity Catalog 目錄的資料。這項功能可整合外部資料來源與現有Google Cloud 環境，統一資料分析作業。

之後，您可以使用 Lakehouse for Apache Iceberg 管理同盟資料的存取權。

事前準備

1. 請參閱資料湖倉總覽，瞭解資料湖倉如何管理資料存取權。
2. 請參閱「關於跨雲端 Lakehouse」，瞭解運作方式。
3. 請參閱支援的目錄，確認外部位置資訊需求和支援的設定。
4. 瞭解如何使用區域性 Secret Manager 密鑰。如要使用 Databricks Unity Catalog 設定跨雲端 Lakehouse，就必須執行這項操作。
5. 在遠端目錄供應商中產生 OAuth 服務主體 (用戶端 ID 和用戶端密鑰)，該主體必須具備目標目錄的讀取權限。這個程序不在本文的討論範圍內。
6. 選用：如果您打算透過 Google Cloud 虛擬私有雲和遠端雲端供應商虛擬私有雲 (例如 AWS) 之間的私有互連網路，傳送查詢，請確保您在遠端供應商擁有有效帳戶、佈建 Cross-Cloud Interconnect 或 Partner Interconnect、與 Cloud Router 建立 BGP 工作階段，並確認您在兩個雲端環境中都具備必要的 IAM 權限。
登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake, Secret Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake, Secret Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

必要的角色

如要取得設定跨雲端 Lakehouse 所需的權限，請要求管理員授予您專案的下列 IAM 角色：

• 管理 Lakehouse 目錄： BigLake 管理員 (roles/biglake.admin)
• 管理密鑰： Secret Manager 管理員 (roles/secretmanager.admin)
• 透過私有互連傳送流量： Compute 網路管理員 (roles/compute.networkAdmin)、Service Directory 檢視者 (roles/servicedirectory.viewer) 和 Service Directory PSC 授權服務 (roles/servicedirectory.pscAuthorizedService)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

支援的目錄詳細資料

本指南提供相關操作說明，協助您在 Amazon Web Services (AWS) 或 Google Cloud上，使用 Databricks Unity Catalog 目錄設定跨雲端 Lakehouse。如要進一步瞭解外部位置需求和支援的設定，請參閱「支援的目錄」。

限制和注意事項

本節列出使用跨雲端 Lakehouse 的限制和注意事項。

• 支援的雲端供應商：使用私有互連與跨雲端 Lakehouse 互連，支援的遠端雲端供應商包括 Amazon Web Services (AWS)。您可以選擇使用Cross-Cloud Interconnect或Partner Interconnect。
• 系統僅支援使用 AWS 外部位置或 Google Cloud外部位置的 Databricks Unity 目錄。AWS 預設儲存空間或 Google Cloud預設儲存空間的 Unity Catalog 目錄不支援。
• 您必須在 Unity Catalog 使用的 Metastore 上啟用外部資料存取權，這項功能預設為停用。
• 網路轉送：如果未設定私人互連網路 (例如客戶擁有的 CCI 或 Partner Interconnect)，查詢會透過公用網際網路轉送。這可能會導致遠端雲端供應商收取較高的輸出費用，且效能較難預測。
• 資料更新間隔：聯合目錄的 --refresh-interval 標記會決定中繼資料的同步頻率。間隔越短，資料越新，但可能產生額外的遠端目錄供應商 API 費用。

• Iceberg 指標回報： Iceberg 指標回報不適用於聯邦目錄。存取聯邦目錄時，請在 Iceberg 用戶端中將 rest-metrics-reporting-enabled 屬性設為 false。

一般工作流程

如要設定及使用跨雲端 Lakehouse，請按照下列一般步驟操作：

• 設定跨雲端互連 (選用)：設定 Google Cloud VPC 與遠端雲端供應商之間的私人連線。
• 設定同盟：在 Secret Manager 中建立密鑰，並提供遠端目錄憑證。接著，在 Lakehouse 中建立同盟目錄，並授予該目錄密鑰存取權。
• 驗證連線：確認 Lakehouse 能順利連線至遠端目錄。
• 查詢資料：使用 BigQuery 或 Managed Service for Apache Spark，對聯合資料執行查詢。詳情請參閱「使用跨雲端 Lakehouse」。
• 設定權限：使用 Identity and Access Management (IAM) 管理可查看及查詢同盟資料的使用者。

設定 Cross-Cloud Interconnect (選用)

根據預設，對遠端目錄的查詢會透過公開網際網路傳輸。為協助提升安全性及法規遵循能力、提供可預測的效能，以及降低資料傳輸費用，請使用私有互連。這會在您的 Google Cloud虛擬私有雲 (VPC) 與遠端雲端供應商的網路 (例如 AWS) 之間，建立專屬的私人網路連線。

您可以在 Google Cloud 虛擬私有雲和遠端雲端供應商的虛擬私有雲 (例如 AWS) 之間，佈建及設定下列任一私人互連選項：

• Cross-Cloud Interconnect：專屬實體連線。
• Partner Interconnect：透過支援的服務供應商建立連線。

在 Cloud Router Google Cloud 和遠端雲端供應商的 VPC 之間建立 BGP 工作階段，確保路徑交換。

如要啟用私人查詢，您必須透過私人互連，設定從 Lakehouse 到遠端儲存空間 bucket (例如 AWS Amazon S3 bucket) 的路徑。您可以按照下列兩種架構流程設定這項路徑：

• 內部區域 Proxy 網路負載平衡器轉送：這個流程會使用Google Cloud 內部區域 Proxy 網路負載平衡器，將要求分配至指向多個 AWS 彈性網路介面 (ENI) 的混合式連線網路端點群組 (NEG)。這個流程對於負載平衡、擴充性和高可用性至關重要。合作夥伴互連網路必須使用 Cloud Router，而 Cross-Cloud Interconnect 則建議使用，以利負載平衡、擴充性和高可用性。
• 直接端點路由：這個流程會將 Service Directory 直接連至單一 AWS 介面 VPC 端點 IP 位址。這個流程僅適用於 Cross-Cloud Interconnect，不支援 Partner Interconnect。

選取符合架構需求的設定流程：

設定聯盟

如要查詢資料，您必須設定 Lakehouse 聯合目錄，並連結至遠端目錄。

建立區域性密鑰

如要使用同盟功能，必須提供存取遠端目錄的憑證。 Lakehouse 會使用區域性 Secret Manager 密鑰，安全地儲存及擷取這些憑證，以便向遠端供應商驗證。

如果是 Databricks，您必須在 Databricks 帳戶中建立服務主體，並產生 OAuth 用戶端 ID 和用戶端密鑰。請確認這個服務主體具有目標 Unity Catalog 目錄的讀取權限。接著，請將這些憑證格式化為 JSON 酬載，並儲存在 Secret Manager 中。

1. 建立名為 credentials.json 的 JSON 檔案，其中包含您的酬載：

   {
     "client_id": "CLIENT_ID",
     "client_secret": "CLIENT_SECRET"
   }

   更改下列內容：

   • CLIENT_ID：Databricks 服務主體的 OAuth 用戶端 ID。
   • CLIENT_SECRET：Databricks 服務主體的 OAuth 用戶端密鑰。

2. 設定 Secret Manager 的區域端點：

   Secret Manager 預設會使用全域端點。不過，跨雲端 Lakehouse 必須將密鑰儲存在與 Lakehouse 目錄相同的區域。如要使用 gcloud CLI 與區域性密鑰互動，您必須覆寫目前工作階段或設定檔的預設 API 端點。為避免連線問題，你的密鑰和目錄必須在相同區域建立。例如：secretmanager.us-east4.rep.googleapis.com。

   gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/

   更改下列內容：

   • REGION：儲存 Secret Manager 密鑰的 Google Cloud 區域。例如：us-east4。 為避免連線能力問題，您的 Secret 和目錄必須在同一區域建立。例如 secretmanager.us-east4.rep.googleapis.com。

3. 將酬載上傳至 Secret Manager：

   gcloud secrets create DATABRICKS_SECRET_NAME \
     --location="REGION" \
     --project="PROJECT_ID" \
     --data-file=credentials.json

   更改下列內容：

   • DATABRICKS_SECRET_NAME：Databricks 密鑰的名稱。

建立聯合目錄

使用 gcloud biglake iceberg catalogs create 指令建立聯邦目錄。

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

授予聯合目錄密鑰存取權

建立目錄時，Lakehouse 會為目錄佈建專屬服務帳戶 (在資源說明中以 biglake-service-account 形式傳回)。

您必須授予這個服務帳戶權限，才能存取本教學課程稍早建立的密鑰。請注意，傳播 IAM 政策可能需要幾分鐘。

授予目錄的服務帳戶密鑰存取權。

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets add-iam-policy-binding DATABRICKS_SECRET_NAME \
  --project="PROJECT_ID" \
  --location="REGION" \
  --member="serviceAccount:$(gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
      --project="PROJECT_ID" \
      --location="REGION" \
      --format='value(biglake-service-account)')" \
  --role="roles/secretmanager.secretAccessor"

驗證連線

如要確認聯盟目錄服務帳戶是否可存取密鑰，請執行下列指令：

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets get-iam-policy DATABRICKS_SECRET_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

在輸出內容中，確認 biglake-service-account 服務帳戶已獲派 roles/secretmanager.secretAccessor 角色。

接著，請確認目錄背景重新整理週期已順利完成，且命名空間正在同步處理。

1. 確認重新整理狀態顯示成功：

   gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

2. 確認遠端資料庫顯示為已同步的命名空間：

   gcloud biglake iceberg namespaces list \
     --catalog="FEDERATED_CATALOG_NAME" \
     --project="PROJECT_ID" \
     --location="REGION"

後續步驟

• 使用跨雲端 Lakehouse 並查詢資料表。
• 排解跨雲端 Lakehouse 問題。