Menyiapkan Lakehouse lintas cloud untuk Databricks Unity Catalog

Dokumen ini menjelaskan cara menyiapkan Lakehouse lintas cloud untuk mengkueri data dari katalog Databricks Unity Catalog langsung dalam Google Cloud. Kemampuan ini menyatukan analisis data Anda dengan mengintegrasikan sumber data eksternal dengan lingkunganGoogle Cloud yang ada.

Setelah itu, Anda dapat menggunakan Lakehouse untuk Apache Iceberg guna mengelola akses ke data gabungan Anda.

Sebelum memulai

1. Tinjau Ringkasan Lakehouse untuk memahami cara Lakehouse mengelola akses ke data.
2. Baca Tentang Lakehouse lintas cloud untuk memahami cara kerjanya.
3. Tinjau katalog yang didukung untuk memverifikasi persyaratan lokasi eksternal dan konfigurasi yang didukung.
4. Pahami cara menggunakan secret Secret Manager regional. Langkah ini diperlukan untuk menyiapkan Lakehouse lintas cloud dengan Databricks Unity Catalog.
5. Buat OAuth Service Principal (client ID dan rahasia klien) dalam penyedia katalog jarak jauh Anda yang memiliki akses baca ke katalog target. Proses ini berada di luar cakupan dokumentasi ini.
6. Opsional: Jika Anda berencana merutekan kueri melalui interkoneksi pribadi antara Google Cloud VPC Anda dan VPC penyedia cloud jarak jauh Anda (misalnya, AWS), pastikan Anda memiliki akun aktif dengan penyedia jarak jauh Anda, sediakan Cross-Cloud Interconnect atau Partner Interconnect, buat sesi BGP dengan Cloud Router Anda, dan verifikasi bahwa Anda memiliki izin IAM yang diperlukan di kedua lingkungan cloud.
Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake, Secret Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake, Secret Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menyiapkan Lakehouse lintas cloud, minta administrator Anda untuk memberi Anda peran IAM berikut di project Anda:

• Mengelola katalog Lakehouse: BigLake Admin (roles/biglake.admin)
• Mengelola secret: Secret Manager Admin (roles/secretmanager.admin)
• Merutekan traffic melalui interkoneksi pribadi: Admin Jaringan Compute (roles/compute.networkAdmin), Pelihat Direktori Layanan (roles/servicedirectory.viewer), dan Layanan yang Diizinkan PSC Direktori Layanan (roles/servicedirectory.pscAuthorizedService)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Detail katalog yang didukung

Panduan ini memberikan petunjuk untuk menyiapkan Lakehouse lintas cloud dengan katalog Databricks Unity Catalog di Amazon Web Services (AWS) atau Google Cloud. Untuk mengetahui informasi mendetail terkait persyaratan lokasi eksternal dan konfigurasi yang didukung, lihat Katalog yang didukung.

Batasan dan pertimbangan

Bagian ini mencantumkan batasan dan pertimbangan untuk menggunakan Lakehouse lintas cloud.

• Penyedia Cloud yang Didukung: Penggunaan Private Interconnect dengan Lakehouse lintas cloud Anda didukung dengan penyedia cloud jarak jauh berikut: Amazon Web Services (AWS). Anda dapat menggunakan Cross-Cloud Interconnect atau Partner Interconnect.
• Hanya katalog Databricks Unity Catalog yang menggunakan lokasi eksternal di AWS atau lokasi eksternal di Google Cloud yang didukung. Katalog Unity Catalog yang menggunakan penyimpanan default di AWS atau penyimpanan default di Google Cloud tidak didukung.
• Anda harus mengaktifkan akses data eksternal di metastore yang digunakan oleh Unity Catalog, yang dinonaktifkan secara default.
• Perutean jaringan: Jika interkoneksi pribadi (seperti CCI milik pelanggan atau Partner Interconnect) tidak dikonfigurasi, kueri akan dirutekan melalui internet publik. Hal ini dapat menyebabkan biaya traffic keluar yang lebih tinggi dari penyedia cloud jarak jauh Anda dan performa yang kurang dapat diprediksi.
• Keaktualan data: Flag --refresh-interval untuk katalog gabungan menentukan seberapa sering metadata disinkronkan. Interval yang lebih pendek memberikan data yang lebih baru, tetapi dapat menimbulkan biaya API tambahan dari penyedia katalog jarak jauh.

• Pelaporan Metrik Iceberg: Pelaporan Metrik Iceberg tidak tersedia untuk katalog gabungan. Tetapkan properti rest-metrics-reporting-enabled ke false di klien Iceberg Anda saat mengakses katalog gabungan.

Alur kerja umum

Untuk menyiapkan dan menggunakan Lakehouse lintas cloud, ikuti langkah-langkah umum berikut:

• Siapkan Cross-Cloud Interconnect (Opsional): Konfigurasi koneksi pribadi antara Google Cloud VPC Anda dan penyedia cloud jarak jauh Anda.
• Siapkan federasi: Buat secret di Secret Manager dengan kredensial katalog jarak jauh Anda. Kemudian, buat katalog gabungan di Lakehouse dan beri akses ke secret tersebut.
• Verifikasi koneksi: Verifikasi bahwa Lakehouse dapat berhasil terhubung ke katalog jarak jauh Anda.
• Kueri data: Jalankan kueri terhadap data gabungan Anda menggunakan BigQuery atau Managed Service untuk Apache Spark. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Lakehouse lintas cloud.
• Mengonfigurasi izin: Gunakan Identity and Access Management (IAM) untuk mengelola siapa yang dapat melihat dan membuat kueri data gabungan.

Menyiapkan Cross-Cloud Interconnect (Opsional)

Kueri ke katalog jarak jauh Anda dikirim melalui internet publik secara default. Untuk membantu meningkatkan keamanan dan kepatuhan, memberikan performa yang dapat diprediksi, dan mengurangi biaya transfer data, gunakan interkoneksi pribadi. Hal ini akan membuat koneksi jaringan pribadi khusus antara Google Cloud Virtual Private Cloud (VPC) Anda dan jaringan penyedia cloud jarak jauh Anda (misalnya, AWS).

Anda dapat menyediakan dan mengonfigurasi salah satu opsi interkoneksi pribadi berikut antara VPC Anda dan VPC penyedia cloud jarak jauh Anda (misalnya, AWS): Google Cloud

• Cross-Cloud Interconnect: Koneksi fisik khusus.
• Partner Interconnect: Koneksi melalui penyedia layanan yang didukung.

Buat sesi BGP antara Cloud Router Anda di Google Cloud dan VPC penyedia cloud jarak jauh Anda untuk memastikan pertukaran rute.

Untuk mengaktifkan pembuatan kueri pribadi, Anda harus mengonfigurasi jalur dari Lakehouse ke bucket penyimpanan jarak jauh Anda (misalnya, bucket AWS Amazon S3) melalui interkoneksi pribadi Anda. Ada dua alur arsitektur yang dapat Anda ikuti untuk mengonfigurasi pemilihan rute ini:

• Perutean Load Balancer Jaringan proxy regional internal: Alur ini menggunakan Google Cloud Load Balancer Jaringan proxy regional internal untuk mendistribusikan permintaan di seluruh Grup Endpoint Jaringan (NEG) Konektivitas Hybrid yang mengarah ke beberapa Elastic Network Interface (ENI) AWS. Alur ini sangat penting untuk load balancing, skalabilitas, dan ketersediaan tinggi. Hal ini diperlukan untuk Partner Interconnect dan direkomendasikan untuk Cross-Cloud Interconnect untuk load balancing, skalabilitas, dan ketersediaan tinggi.
• Perutean endpoint langsung: Alur ini menghubungkan Service Directory langsung ke satu alamat IP Endpoint VPC Antarmuka AWS. Alur ini hanya berfungsi untuk Cross-Cloud Interconnect dan tidak didukung untuk Partner Interconnect.

Pilih alur konfigurasi yang sesuai dengan persyaratan arsitektur Anda:

Menyiapkan penggabungan

Untuk membuat kueri data, Anda harus menyiapkan katalog gabungan Lakehouse yang terhubung ke katalog jarak jauh Anda.

Membuat secret regional

Federasi memerlukan kredensial untuk mengakses katalog jarak jauh. Lakehouse menggunakan secret Secret Manager regional untuk menyimpan dan mengambil kredensial ini dengan aman guna mengautentikasi penyedia jarak jauh Anda.

Untuk Databricks, Anda harus membuat Service Principal di akun Databricks dan membuat client ID dan secret klien OAuth. Verifikasi bahwa Service Principal ini memiliki akses baca ke katalog Unity Catalog target. Kemudian, format kredensial ini sebagai payload JSON untuk disimpan di Secret Manager.

1. Buat file JSON bernama credentials.json dengan payload Anda:

   {
     "client_id": "CLIENT_ID",
     "client_secret": "CLIENT_SECRET"
   }

   Ganti kode berikut:

   • CLIENT_ID: Client ID OAuth untuk Akun Utama Layanan Databricks Anda.
   • CLIENT_SECRET: Rahasia klien OAuth untuk Principal Layanan Databricks Anda.

2. Konfigurasi endpoint regional untuk Secret Manager:

   Secara default, Secret Manager menggunakan endpoint global. Namun, Lakehouse lintas cloud mengharuskan secret Anda disimpan di region yang sama dengan katalog Lakehouse Anda. Untuk berinteraksi dengan secret regional menggunakan CLI gcloud, Anda harus mengganti endpoint API default untuk sesi atau profil saat ini. Untuk menghindari masalah konektivitas, secret dan katalog Anda harus dibuat di region yang sama. Contoh, secretmanager.us-east4.rep.googleapis.com.

   gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/

   Ganti kode berikut:

   • REGION: Region Google Cloud tempat secret Secret Manager Anda disimpan. Misalnya, us-east4. Untuk menghindari masalah konektivitas, rahasia dan katalog Anda harus dibuat di region yang sama. Contoh, secretmanager.us-east4.rep.googleapis.com.

3. Upload payload ke Secret Manager:

   gcloud secrets create DATABRICKS_SECRET_NAME \
     --location="REGION" \
     --project="PROJECT_ID" \
     --data-file=credentials.json

   Ganti kode berikut:

   • DATABRICKS_SECRET_NAME: Nama untuk secret Databricks Anda.

Membuat katalog gabungan

Buat katalog gabungan menggunakan perintah gcloud biglake iceberg catalogs create.

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

Memberi akses katalog gabungan ke secret

Saat katalog dibuat, Lakehouse menyediakan akun layanan unik untuknya (ditampilkan sebagai biglake-service-account dalam deskripsi resource).

Anda harus memberikan izin akun layanan ini untuk mengakses secret yang Anda buat sebelumnya dalam tutorial ini. Perhatikan bahwa penerapan kebijakan IAM dapat memerlukan waktu beberapa menit.

Beri akun layanan katalog izin untuk mengakses secret.

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets add-iam-policy-binding DATABRICKS_SECRET_NAME \
  --project="PROJECT_ID" \
  --location="REGION" \
  --member="serviceAccount:$(gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
      --project="PROJECT_ID" \
      --location="REGION" \
      --format='value(biglake-service-account)')" \
  --role="roles/secretmanager.secretAccessor"

Memverifikasi koneksi

Untuk memverifikasi bahwa akun layanan katalog gabungan memiliki akses ke secret, jalankan perintah berikut:

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets get-iam-policy DATABRICKS_SECRET_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

Dalam output, pastikan akun layanan biglake-service-account memiliki peran roles/secretmanager.secretAccessor yang ditetapkan untuknya.

Selanjutnya, pastikan siklus pemuatan ulang latar belakang katalog selesai dengan berhasil dan namespace disinkronkan.

1. Pastikan status refresh menunjukkan keberhasilan:

   gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

2. Pastikan database jarak jauh muncul sebagai namespace yang disinkronkan:

   gcloud biglake iceberg namespaces list \
     --catalog="FEDERATED_CATALOG_NAME" \
     --project="PROJECT_ID" \
     --location="REGION"

Langkah berikutnya

• Gunakan Lakehouse lintas cloud dan kueri tabel.
• Memecahkan masalah Lakehouse lintas cloud.