Menyiapkan Lakehouse lintas cloud untuk AWS Glue

Dokumen ini menjelaskan cara menyiapkan Lakehouse lintas cloud untuk Apache Iceberg guna membuat kueri data dari katalog AWS Glue langsung dalam Google Cloud. Kemampuan ini menyatukan analisis data Anda dengan mengintegrasikan sumber data eksternal dengan lingkungan Google Cloud yang ada.

Setelah itu, Anda dapat menggunakan Lakehouse untuk mengelola akses ke data gabungan Anda.

Sebelum memulai

1. Tinjau Ringkasan Lakehouse untuk memahami cara Lakehouse mengelola akses ke data.
2. Baca Tentang Lakehouse lintas cloud untuk memahami cara kerjanya.
3. Tinjau katalog yang didukung untuk memverifikasi persyaratan format tabel dan konfigurasi yang didukung.
4. Pastikan Administrator AWS Anda memiliki izin untuk membuat peran Identity and Access Management (IAM) dan mengonfigurasi kebijakan izin.
5. Opsional: Jika Anda berencana merutekan kueri melalui interkoneksi pribadi antara VPC Anda dan VPC penyedia cloud jarak jauh Anda (misalnya, AWS), pastikan Anda memiliki akun aktif dengan penyedia jarak jauh Anda, sediakan Cross-Cloud Interconnect atau Partner Interconnect, buat sesi BGP dengan Cloud Router Anda, dan verifikasi bahwa Anda memiliki izin IAM yang diperlukan di kedua lingkungan cloud. Google Cloud
Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menyiapkan Lakehouse lintas cloud, minta administrator Anda untuk memberi Anda peran IAM berikut di project Anda:

• Mengelola katalog Lakehouse: BigLake Admin (roles/biglake.admin)
• Merutekan traffic melalui interkoneksi pribadi: Admin Jaringan Compute (roles/compute.networkAdmin), Pelihat Direktori Layanan (roles/servicedirectory.viewer), dan Layanan yang Diizinkan PSC Direktori Layanan (roles/servicedirectory.pscAuthorizedService)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Batasan dan pertimbangan

Bagian ini mencantumkan batasan dan pertimbangan untuk menggunakan Lakehouse lintas cloud.

• Penyedia Cloud yang Didukung: Penggunaan Private Interconnect dengan Lakehouse lintas cloud Anda didukung dengan penyedia cloud jarak jauh berikut: Amazon Web Services (AWS). Anda dapat menggunakan Cross-Cloud Interconnect atau Partner Interconnect.
• Perutean jaringan: Jika interkoneksi pribadi (seperti CCI milik pelanggan atau Partner Interconnect) tidak dikonfigurasi, kueri akan dirutekan melalui internet publik. Hal ini dapat menyebabkan biaya traffic keluar yang lebih tinggi dari penyedia cloud jarak jauh Anda dan performa yang kurang dapat diprediksi.
• Keaktualan data: Flag --refresh-interval untuk katalog gabungan menentukan seberapa sering metadata disinkronkan. Interval yang lebih pendek memberikan data yang lebih baru, tetapi dapat menimbulkan biaya API tambahan dari penyedia katalog jarak jauh.

• Pelaporan Metrik Iceberg: Pelaporan Metrik Iceberg tidak tersedia untuk katalog gabungan. Tetapkan properti rest-metrics-reporting-enabled ke false di klien Iceberg Anda saat mengakses katalog gabungan.

Alur kerja umum

Untuk menyiapkan dan menggunakan Lakehouse lintas cloud, ikuti langkah-langkah umum berikut:

• Siapkan Cross-Cloud Interconnect (Opsional): Konfigurasi koneksi pribadi antara Google Cloud VPC Anda dan penyedia cloud jarak jauh Anda.
• Siapkan federasi: Konfigurasi autentikasi dengan membuat peran IAM dengan kebijakan kepercayaan placeholder dengan penyedia jarak jauh Anda. Kemudian, buat katalog gabungan di Lakehouse dan perbarui kebijakan kepercayaan.
• Verifikasi koneksi: Pastikan Lakehouse dapat terhubung ke katalog jarak jauh Anda dengan berhasil.
• Kueri data: Jalankan kueri terhadap data gabungan Anda menggunakan BigQuery atau Managed Service untuk Apache Spark. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Lakehouse lintas cloud.
• Mengonfigurasi izin: Gunakan IAM untuk mengelola siapa yang dapat melihat dan mengkueri data gabungan.

Menyiapkan Cross-Cloud Interconnect (Opsional)

Kueri ke katalog jarak jauh Anda dikirim melalui internet publik secara default. Untuk membantu meningkatkan keamanan dan kepatuhan, memberikan performa yang dapat diprediksi, dan mengurangi biaya transfer data, gunakan interkoneksi pribadi. Hal ini akan membuat koneksi jaringan pribadi khusus antara Google Cloud Virtual Private Cloud (VPC) Anda dan jaringan penyedia cloud jarak jauh Anda (misalnya, AWS).

Anda dapat menyediakan dan mengonfigurasi salah satu opsi interkoneksi pribadi berikut antara VPC Anda dan VPC penyedia cloud jarak jauh Anda (misalnya, AWS): Google Cloud

• Cross-Cloud Interconnect: Koneksi fisik khusus.
• Partner Interconnect: Koneksi melalui penyedia layanan yang didukung.

Buat sesi BGP antara Cloud Router Anda di Google Cloud dan VPC penyedia cloud jarak jauh Anda untuk memastikan pertukaran rute.

Untuk mengaktifkan pembuatan kueri pribadi, Anda harus mengonfigurasi jalur dari Lakehouse ke bucket penyimpanan jarak jauh Anda (misalnya, bucket AWS Amazon S3) melalui interkoneksi pribadi Anda. Ada dua alur arsitektur yang dapat Anda ikuti untuk mengonfigurasi pemilihan rute ini:

• Perutean Load Balancer Jaringan proxy regional internal: Alur ini menggunakan Google Cloud Load Balancer Jaringan proxy regional internal untuk mendistribusikan permintaan di seluruh Grup Endpoint Jaringan (NEG) Konektivitas Hybrid yang mengarah ke beberapa Elastic Network Interface (ENI) AWS. Alur ini sangat penting untuk load balancing, skalabilitas, dan ketersediaan tinggi. Hal ini diperlukan untuk Partner Interconnect dan direkomendasikan untuk Cross-Cloud Interconnect untuk load balancing, skalabilitas, dan ketersediaan tinggi.
• Perutean endpoint langsung: Alur ini menghubungkan Service Directory langsung ke satu alamat IP Endpoint VPC Antarmuka AWS. Alur ini hanya berfungsi untuk Cross-Cloud Interconnect dan tidak didukung untuk Partner Interconnect.

Pilih alur konfigurasi yang sesuai dengan persyaratan arsitektur Anda:

Menyiapkan federasi lintas cloud

Untuk membuat kueri data, siapkan katalog gabungan Lakehouse yang terhubung ke katalog AWS jarak jauh Anda.

Buat peran AWS IAM dengan kebijakan kepercayaan placeholder

Lakehouse menyediakan ID akun layanan Google setelah pembuatan katalog. Buat peran AWS IAM dengan kebijakan kepercayaan placeholder.

1. Buat file bernama trust_policy.json:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "accounts.google.com"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "accounts.google.com:aud": [
               "PLACEHOLDER_VALUE"
             ],
             "accounts.google.com:sub": [
               "PLACEHOLDER_VALUE"
             ]
           }
         }
       }
     ]
   }

2. Jalankan perintah AWS CLI untuk membuat peran dengan kebijakan kepercayaan placeholder. Sebaiknya tetapkan durasi sesi maksimum ke 12 jam (43200 detik) untuk mencegah masa berlaku kredensial berakhir selama tugas yang berjalan lama:

   aws iam create-role \
     --role-name AWS_ROLE_NAME \
     --assume-role-policy-document file://trust_policy.json \
     --max-session-duration 43200

   Ganti kode berikut:

   • AWS_ROLE_NAME: nama untuk peran IAM AWS Anda. Contoh, biglake_glue_federation_role.

Melampirkan kebijakan izin

Lampirkan kebijakan izin ke peran IAM Anda yang memungkinkan Lakehouse mengakses bucket S3 dan Katalog Data Glue di region AWS. Kebijakan ini juga memberikan akses ke bucket tabel S3 jika Anda menggunakan integrasi Tabel S3 AWS Lake Formation. Jika Anda telah mengupgrade dari izin data AWS Glue default ke model AWS Lake Formation, Anda mungkin perlu memberikan izin tambahan di Lake Formation.

1. Buat file bernama permissions_policy.json dengan konfigurasi kebijakan berikut.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "GlueRead",
         "Effect": "Allow",
         "Action": [
           "glue:GetCatalog",
           "glue:GetDatabase",
           "glue:GetDatabases",
           "glue:GetTable",
           "glue:GetTables"
         ],
         "Resource": "arn:aws:glue:AWS_REGION:AWS_ACCOUNT_ID:*"
       },
       {
         "Sid": "S3Read",
         "Effect": "Allow",
         "Action": [
           "s3:ListBucket",
           "s3:GetObject"
         ],
         "Resource": [
           "arn:aws:s3:::*"
         ]
       },
       {
         "Sid": "S3TablesRead",
         "Effect": "Allow",
         "Action": [
           "s3tables:GetTableBucket",
           "s3tables:ListNamespaces",
           "s3tables:GetNamespace",
           "s3tables:ListTables",
           "s3tables:GetTable",
           "s3tables:GetTableMetadataLocation",
           "s3tables:GetTableData"
         ],
         "Resource": [
           "arn:aws:s3tables:AWS_REGION:AWS_ACCOUNT_ID:*"
         ]
       }
     ]
   }

2. Lampirkan kebijakan izin ini ke peran IAM Anda:

   aws iam put-role-policy \
     --role-name AWS_ROLE_NAME \
     --policy-name AWS_POLICY_NAME \
     --policy-document file://permissions_policy.json

   Ganti kode berikut:

   • AWS_ROLE_NAME: nama peran IAM AWS Anda. Contoh, biglake_glue_federation_role.
   • AWS_POLICY_NAME: nama untuk kebijakan izin Anda. Contoh, biglake_glue_permissions.
   • AWS_REGION: region AWS tempat katalog Glue atau Tabel S3 Anda berada. Contoh, us-east-1.
   • AWS_ACCOUNT_ID: string ID akun AWS 12 digit Anda. Contoh, 123456789012.

Membuat katalog gabungan

Buat katalog gabungan di Google Cloud dengan menggunakan CLI gcloud atau REST API.

Untuk mencegah kegagalan sinkronisasi metadata sebelum waktunya saat hubungan kepercayaan AWS disebarkan, lakukan inisialisasi katalog tanpa menentukan jadwal refresh (yang secara default adalah 0s).

gcloud alpha biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="glue" \
    --glue-warehouse="GLUE_OR_S3_TABLE_BUCKET_WAREHOUSE" \
    --glue-aws-region="AWS_REGION" \
    --glue-aws-role-arn="arn:aws:iam::AWS_ACCOUNT_ID:role/AWS_ROLE_NAME"

gcloud alpha biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="glue" \
    --glue-warehouse="GLUE_OR_S3_TABLE_BUCKET_WAREHOUSE" \
    --glue-aws-region="AWS_REGION" \
    --glue-aws-role-arn="arn:aws:iam::AWS_ACCOUNT_ID:role/AWS_ROLE_NAME" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

curl -s -X POST \
  -H "x-goog-user-project: PROJECT_ID" \
  -H "Accept: application/json" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://biglake.googleapis.com/iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs?iceberg_catalog_id=FEDERATED_CATALOG_NAME&primary_location=REGION" \
  -d '{
    "catalog_type": "CATALOG_TYPE_FEDERATED",
    "storage_regions": ["'"REGION"'"],
    "federated_catalog_options": {
      "glue_catalog_info": {
        "warehouse": "'"GLUE_OR_S3_TABLE_BUCKET_WAREHOUSE"'",
        "aws_region": "'"AWS_REGION"'",
        "aws_role_arn": "arn:aws:iam::'"AWS_ACCOUNT_ID"':role/'"AWS_ROLE_NAME"'"
      }
    }
  }'

Ganti kode berikut:

• FEDERATED_CATALOG_NAME: nama untuk katalog gabungan Anda.
• PROJECT_ID: Google Cloud Project ID Anda.
• REGION: region Lakehouse tempat katalog gabungan dibuat. Contoh, us-east4.
• GLUE_OR_S3_TABLE_BUCKET_WAREHOUSE: ID katalog gudang data target Anda. Untuk Glue Data Catalog region AWS, masukkan string ID akun AWS 12 digit Anda. Contoh, 123456789012. Untuk menggunakan bucket tabel S3 di region, masukkan AWS_ACCOUNT_ID:s3tablescatalog/S3_TABLE_BUCKET. Contoh, 123456789012:s3tablescatalog/my-table-bucket.
• AWS_ACCOUNT_ID: string ID akun AWS 12 digit Anda. Contoh, 123456789012.
• AWS_REGION: region AWS tempat bucket tabel S3 atau katalog Glue Anda berada. Contoh, us-east-1.
• AWS_ROLE_NAME: nama peran IAM AWS Anda. Contoh, biglake_glue_federation_role.
• NAMESPACE: (Opsional) namespace Direktori Layanan yang Anda buat selama penyiapan interkoneksi pribadi.
• SERVICE_NAME: (Opsional) nama layanan Service Directory yang Anda buat selama penyiapan interkoneksi pribadi.

Memperbarui kebijakan kepercayaan

Saat katalog dibuat, Lakehouse menyediakan akun layanan unik untuknya, yang ditampilkan sebagai kolom biglake-service-account-id dalam respons pembuatan katalog. Anda menggunakan akun layanan ini untuk membuat hubungan tepercaya.

1. Jalankan perintah berikut untuk mengekstrak nilai biglake-service-account-id ke dalam variabel bash aktif:

   BIGLAKE_SA_ID=$(gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --format="value(biglake-service-account-id)")

2. Perbarui kebijakan kepercayaan peran IAM AWS Anda untuk mengganti placeholder dengan ID Agen Layanan Google terverifikasi Anda. Blok kondisi memvalidasi kecocokan sub dan aud. Tulis kebijakan ke file bernama trust_policy_comprehensive.json:

   cat > trust_policy_comprehensive.json << EOF
   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "accounts.google.com"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "accounts.google.com:aud": [
               "$BIGLAKE_SA_ID"
             ],
             "accounts.google.com:sub": [
               "$BIGLAKE_SA_ID"
             ]
           }
         }
       }
     ]
   }
   EOF

3. Terapkan kebijakan akhir ke peran AWS Anda:

   aws iam update-assume-role-policy \
     --role-name AWS_ROLE_NAME \
     --policy-document file://trust_policy_comprehensive.json

Mengaktifkan muat ulang di latar belakang

Setelah hubungan kepercayaan yang aman berhasil dibuat di kedua platform, perbarui katalog Anda untuk mengaktifkan refresh di latar belakang (setiap 5 menit atau 300s, atau lebih besar).

gcloud alpha biglake iceberg catalogs update FEDERATED_CATALOG_NAME \
  --project="PROJECT_ID" \
  --refresh-interval="300s"

curl -s -X PATCH \
-H "x-goog-user-project: PROJECT_ID" \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://biglake.googleapis.com/iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs/FEDERATED_CATALOG_NAME?updateMask=federated_catalog_options.refresh_options.refresh_schedule" \
-d '{
  "federated_catalog_options": {
    "refresh_options": {
      "refresh_schedule": {
        "refresh_interval": "300s"
      }
    }
  }
}'

Memverifikasi koneksi

Pastikan siklus refresh latar belakang katalog berhasil diselesaikan dan namespace disinkronkan.

1. Pastikan status refresh menunjukkan keberhasilan:

   gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

2. Pastikan database jarak jauh muncul sebagai namespace yang disinkronkan:

   gcloud alpha biglake iceberg namespaces list \
     --catalog="FEDERATED_CATALOG_NAME" \
     --project="PROJECT_ID" \
     --location="REGION"

Langkah berikutnya

• Gunakan Lakehouse lintas cloud dan kueri tabel.
• Memecahkan masalah Lakehouse lintas cloud.