Configurar o Lakehouse sem bordas para o AWS Glue

Neste documento, descrevemos como configurar um Lakehouse sem fronteiras para consultar dados de um catálogo do AWS Glue diretamente no Google Cloud. Essa capacidade unifica a análise de dados ao integrar suas fontes de dados externas ao ambiente Google Cloud atual.

Depois, use o Lakehouse para Apache Iceberg para gerenciar o acesso aos seus dados federados.

Antes de começar

1. Leia a visão geral do Lakehouse para entender como ele gerencia o acesso aos dados.
2. Leia Sobre o Lakehouse sem fronteiras para entender como ele funciona.
3. Revise os catálogos compatíveis para verificar os requisitos de formato de tabela e as configurações compatíveis.
4. Verifique se o administrador da AWS tem permissões para criar papéis do Identity and Access Management (IAM) e configurar políticas de permissões.
5. Opcional: se você planeja rotear consultas por uma interconexão privada entre sua VPC Google Cloud e a VPC do provedor de nuvem remota (por exemplo, AWS), verifique se você tem uma conta ativa com o provedor remoto, provisione uma interconexão dedicada entre nuvens ou interconexão entre nuvens de parceiro, estabeleça sessões BGP com o Cloud Router e verifique se você tem as permissões necessárias do IAM nos dois ambientes de nuvem.
Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Funções exigidas

Para receber as permissões necessárias para configurar o Lakehouse sem fronteiras, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

• Gerenciar catálogos do Lakehouse: Administrador do BigLake (roles/biglake.admin)
• Fazer o roteamento do tráfego por interconexão particular (usuário): Administrador de rede do Compute (roles/compute.networkAdmin)
• Encaminhar o tráfego pelo interconexão particular (conta de serviço do catálogo):
  • Leitor do Service Directory (roles/servicedirectory.viewer)
  • Serviço autorizado do PSC do Diretório de serviços (roles/servicedirectory.pscAuthorizedService)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Limitações e considerações

Nesta seção, listamos as limitações e considerações para usar o Lakehouse sem fronteiras.

• Provedores de nuvem compatíveis:é possível usar uma interconexão privada com seu Lakehouse sem fronteiras com os seguintes provedores de nuvem remotos: Amazon Web Services (AWS). Você pode usar uma Cross-Cloud Interconnect dedicada ou uma Cross-Cloud Interconnect por parceiro.
• Roteamento de rede:se uma interconexão privada (como CCI dedicada ou CCI de parceiro) não estiver configurada, as consultas serão roteadas pela Internet pública. Isso pode resultar em taxas de saída mais altas do seu provedor de nuvem remota e em um desempenho menos previsível.
• Atualização de dados:a flag --refresh-interval do catálogo federado determina a frequência de sincronização dos metadados. Um intervalo menor fornece dados mais recentes, mas pode gerar custos adicionais de API do provedor de catálogo remoto.
• Relatório de métricas do Iceberg:o Relatório de métricas do Iceberg não está disponível para catálogos federados. Defina a propriedade rest-metrics-reporting-enabled como false no cliente do Iceberg ao acessar um catálogo federado.

Fluxo de trabalho geral

Para configurar e usar o Lakehouse sem bordas, siga estas etapas gerais:

• Configure o Cross-Cloud Interconnect (opcional): configure uma conexão privada entre a Google Cloud VPC e o provedor de nuvem remota.
• Configurar a federação:configure a autenticação criando um papel do IAM com uma política de confiança substituta com seu provedor remoto. Em seguida, crie um catálogo federado no Lakehouse e atualize a política de confiança.
• Verifique a conexão:confira se o Lakehouse consegue se conectar ao catálogo remoto.
• Consultar dados:execute consultas nos seus dados federados usando o BigQuery ou o Serviço Gerenciado para Apache Spark. Para mais informações, consulte Usar Lakehouse sem fronteiras.
• Configurar permissões:use o IAM para gerenciar quem pode visualizar e consultar os dados federados.

Configurar o Interconexão entre nuvens (opcional)

Por padrão, as consultas ao catálogo remoto são transmitidas pela Internet pública. Para ajudar a melhorar a segurança e a conformidade, oferecer desempenho previsível e reduzir os custos de transferência de dados, use uma interconexão privada. Isso estabelece uma conexão de rede dedicada e privada entre sua Google Cloud nuvem privada virtual (VPC) e a rede do provedor de nuvem remota (por exemplo, AWS).

É possível provisionar e configurar uma das seguintes opções de interconexão privada entre sua Google Cloud VPC e a VPC do provedor de nuvem remota (por exemplo, AWS):

• Cross-Cloud Interconnect dedicado: uma conexão física dedicada.
• Cross-Cloud Interconnect por parceiro: uma conexão por um provedor de serviços compatível.

Crie sessões do BGP entre o Cloud Router em Google Cloud e a VPC do provedor de nuvem remota para garantir a troca de rotas.

Para ativar consultas particulares, configure um caminho do Lakehouse para seu bucket de armazenamento remoto (por exemplo, um bucket do Amazon S3 da AWS) usando sua interconexão particular. Há dois fluxos arquitetônicos que você pode seguir para configurar esse roteamento:

• Roteamento do balanceador de carga de rede de proxy interno regional:esse fluxo usa um balanceador de carga de rede de proxy interno regionalGoogle Cloud para distribuir solicitações em grupos de endpoints de rede (NEGs) de conectividade híbrida que apontam para várias interfaces de rede elásticas (ENIs) da AWS. Esse fluxo é essencial para balanceamento de carga, escalonabilidade e alta disponibilidade. É necessário para a CCI de parceiro e recomendado para a CCI dedicada para balanceamento de carga, escalonabilidade e alta disponibilidade.
• Roteamento direto de endpoint:esse fluxo conecta o Diretório de serviços diretamente a um único endereço IP de endpoint de interface da VPC da AWS. Esse fluxo só funciona para CCI dedicado e não é compatível com CCI de parceiro.

Selecione o fluxo de configuração que corresponde aos seus requisitos de arquitetura:

gcloud compute networks subnets create PROXY_SUBNET_NAME \
    --purpose=REGIONAL_MANAGED_PROXY \
    --role=ACTIVE \
    --region=REGION \
    --network=VPC_NETWORK \
    --range=PROXY_SUBNET_RANGE

Configurar a federação

Para consultar seus dados, configure um catálogo federado do Lakehouse que se conecta ao seu catálogo remoto da AWS.

Criar o papel do IAM da AWS com uma política de confiança de marcador de posição

O Lakehouse provisiona um ID de conta de serviço do Google após a criação do catálogo. Crie o papel do IAM da AWS com uma política de confiança de marcador de posição.

1. Crie um arquivo chamado trust_policy.json:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "accounts.google.com"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "accounts.google.com:aud": [
               "PLACEHOLDER_VALUE"
             ],
             "accounts.google.com:sub": [
               "PLACEHOLDER_VALUE"
             ]
           }
         }
       }
     ]
   }

2. Execute o comando da CLI da AWS para criar a função com a política de confiança de marcador de posição. Recomendamos definir a duração máxima da sessão como 12 horas (43200 segundos) para evitar a expiração das credenciais durante jobs de longa duração:

   aws iam create-role \
     --role-name AWS_ROLE_NAME \
     --assume-role-policy-document file://trust_policy.json \
     --max-session-duration 43200

   Substitua:

   • AWS_ROLE_NAME: um nome para seu papel do IAM da AWS. Por exemplo, lakehouse_glue_federation_role.

Anexar uma política de permissões

Anexe uma política de permissões à sua função do IAM que permita ao Lakehouse acessar o Data Catalog do Glue e os buckets do S3 da região da AWS. Essa política também concede acesso a buckets de tabelas do S3 se você usar a integração de tabelas do S3 do AWS Lake Formation. Se você fez upgrade das permissões de dados padrão do AWS Glue para o modelo do AWS Lake Formation, talvez seja necessário conceder outras permissões no Lake Formation.

1. Crie um arquivo chamado permissions_policy.json com a seguinte configuração de política.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "GlueRead",
         "Effect": "Allow",
         "Action": [
           "glue:GetCatalog",
           "glue:GetDatabase",
           "glue:GetDatabases",
           "glue:GetTable",
           "glue:GetTables"
         ],
         "Resource": "arn:aws:glue:AWS_REGION:AWS_ACCOUNT_ID:*"
       },
       {
         "Sid": "S3Read",
         "Effect": "Allow",
         "Action": [
           "s3:ListBucket",
           "s3:GetObject"
         ],
         "Resource": [
           "arn:aws:s3:::*"
         ]
       },
       {
         "Sid": "S3TablesRead",
         "Effect": "Allow",
         "Action": [
           "s3tables:GetTableBucket",
           "s3tables:ListNamespaces",
           "s3tables:GetNamespace",
           "s3tables:ListTables",
           "s3tables:GetTable",
           "s3tables:GetTableMetadataLocation",
           "s3tables:GetTableData"
         ],
         "Resource": [
           "arn:aws:s3tables:AWS_REGION:AWS_ACCOUNT_ID:*"
         ]
       }
     ]
   }

   Se você estiver usando chaves gerenciadas pelo cliente hospedadas no AWS Key Management Service (KMS) para criptografar recursos do AWS Glue, do Amazon S3 ou das tabelas do Amazon S3, adicione uma instrução que conceda acesso à chave do KMS para descriptografar os recursos:

   # ...
   {
     "Sid": "GlueS3S3TablesKmsDecrypt",
     "Effect": "Allow",
     "Action": [
         "kms:Decrypt"
     ],
     "Resource": [
         "arn:aws:kms:AWS_REGION:AWS_ACCOUNT_ID:key/key_id_for_glue",
         "arn:aws:kms:AWS_REGION:AWS_ACCOUNT_ID:key/key_id_for_s3",
         "arn:aws:kms:AWS_REGION:AWS_ACCOUNT_ID:key/key_id_for_s3_tables"
     ]
   }
   # ...

2. Anexe esta política de permissões ao seu papel do IAM:

   aws iam put-role-policy \
     --role-name AWS_ROLE_NAME \
     --policy-name AWS_POLICY_NAME \
     --policy-document file://permissions_policy.json

   Substitua:

   • AWS_ROLE_NAME: o nome do papel do IAM da AWS. Por exemplo, lakehouse_glue_federation_role.
   • AWS_POLICY_NAME: um nome para sua política de permissões. Por exemplo, lakehouse_glue_federation_policy.
   • AWS_REGION: a região da AWS em que seu catálogo do Glue ou tabelas do S3 estão. Por exemplo, us-east-1.
   • AWS_ACCOUNT_ID: sua string de ID da conta da AWS com 12 dígitos. Por exemplo, 123456789012.

Criar um catálogo federado

Estabeleça o catálogo federado no Google Cloud usando o console Google Cloud , a CLIgcloud ou a API REST.

Para evitar falhas prematuras na atualização de metadados em segundo plano enquanto as relações de confiança da AWS estão sendo propagadas, inicialize o catálogo sem especificar uma programação de atualização (que é definida como 0s por padrão).

gcloud alpha biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="glue" \
    --glue-warehouse="GLUE_OR_S3_TABLE_BUCKET_WAREHOUSE" \
    --glue-aws-region="AWS_REGION" \
    --glue-aws-role-arn="arn:aws:iam::AWS_ACCOUNT_ID:role/AWS_ROLE_NAME"

gcloud alpha biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="glue" \
    --glue-warehouse="GLUE_OR_S3_TABLE_BUCKET_WAREHOUSE" \
    --glue-aws-region="AWS_REGION" \
    --glue-aws-role-arn="arn:aws:iam::AWS_ACCOUNT_ID:role/AWS_ROLE_NAME" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

curl -s -X POST \
  -H "x-goog-user-project: PROJECT_ID" \
  -H "Accept: application/json" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://biglake.googleapis.com/iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs?iceberg_catalog_id=FEDERATED_CATALOG_NAME&primary_location=REGION" \
  -d '{
    "catalog_type": "CATALOG_TYPE_FEDERATED",
    "storage_regions": ["'"REGION"'"],
    "federated_catalog_options": {
      "glue_catalog_info": {
        "warehouse": "'"GLUE_OR_S3_TABLE_BUCKET_WAREHOUSE"'",
        "aws_region": "'"AWS_REGION"'",
        "aws_role_arn": "arn:aws:iam::'"AWS_ACCOUNT_ID"':role/'"AWS_ROLE_NAME"'"
      }
    }
  }'

Substitua:

• FEDERATED_CATALOG_NAME: um nome para o catálogo federado.
• PROJECT_ID: o ID do projeto Google Cloud .
• REGION: a região do Lakehouse em que o catálogo federado é criado. Por exemplo, us-east4.
• GLUE_OR_S3_TABLE_BUCKET_WAREHOUSE: o identificador do catálogo do data warehouse de destino. Para um Data Catalog do Glue de uma região da AWS, insira a string de ID da conta da AWS de 12 dígitos. Por exemplo, 123456789012. Para usar um bucket de tabela do S3 na região, insira AWS_ACCOUNT_ID:s3tablescatalog/S3_TABLE_BUCKET. Por exemplo, 123456789012:s3tablescatalog/my-table-bucket.
• AWS_ACCOUNT_ID: sua string de ID da conta da AWS com 12 dígitos. Por exemplo, 123456789012.
• AWS_REGION: a região da AWS em que o catálogo do Glue ou o bucket da tabela do S3 está localizado. Por exemplo, us-east-1.
• AWS_ROLE_NAME: o nome do papel do IAM da AWS. Por exemplo, lakehouse_glue_federation_role.
• NAMESPACE: (opcional) o namespace do Diretório de serviços que você criou durante a configuração da interconexão privada.
• SERVICE_NAME: (opcional) o nome do serviço do Diretório de serviços que você criou durante a configuração do interconexão particular.

Atualizar a política de confiança

Quando o catálogo é criado, o Lakehouse provisiona uma conta de serviço exclusiva para ele, que é retornada como o campo biglake-service-account-id na resposta de criação do catálogo. Você usa essa conta de serviço para estabelecer a relação de confiança.

1. Execute o comando a seguir para extrair o valor biglake-service-account-id em uma variável bash ativa:

   LAKEHOUSE_SA_ID=$(gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --format="value(biglake-service-account-id)")

2. Atualize a política de confiança do papel do IAM da AWS para substituir o marcador de posição pelo ID do agente de serviço do Google verificado. O bloco de condição valida a correspondência de sub e aud. Grave a política em um arquivo chamado trust_policy_comprehensive.json:

   cat > trust_policy_comprehensive.json << EOF
   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "accounts.google.com"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "accounts.google.com:aud": [
               "$LAKEHOUSE_SA_ID"
             ],
             "accounts.google.com:sub": [
               "$LAKEHOUSE_SA_ID"
             ]
           }
         }
       }
     ]
   }
   EOF

3. Aplique a política finalizada ao seu papel da AWS:

   aws iam update-assume-role-policy \
     --role-name AWS_ROLE_NAME \
     --policy-document file://trust_policy_comprehensive.json

Ativar a atualização de metadados em segundo plano

Agora que as relações de confiança seguras foram estabelecidas nas duas plataformas, atualize seu catálogo para ativar a atualização de metadados em segundo plano (a cada 5 minutos ou 300s ou mais).

gcloud alpha biglake iceberg catalogs update FEDERATED_CATALOG_NAME \
  --project="PROJECT_ID" \
  --refresh-interval="300s"

curl -s -X PATCH \
-H "x-goog-user-project: PROJECT_ID" \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://biglake.googleapis.com/iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs/FEDERATED_CATALOG_NAME?updateMask=federated_catalog_options.refresh_options.refresh_schedule" \
-d '{
  "federated_catalog_options": {
    "refresh_options": {
      "refresh_schedule": {
        "refresh_interval": "300s"
      }
    }
  }
}'

Concluir a configuração da interconexão particular (somente Interconexão entre nuvens)

Se você estiver roteando o tráfego por uma interconexão privada (Dedicated ou Partner CCI), conceda à conta de serviço do catálogo do Lakehouse permissões para descobrir e autorizar conexões pelo Diretório de serviços.

# Grant Service Directory Viewer
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="serviceAccount:$(gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --format='value(biglake-service-account)')" \
--role="roles/servicedirectory.viewer"

# Grant Service Directory PSC Authorized Service
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="serviceAccount:$(gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --format='value(biglake-service-account)')" \
--role="roles/servicedirectory.pscAuthorizedService"

Verifique a conexão

Verifique se o ciclo de atualização dos metadados em segundo plano do catálogo foi concluído e se os namespaces estão sincronizados.

1. Verifique se o status da atualização indica sucesso:

   gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID"

2. Confirme se os bancos de dados remotos aparecem como namespaces sincronizados:

   gcloud alpha biglake iceberg namespaces list \
     --project="PROJECT_ID" \
     --catalog="FEDERATED_CATALOG_NAME"

A seguir

• Usar tabelas de consulta e do Lakehouse sem bordas.
• Resolver problemas do Lakehouse sem bordas.