Configura Lakehouse sin fronteras para Snowflake

Balanceador de cargas de red del proxy interno regional

Para configurar un balanceador de cargas de red de proxy interno regional para distribuir solicitudes en varias ENI de AWS para lograr alta disponibilidad y balanceo de cargas, sigue estos pasos:

Configura las redes de AWS

Primero, crea un extremo de interfaz de VPC de Amazon S3 (AWS PrivateLink):

1. En la consola de VPC de AWS, crea un extremo de interfaz para Amazon S3.
2. Para el nombre del servicio, especifica com.amazonaws.AWS_REGION.s3.
3. Selecciona la VPC y las subredes que están conectadas a tu Google Cloud VPC a través de Direct Connect.
4. Vincula grupos de seguridad al extremo para controlar el acceso entrante.
5. Esto aprovisiona interfaces de red elásticas (ENI) en cada subred seleccionada. Anota las direcciones IP privadas de estas ENI.

A continuación, configura los grupos de seguridad:

• Asegúrate de que los grupos de seguridad adjuntos a las ENI del extremo de Amazon S3 permitan el tráfico de TCP entrante en el puerto 443 desde tu VPC de Google Cloud . Esto debe incluir el rango de CIDR de tu subred de solo proxyGoogle Cloud para permitir las verificaciones de estado y el tráfico reenviado.

Configurar Google Cloud redes

Para simplificar la configuración, ejecuta los siguientes comandos para configurar el balanceador de cargas interno. Para obtener más detalles o configuraciones avanzadas, consulta Configura un balanceador de cargas de red de proxy interno regional para extremos híbridos.

gcloud compute networks subnets create PROXY_SUBNET_NAME \
    --purpose=REGIONAL_MANAGED_PROXY \
    --role=ACTIVE \
    --region=REGION \
    --network=VPC_NETWORK \
    --range=PROXY_SUBNET_RANGE

Reemplaza lo siguiente:

• PROXY_SUBNET_NAME: Es un nombre para la subred de solo proxy.
• PROXY_SUBNET_RANGE: Un rango CIDR sin usar dentro de tu red de VPC (por ejemplo, 10.129.0.0/23).

1. Crea una verificación de estado regional:

   gcloud compute health-checks create tcp HEALTH_CHECK_NAME \
       --region=REGION \
       --port=443

   Reemplaza lo siguiente:

   • HEALTH_CHECK_NAME: Es un nombre para la verificación de estado.
   • REGION: La Google Cloud región (por ejemplo, us-east4).

2. Crea grupos de extremos de red (NEG) de conectividad híbrida y agrega extremos:

   Crea un NEG híbrido (NON_GCP_PRIVATE_IP_PORT) para cada zona:

   gcloud compute network-endpoint-groups create NEG_NAME \
       --network-endpoint-type=NON_GCP_PRIVATE_IP_PORT \
       --zone=ZONE \
       --network=VPC_NETWORK

   Agrega la dirección IP privada de tu ENI de AWS al NEG híbrido correspondiente:

   gcloud compute network-endpoint-groups update NEG_NAME \
       --zone=ZONE \
       --add-endpoint="ip=AWS_S3_IP,port=443"

   Reemplaza lo siguiente:

   • NEG_NAME: Es un nombre para el NEG híbrido.
   • ZONE: Es la zona Google Cloud (por ejemplo, us-east4-a). Esta zona debe residir dentro de la región de tu adjunto de VLAN de Cross‑Cloud Interconnect.
   • VPC_NETWORK: Es el nombre de tu red de VPC.
   • AWS_S3_IP: Es la dirección IP privada del extremo de VPC de Amazon S3 de AWS (ENI) en esa zona.

   Repite estos comandos para crear NEG y agregar extremos para otras zonas si tus ENI de AWS se distribuyen en varias zonas.

3. Crea y configura el servicio de backend:

   Crea un servicio de backend regional con balanceo de cargas administrado interno:

   gcloud compute backend-services create BACKEND_SERVICE_NAME \
       --load-balancing-scheme=INTERNAL_MANAGED \
       --protocol=TCP \
       --region=REGION \
       --health-checks=HEALTH_CHECK_NAME \
       --health-checks-region=REGION

   Agrega tus NEG híbridos al servicio de backend:

   gcloud compute backend-services add-backend BACKEND_SERVICE_NAME \
       --region=REGION \
       --network-endpoint-group=NEG_NAME \
       --network-endpoint-group-zone=ZONE \
       --balancing-mode=CONNECTION \
       --max-connections=MAX_CONNECTIONS

   Reemplaza lo siguiente:

   • BACKEND_SERVICE_NAME: Es un nombre para el servicio de backend.
   • NEG_NAME: Es el nombre del NEG híbrido que creaste en el paso anterior.
   • ZONE: La Google Cloud zona (por ejemplo, us-east4-a).
   • MAX_CONNECTIONS: Es la cantidad máxima de conexiones simultáneas que debe controlar el backend (por ejemplo, 100).

   Repite el comando add-backend para cada NEG híbrido que creaste.

4. Configura el frontend del balanceador de cargas:

   Crea un proxy TCP de destino:

   gcloud compute target-tcp-proxies create TARGET_PROXY_NAME \
       --backend-service=BACKEND_SERVICE_NAME \
       --region=REGION

   Crea una regla de reenvío para enrutar el tráfico al proxy de destino:

   gcloud compute forwarding-rules create FORWARDING_RULE_NAME \
       --load-balancing-scheme=INTERNAL_MANAGED \
       --network=VPC_NETWORK \
       --subnet=VPC_SUBNET \
       --ports=443 \
       --region=REGION \
       --target-tcp-proxy=TARGET_PROXY_NAME \
       --target-tcp-proxy-region=REGION \
       --allow-global-access

   Reemplaza lo siguiente:

   • TARGET_PROXY_NAME: Es un nombre para el proxy de destino.
   • FORWARDING_RULE_NAME: un nombre para la regla de reenvío.
   • VPC_SUBNET: Es el nombre de tu subred de VPC.

Después de crear la regla de reenvío para el balanceador de cargas, toma nota de la dirección IP interna que se le asignó. Este es tu ILB_IP_ADDRESS.

Configura el Directorio de servicios

Registra la dirección IP del ILB en Directorio de servicios para que Lakehouse pueda detectarla.

1. Crea un espacio de nombres para tu nube remota:

   gcloud service-directory namespaces create NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   Reemplaza lo siguiente:

   • NAMESPACE: Es un identificador único para tu espacio de nombres.
   • PROJECT_ID: Es el ID del proyecto de Google Cloud .
   • REGION: La Google Cloud región Por ejemplo: us-east4. Debe ser la misma región que la del catálogo federado.

2. Crea un servicio en el espacio de nombres del Directorio de servicios:

   gcloud service-directory services create SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   Reemplaza lo siguiente:

   • SERVICE_NAME: Es un identificador único para tu servicio.

3. Crea un extremo para el ILB en el servicio:

   gcloud service-directory endpoints create ENDPOINT_NAME \
       --project=PROJECT_ID \
       --namespace=NAMESPACE \
       --service=SERVICE_NAME \
       --location=REGION \
       --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK \
       --address=ILB_IP_ADDRESS \
       --port=443

   Reemplaza lo siguiente:

   • ENDPOINT_NAME: Es un identificador único para tu extremo.
   • PROJECT_NUMBER: Es el número de tu proyecto de Google Cloud. Usa el número de tu proyecto en la marca --network.
   • ILB_IP_ADDRESS: Es la dirección IP interna de tu regla de reenvío del ILB.

Extremo directo

Para configurar el Directorio de servicios de modo que enrute el tráfico directamente a una sola dirección IP del extremo de VPC de la interfaz de AWS, sigue estos pasos:

1. Crea un extremo de VPC de interfaz para Amazon S3 dentro de tu VPC de AWS. Anota la dirección IP y el puerto de este extremo.

2. Crea un espacio de nombres para tu nube remota:

   gcloud service-directory namespaces create NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   Reemplaza lo siguiente:

   • NAMESPACE: Es un identificador único para tu espacio de nombres.
   • PROJECT_ID: Es el ID del proyecto de Google Cloud .
   • REGION: La Google Cloud región Por ejemplo: us-east4. Debe ser la misma región que la del catálogo federado.

3. Crea un servicio en el espacio de nombres del Directorio de servicios:

   gcloud service-directory services create SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION

   Reemplaza lo siguiente:

   • SERVICE_NAME: Es un identificador único para tu servicio.

4. Crea un extremo en el servicio que contenga la información de enrutamiento para tu extremo de VPC de interfaz de Amazon S3:

   gcloud service-directory endpoints create ENDPOINT_NAME \
       --service=SERVICE_NAME \
       --namespace=NAMESPACE \
       --project=PROJECT_ID \
       --location=REGION \
       --address=S3_VPCE_IP_ADDRESS \
       --port=S3_VPCE_PORT \
       --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK

   Reemplaza lo siguiente:

   • ENDPOINT_NAME: Es un identificador único para tu extremo.
   • S3_VPCE_IP_ADDRESS: La dirección IP de tu extremo de VPC de la interfaz de Amazon S3. Por ejemplo, 10.0.1.45
   • S3_VPCE_PORT: Es el número de puerto de tu extremo de VPC de la interfaz de Amazon S3. Por ejemplo, 443
   • PROJECT_NUMBER: Es el número de tu proyecto de Google Cloud. Usa el número de tu proyecto en la marca --network.
   • VPC_NETWORK: Es el nombre de la red de VPC Google Cloud asociada con tu interconexión privada.

Basada en secretos (PAT)

Para la autenticación basada en secretos (PAT), debes usar un token de acceso personal (PAT), que es un token de larga duración generado por Snowflake, junto con el rol específico de Snowflake que se requiere para la sesión.

Crea un secreto en Secret Manager regional para almacenar las credenciales:

1. Crea un archivo JSON llamado credentials.json con tu carga útil:

   {
     "client_secret": "SNOWFLAKE_PAT_TOKEN",
     "scope": "session:role:SNOWFLAKE_ROLE"
   }

   Reemplaza lo siguiente:

   • SNOWFLAKE_PAT_TOKEN: Tu token de acceso personal (PAT) de Snowflake.
   • SNOWFLAKE_ROLE: Es el rol específico de Snowflake que se requiere para la sesión. Por ejemplo, ICEBERG_VIEW

2. Configura el extremo regional para Secret Manager:

   De forma predeterminada, Secret Manager usa un extremo global. Sin embargo, Lakehouse sin fronteras requiere que tus secretos se almacenen en la misma región que tu catálogo de Lakehouse. Para interactuar con Secrets regionales usando la CLI de gcloud, debes anular el extremo de API predeterminado para tu sesión o perfil actual. Para evitar problemas de conectividad, tu secreto y tu catálogo deben crearse en la misma región.

   gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/

   Reemplaza lo siguiente:

   • REGION: Es la región de Google Cloud en la que se almacena tu secreto de Secret Manager. Por ejemplo, us-east4. Para evitar problemas de conectividad, tu secreto y tu catálogo deben crearse en la misma región.

3. Sube la carga útil a Secret Manager:

   gcloud secrets create SNOWFLAKE_SECRET_NAME \
     --location="REGION" \
     --project="PROJECT_ID" \
     --data-file=credentials.json

   Reemplaza lo siguiente:

   • SNOWFLAKE_SECRET_NAME: Es un nombre para tu secreto de Snowflake.
   • PROJECT_ID: Es el ID del proyecto de Google Cloud .

Federación de identidades para cargas de trabajo

La federación de identidades para cargas de trabajo (WIF) evita el uso de secretos de larga duración vinculando una cuenta de servicio de Lakehouse directamente a un usuario de servicio de Snowflake. No se requiere ninguna configuración previa en Secret Manager antes de crear el catálogo. Continúa con la creación del catálogo federado.

Console

Para crear un catálogo federado, haz lo siguiente:

1. En la consola de Google Cloud , ve a Lakehouse.

   Ir a Lakehouse

2. Haz clic en add_box Crear catálogo.

3. Haz clic en Catálogo federado.

   Aparecerán los detalles de la Configuración del catálogo.

4. En Fuente de catálogo federado, selecciona Snowflake Horizon.

5. En Ubicación de los datos, selecciona la región de Lakehouse en la que deseas crear el catálogo federado. Por ejemplo, us-east4 Para minimizar la latencia (incluso a través de Internet pública), haz lo siguiente cuando selecciones una región:

   • Si tu catálogo de Snowflake está en AWS, selecciona la región deGoogle Cloud más cercana a tu región de AWS.

6. Haz clic en Continuar.

   Aparecerán los detalles de Detalles de la conexión.

7. En la sección Detalles del catálogo remoto, en el campo Identificador de cuenta de Snowflake, ingresa tu identificador de cuenta de Snowflake. Por ejemplo: my_org-my_account.

8. En el campo Almacén de Snowflake, ingresa el nombre de tu almacén de Snowflake.

9. Configura los detalles de autenticación según el método que elijas:

   • Basado en secretos (PAT): En Secreto, ingresa el nombre de tu secreto. Usa el siguiente formato: projects/PROJECT_ID/locations/REGION/secrets/SNOWFLAKE_SECRET_NAME.
   • Federación de identidades para cargas de trabajo: En el campo Rol de Snowflake, ingresa tu rol de Snowflake. Por ejemplo: ICEBERG_VIEW.

10. Opcional: En el campo Nombre del directorio de servicios, ingresa la ruta de acceso a tu extremo o servicio del Directorio de servicios. Esto solo es necesario si configuras una interconexión privada (Cross‑Cloud Interconnect).

11. Haz clic en Crear.

gcloud CLI

gcloud alpha biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="snowflake" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/SNOWFLAKE_SECRET_NAME" \
    --snowflake-account-identifier="SNOWFLAKE_ACCOUNT_IDENTIFIER" \
    --snowflake-warehouse="SNOWFLAKE_WAREHOUSE" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud alpha biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="snowflake" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/SNOWFLAKE_SECRET_NAME" \
    --snowflake-account-identifier="SNOWFLAKE_ACCOUNT_IDENTIFIER" \
    --snowflake-warehouse="SNOWFLAKE_WAREHOUSE" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME/endpoints/ENDPOINT_NAME"

gcloud alpha biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="snowflake" \
    --snowflake-account-identifier="SNOWFLAKE_ACCOUNT_IDENTIFIER" \
    --snowflake-warehouse="SNOWFLAKE_WAREHOUSE" \
    --snowflake-role="SNOWFLAKE_ROLE" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud alpha biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="snowflake" \
    --snowflake-account-identifier="SNOWFLAKE_ACCOUNT_IDENTIFIER" \
    --snowflake-warehouse="SNOWFLAKE_WAREHOUSE" \
    --snowflake-role="SNOWFLAKE_ROLE" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME/endpoints/ENDPOINT_NAME"

API de REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "x-goog-user-project: PROJECT_ID" \
  -d '{
    "catalog-type": "CATALOG_TYPE_FEDERATED",
    "federated-catalog-options": {
      "snowflake-catalog-info": {
        "account-identifier": "SNOWFLAKE_ACCOUNT_IDENTIFIER",
        "warehouse": "SNOWFLAKE_WAREHOUSE",
        "snowflake-role": "SNOWFLAKE_ROLE"
      },
      "refresh-options": {
        "refresh-schedule": {
          "refresh-interval": "REFRESH_INTERVAL"
        }
      }
    }
}' \
  "https://biglake.googleapis.com/iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs?iceberg_catalog_id=FEDERATED_CATALOG_NAME&primary_location=REGION"

Basada en secretos (PAT)

Cuando se crea el catálogo, Lakehouse aprovisiona una cuenta de servicio única para él (se muestra como biglake-service-account en la descripción del recurso).

Debes otorgar permiso a esta cuenta de servicio para acceder al secreto que creaste anteriormente. Ten en cuenta que la propagación de las políticas de IAM puede tardar unos minutos.

Otorga permiso a la cuenta de servicio del catálogo para acceder al secreto:

gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets add-iam-policy-binding SNOWFLAKE_SECRET_NAME \
  --project="PROJECT_ID" \
  --location="REGION" \
  --member="serviceAccount:$(gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
      --project="PROJECT_ID" \
      --location="REGION" \
      --format='value(biglake-service-account)')" \
  --role="roles/secretmanager.secretAccessor"

Para verificar que la cuenta de servicio del catálogo federado tenga acceso al secreto, ejecuta el siguiente comando:

gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets get-iam-policy SNOWFLAKE_SECRET_NAME \
    --project="PROJECT_ID" \
    --location="REGION"

En el resultado, verifica que la cuenta de servicio biglake-service-account tenga asignado el rol roles/secretmanager.secretAccessor.

Federación de identidades para cargas de trabajo

Después de crear el catálogo, debes vincular la identidad de su cuenta de servicio a un usuario de servicio en Snowflake.

1. Extrae el ID de la cuenta de servicio de Lakehouse (sujeto) de los detalles del catálogo.

   Puedes obtenerlo de la respuesta JSON del comando de creación (campo biglake-service-account-id).

   Como alternativa, puedes ejecutar el comando describe en el catálogo para obtener el valor:

   gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID"

   Busca biglake-service-account-id en el resultado.

2. Accede a tu instancia de administración de Snowflake y ejecuta la siguiente secuencia de comandos para establecer la relación de confianza con la identidad del servicio de Lakehouse:

   USE ROLE ACCOUNTADMIN;
   
   CREATE USER SNOWFLAKE_SERVICE_USER
     TYPE = SERVICE
     WORKLOAD_IDENTITY = (
       TYPE = GCP
       SUBJECT = 'LAKEHOUSE_SERVICE_ACCOUNT_ID'
     )
     DEFAULT_ROLE = SNOWFLAKE_ROLE
     COMMENT = 'Service user for Lakehouse federation over WIF';
   
   -- Also explicitly GRANT permissions to the role
   GRANT ROLE SNOWFLAKE_ROLE TO USER SNOWFLAKE_SERVICE_USER;

   Reemplaza lo siguiente:

   • SNOWFLAKE_SERVICE_USER: Es un nombre para el nuevo usuario de servicio en Snowflake.
   • LAKEHOUSE_SERVICE_ACCOUNT_ID: Es el ID de la cuenta de servicio que se extrajo en el paso anterior.
   • SNOWFLAKE_ROLE: Es el rol de Snowflake (debe coincidir con el rol especificado durante la creación del catálogo).

gcloud CLI

1. Verifica que el estado de actualización indique que se realizó correctamente:

   gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

2. Confirma que los esquemas de la base de datos remota aparezcan como espacios de nombres sincronizados:

   gcloud alpha biglake iceberg namespaces list \
     --catalog="FEDERATED_CATALOG_NAME" \
     --project="PROJECT_ID" \
     --location="REGION"

API de REST

1. Verifica el estado de sincronización de la federación del catálogo:

   curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -H "x-goog-user-project: PROJECT_ID" \
     "https://biglake.googleapis.com/iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs/FEDERATED_CATALOG_NAME"

2. Enumera los espacios de nombres sincronizados:

   curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -H "x-goog-user-project: PROJECT_ID" \
     "https://biglake.googleapis.com/iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/FEDERATED_CATALOG_NAME/namespaces"

3. Enumera las tablas en un espacio de nombres sincronizado:

   curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json" \
     -H "x-goog-user-project: PROJECT_ID" \
     "https://biglake.googleapis.com/iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/FEDERATED_CATALOG_NAME/namespaces/NAMESPACE_NAME/tables"