Configurer un Lakehouse multicloud pour Databricks Unity Catalog

Ce document explique comment configurer un lakehouse multicloud pour interroger des données à partir d'un catalogue Databricks Unity Catalog directement dansGoogle Cloud. Cette fonctionnalité unifie l'analyse de vos données en intégrant vos sources de données externes à votre environnementGoogle Cloud existant.

Vous pourrez ensuite utiliser Lakehouse pour Apache Iceberg afin de gérer l'accès à vos données fédérées.

Avant de commencer

1. Consultez la présentation de Lakehouse pour comprendre comment Lakehouse gère l'accès aux données.
2. Consultez À propos du lakehouse multicloud pour comprendre son fonctionnement.
3. Consultez les catalogues compatibles pour vérifier les exigences concernant les emplacements externes et les configurations compatibles.
4. Découvrez comment utiliser les secrets régionaux Secret Manager. Cette étape est nécessaire pour configurer un Lakehouse multicloud avec Databricks Unity Catalog.
5. Générez un principal de service OAuth (ID client et code secret du client) dans votre fournisseur de catalogue à distance, qui dispose d'un accès en lecture au catalogue cible. Ce processus ne fait pas partie de cette documentation.
6. Facultatif : Si vous prévoyez de router les requêtes via une interconnexion privée entre votre VPC Google Cloud et le VPC de votre fournisseur de cloud distant (AWS, par exemple), assurez-vous d'avoir un compte actif auprès de votre fournisseur distant, provisionnez une interconnexion cross-cloud ou une interconnexion partenaire, établissez des sessions BGP avec votre Cloud Router et vérifiez que vous disposez des autorisations IAM requises dans les deux environnements cloud.
Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake, Secret Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake, Secret Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Rôles requis

Pour obtenir les autorisations nécessaires pour configurer un lakehouse multicloud, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

• Gérer les catalogues Lakehouse : Administrateur BigLake (roles/biglake.admin)
• Gérer les secrets : Administrateur Secret Manager (roles/secretmanager.admin)
• Router le trafic via une interconnexion privée : Administrateur de réseau Compute (roles/compute.networkAdmin), Lecteur de l'annuaire des services (roles/servicedirectory.viewer) et Service autorisé PSC de l'annuaire des services (roles/servicedirectory.pscAuthorizedService)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Détails du catalogue acceptés

Ce guide explique comment configurer un Lakehouse multicloud avec un catalogue Databricks Unity Catalog sur Amazon Web Services (AWS) ou Google Cloud. Pour en savoir plus sur les exigences concernant les emplacements externes et les configurations compatibles, consultez Catalogues compatibles.

Limites et points à noter

Cette section liste les limites et les points à prendre en compte pour l'utilisation du Lakehouse multicloud.

• Fournisseurs de services cloud compatibles : l'utilisation d'une interconnexion privée avec votre Lakehouse multicloud est compatible avec les fournisseurs de services cloud distants suivants : Amazon Web Services (AWS). Vous pouvez utiliser une interconnexion multicloud ou une interconnexion partenaire.
• Seuls les catalogues Databricks Unity Catalog qui utilisent un emplacement externe sur AWS ou un emplacement externe sur Google Cloud sont compatibles. Les catalogues Unity Catalog qui utilisent le stockage par défaut sur AWS ou le stockage par défaut sur Google Cloud ne sont pas compatibles.
• Vous devez activer l'accès aux données externes sur le metastore utilisé par Unity Catalog, qui est désactivé par défaut.
• Routage réseau : si une interconnexion privée (telle qu'une CCI appartenant au client ou une interconnexion partenaire) n'est pas configurée, les requêtes sont routées sur l'Internet public. Cela peut entraîner des frais de sortie plus élevés de votre fournisseur de cloud à distance et des performances moins prévisibles.
• Fraîcheur des données : l'indicateur --refresh-interval du catalogue fédéré détermine la fréquence de synchronisation des métadonnées. Un intervalle plus court fournit des données plus récentes, mais peut entraîner des coûts d'API supplémentaires auprès du fournisseur de catalogue distant.

• Rapports sur les métriques Iceberg : les rapports sur les métriques Iceberg ne sont pas disponibles pour les catalogues fédérés. Définissez la propriété rest-metrics-reporting-enabled sur false dans votre client Iceberg lorsque vous accédez à un catalogue fédéré.

Workflow général

Pour configurer et utiliser Lakehouse multicloud, procédez comme suit :

• Configurer Cross-Cloud Interconnect (facultatif) : configurez une connexion privée entre votre Google Cloud VPC et votre fournisseur de cloud distant.
• Configurez la fédération : créez un secret dans Secret Manager avec vos identifiants de catalogue distant. Créez ensuite un catalogue fédéré dans Lakehouse et accordez-lui l'accès au secret.
• Vérifiez la connexion : vérifiez que Lakehouse peut se connecter à votre catalogue distant.
• Interroger les données : exécutez des requêtes sur vos données fédérées à l'aide de BigQuery ou de Managed Service pour Apache Spark. Pour en savoir plus, consultez Utiliser un lakehouse multicloud.
• Configurer les autorisations : utilisez Identity and Access Management (IAM) pour gérer les utilisateurs autorisés à afficher et interroger les données fédérées.

Configurer interconnexion cross-cloud (facultatif)

Par défaut, les requêtes envoyées à votre catalogue distant transitent par l'Internet public. Pour améliorer la sécurité et la conformité, fournir des performances prévisibles et réduire les coûts de transfert de données, utilisez une interconnexion privée. Cela établit une connexion réseau privée dédiée entre votre cloud privé virtuel (VPC) Google Cloudet le réseau de votre fournisseur de services cloud distant (AWS, par exemple).

Vous pouvez provisionner et configurer l'une des options d'interconnexion privée suivantes entre votre VPC Google Cloud et celui de votre fournisseur de cloud à distance (AWS, par exemple) :

• Cross-Cloud Interconnect : connexion physique dédiée.
• Partner Interconnect : connexion via un fournisseur de services agréé.

Établissez des sessions BGP entre votre routeur Cloud Router dans Google Cloud et le VPC de votre fournisseur de services cloud à distance pour assurer l'échange de routes.

Pour activer les requêtes privées, vous devez configurer un chemin d'accès de Lakehouse à votre bucket de stockage à distance (par exemple, un bucket AWS Amazon S3) via votre interconnexion privée. Vous pouvez suivre deux flux d'architecture pour configurer ce routage :

• Routage de l'équilibreur de charge réseau proxy interne régional : ce flux utilise un équilibreur de charge réseau proxy interne régionalGoogle Cloud pour distribuer les requêtes entre les groupes de points de terminaison réseau (NEG) de connectivité hybride pointant vers plusieurs interfaces réseau Elastic AWS (ENI). Ce flux est essentiel pour l'équilibrage de charge, l'évolutivité et la haute disponibilité. Il est obligatoire pour Partner Interconnect et recommandé pour Cross-Cloud Interconnect pour l'équilibrage de charge, l'évolutivité et la haute disponibilité.
• Routage direct des points de terminaison : ce flux connecte l'annuaire des services directement à une seule adresse IP de point de terminaison VPC d'interface AWS. Ce flux ne fonctionne que pour interconnexion cross-cloud et n'est pas compatible avec interconnexion partenaire.

Sélectionnez le flux de configuration qui correspond aux exigences de votre architecture :

Configurer la fédération

Pour interroger vos données, vous devez configurer un catalogue fédéré Lakehouse qui se connecte à votre catalogue distant.

Créer un secret régional

La fédération nécessite des identifiants pour accéder au catalogue distant. Lakehouse utilise des secrets Secret Manager régionaux pour stocker et récupérer ces identifiants de manière sécurisée afin de s'authentifier auprès de votre fournisseur distant.

Pour Databricks, vous devez créer un principal de service dans votre compte Databricks, puis générer un ID client et un code secret du client OAuth. Vérifiez que ce principal de service dispose d'un accès en lecture au catalogue Unity Catalog cible. Vous devez ensuite mettre en forme ces identifiants en tant que charge utile JSON à stocker dans Secret Manager.

1. Créez un fichier JSON nommé credentials.json avec votre charge utile :

   {
     "client_id": "CLIENT_ID",
     "client_secret": "CLIENT_SECRET"
   }

   Remplacez les éléments suivants :

   • CLIENT_ID : ID client OAuth pour votre compte de service Databricks.
   • CLIENT_SECRET : code secret du client OAuth pour votre principal de service Databricks.

2. Configurez le point de terminaison régional pour Secret Manager :

   Par défaut, Secret Manager utilise un point de terminaison mondial. Toutefois, le Lakehouse multicloud nécessite que vos secrets soient stockés dans la même région que votre catalogue Lakehouse. Pour interagir avec des secrets régionaux à l'aide de la CLI gcloud, vous devez remplacer le point de terminaison de l'API par défaut pour votre session ou votre profil actuels. Pour éviter les problèmes de connectivité, votre secret et votre catalogue doivent être créés dans la même région. Exemple : secretmanager.us-east4.rep.googleapis.com.

   gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/

   Remplacez les éléments suivants :

   • REGION : région Google Cloud où votre secret Secret Manager est stocké. Par exemple, us-east4. Pour éviter les problèmes de connectivité, votre secret et votre catalogue doivent être créés dans la même région. Par exemple, secretmanager.us-east4.rep.googleapis.com.

3. Importez la charge utile dans Secret Manager :

   gcloud secrets create DATABRICKS_SECRET_NAME \
     --location="REGION" \
     --project="PROJECT_ID" \
     --data-file=credentials.json

   Remplacez les éléments suivants :

   • DATABRICKS_SECRET_NAME : nom de votre secret Databricks.

Créer un catalogue fédéré

Créez le catalogue fédéré à l'aide de la commande gcloud biglake iceberg catalogs create.

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

Accorder au catalogue fédéré l'accès au secret

Lorsque le catalogue est créé, Lakehouse provisionne un compte de service unique pour celui-ci (renvoyé sous la forme biglake-service-account dans la description de la ressource).

Vous devez accorder à ce compte de service l'autorisation d'accéder au secret que vous avez créé précédemment dans ce tutoriel. Notez que la propagation des stratégies IAM peut prendre quelques minutes.

Accordez au compte de service du catalogue l'autorisation d'accéder au secret.

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets add-iam-policy-binding DATABRICKS_SECRET_NAME \
  --project="PROJECT_ID" \
  --location="REGION" \
  --member="serviceAccount:$(gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
      --project="PROJECT_ID" \
      --location="REGION" \
      --format='value(biglake-service-account)')" \
  --role="roles/secretmanager.secretAccessor"

Vérifier la connexion

Pour vérifier que le compte de service du catalogue fédéré a accès au secret, exécutez la commande suivante :

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets get-iam-policy DATABRICKS_SECRET_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

Dans le résultat, vérifiez que le compte de service biglake-service-account dispose du rôle roles/secretmanager.secretAccessor.

Ensuite, vérifiez que le cycle d'actualisation en arrière-plan du catalogue s'est terminé correctement et que les espaces de noms sont synchronisés.

1. Vérifiez que l'état de l'actualisation indique que l'opération a réussi :

   gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

2. Vérifiez que les bases de données distantes apparaissent comme des espaces de noms synchronisés :

   gcloud biglake iceberg namespaces list \
     --catalog="FEDERATED_CATALOG_NAME" \
     --project="PROJECT_ID" \
     --location="REGION"

Étapes suivantes

• Utilisez Lakehouse multicloud et interrogez des tables.
• Résoudre les problèmes liés au lakehouse multicloud