Cloud-übergreifendes Lakehouse für Databricks Unity Catalog einrichten

In diesem Dokument wird beschrieben, wie Sie ein cloudübergreifendes Lakehouse einrichten, um Daten aus einem Databricks Unity Catalog-Katalog direkt inGoogle Cloudabzufragen. Mit dieser Funktion können Sie Ihre Datenanalyse vereinheitlichen, indem Sie Ihre externen Datenquellen in Ihre bestehendeGoogle Cloud -Umgebung einbinden.

Anschließend können Sie Lakehouse for Apache Iceberg verwenden, um den Zugriff auf Ihre föderierten Daten zu verwalten.

Hinweis

1. Lesen Sie den Lakehouse-Überblick, um zu verstehen, wie der Zugriff auf Daten verwaltet wird.
2. Informationen zu Cross-Cloud-Lakehouse
3. Sehen Sie sich die unterstützten Kataloge an, um die Anforderungen für externe Standorte und die unterstützten Konfigurationen zu prüfen.
4. Regionale Secrets von Secret Manager verwenden Dies ist erforderlich, um ein cloudübergreifendes Lakehouse mit Databricks Unity Catalog einzurichten.
5. Generieren Sie in Ihrem Remote-Kataloganbieter einen OAuth-Dienstprinzipal (Client-ID und Clientschlüssel) mit Lesezugriff auf den Zielkatalog. Dieser Vorgang wird in dieser Dokumentation nicht beschrieben.
6. Optional: Wenn Sie Anfragen über eine private Verbindung zwischen Ihrer Google Cloud VPC und der VPC Ihres Remote-Cloud-Anbieters (z. B. AWS) weiterleiten möchten, müssen Sie ein aktives Konto bei Ihrem Remote-Anbieter haben, eine Cross-Cloud Interconnect- oder Partner Interconnect-Verbindung bereitstellen, BGP-Sitzungen mit Ihrem Cloud Router einrichten und prüfen, ob Sie in beiden Cloud-Umgebungen die erforderlichen IAM-Berechtigungen haben.
Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake, Secret Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake, Secret Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Einrichten eines cloudübergreifenden Lakehouse benötigen:

• Lakehouse-Kataloge verwalten: BigLake-Administrator (roles/biglake.admin)
• Secrets verwalten: Secret Manager-Administrator (roles/secretmanager.admin)
• Traffic über Private Interconnect weiterleiten: Compute-Netzwerkadministrator (roles/compute.networkAdmin), Service Directory-Betrachter (roles/servicedirectory.viewer) und autorisierter Service für Service Directory PSC (roles/servicedirectory.pscAuthorizedService)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Unterstützte Katalogdetails

In dieser Anleitung wird beschrieben, wie Sie ein cloudübergreifendes Lakehouse mit einem Databricks Unity Catalog-Katalog in Amazon Web Services (AWS) oder Google Cloudeinrichten. Detaillierte Informationen zu den Anforderungen an externe Speicherorte und zu unterstützten Konfigurationen finden Sie unter Unterstützte Kataloge.

Einschränkungen und Überlegungen

In diesem Abschnitt werden die Einschränkungen und Überlegungen für die Verwendung von Cross-Cloud-Lakehouse aufgeführt.

• Unterstützte Cloud-Anbieter:Die Verwendung einer privaten Interconnect-Verbindung mit Ihrem cloudübergreifenden Lakehouse wird für die folgenden Remote-Cloud-Anbieter unterstützt: Amazon Web Services (AWS). Sie können entweder eine Cross-Cloud Interconnect- oder eine Partner Interconnect-Verbindung verwenden.
• Es werden nur Databricks Unity Catalog-Kataloge unterstützt, die einen externen Speicherort in AWS oder einen externen Speicherort in Google Cloud verwenden. Unity Catalog-Kataloge, die Standardspeicher in AWS oder Standardspeicher in Google Cloud verwenden, werden nicht unterstützt.
• Sie müssen den externen Datenzugriff für den von Unity Catalog verwendeten Metastore aktivieren. Er ist standardmäßig deaktiviert.
• Netzwerkrouting:Wenn keine private Interconnect-Verbindung (z. B. eine vom Kunden betriebene CCI- oder Partner Interconnect-Verbindung) konfiguriert ist, werden Anfragen über das öffentliche Internet weitergeleitet. Dies kann zu höheren Gebühren für ausgehenden Traffic von Ihrem Remote-Cloud-Anbieter und zu einer weniger vorhersehbaren Leistung führen.
• Datenaktualität:Das --refresh-interval-Flag für den föderierten Katalog bestimmt, wie oft Metadaten synchronisiert werden. Ein kürzeres Intervall liefert aktuellere Daten, kann aber zusätzliche API-Kosten beim Remote-Kataloganbieter verursachen.

• Berichterstellung für Iceberg-Messwerte:Berichterstellung für Iceberg-Messwerte ist für föderierte Kataloge nicht verfügbar. Legen Sie die Eigenschaft rest-metrics-reporting-enabled in Ihrem Iceberg-Client auf false fest, wenn Sie auf einen föderierten Katalog zugreifen.

Allgemeiner Workflow

So richten Sie ein cloudübergreifendes Lakehouse ein und verwenden es:

• Cross-Cloud Interconnect einrichten (optional): Konfigurieren Sie eine private Verbindung zwischen Ihrer Google Cloud VPC und Ihrem Remote-Cloud-Anbieter.
• Föderation einrichten:Erstellen Sie in Secret Manager ein Secret mit den Anmeldedaten für Ihren Remote-Katalog. Erstellen Sie dann einen föderierten Katalog in Lakehouse und gewähren Sie ihm Zugriff auf das Secret.
• Verbindung prüfen:Prüfen Sie, ob Lakehouse eine Verbindung zu Ihrem Remote-Katalog herstellen kann.
• Daten abfragen:Führen Sie mit BigQuery oder Managed Service for Apache Spark Abfragen für Ihre föderierten Daten aus. Weitere Informationen finden Sie unter Cross-Cloud-Lakehouse verwenden.
• Berechtigungen konfigurieren:Mit Identity and Access Management (IAM) können Sie verwalten, wer die föderierten Daten ansehen und abfragen darf.

Cross-Cloud Interconnect einrichten (optional)

Abfragen an Ihren Remote-Katalog werden standardmäßig über das öffentliche Internet gesendet. Um die Sicherheit und Compliance zu verbessern, eine vorhersehbare Leistung zu erzielen und die Kosten für die Datenübertragung zu senken, sollten Sie eine private Interconnect-Verbindung verwenden. Dadurch wird eine dedizierte private Netzwerkverbindung zwischen Ihrer Google CloudVPC (Virtual Private Cloud) und dem Netzwerk Ihres Remote-Cloudanbieters (z. B. AWS) hergestellt.

Sie können eine der folgenden privaten Interconnect-Optionen zwischen Ihrer Google Cloud VPC und der VPC Ihres Remote-Cloudanbieters (z. B. AWS) bereitstellen und konfigurieren:

• Cross-Cloud Interconnect: Eine dedizierte physische Verbindung.
• Partner Interconnect: Eine Verbindung über einen unterstützten Dienstanbieter.

Richten Sie BGP-Sitzungen zwischen Ihrem Cloud Router in Google Cloud und der VPC Ihres Remote-Cloud-Anbieters ein, um den Routenaustausch zu ermöglichen.

Wenn Sie private Abfragen aktivieren möchten, müssen Sie über Ihre private Verbindung einen Pfad vom Lakehouse zu Ihrem Remote-Speicher-Bucket (z. B. einem AWS Amazon S3-Bucket) konfigurieren. Es gibt zwei Architekturabläufe, die Sie für die Konfiguration dieses Routings verwenden können:

• Routing mit internem regionalen Proxy-Network-Load-Balancer:Bei diesem Ablauf wird einGoogle Cloud interner regionaler Proxy-Network-Load-Balancer verwendet, um Anfragen auf Hybridkonnektivitäts-NEGs (Network Endpoint Groups) zu verteilen, die auf mehrere AWS Elastic Network Interfaces (ENIs) verweisen. Dieser Ablauf ist für Load Balancing, Skalierbarkeit und Hochverfügbarkeit unerlässlich. Sie ist für Partner Interconnect erforderlich und wird für Cross-Cloud Interconnect für Lastenausgleich, Skalierbarkeit und Hochverfügbarkeit empfohlen.
• Direktes Endpunktrouting:Bei diesem Ablauf wird Service Directory direkt mit einer einzelnen IP-Adresse des AWS-Schnittstellen-VPC-Endpunkts verbunden. Dieser Ablauf funktioniert nur für Cross-Cloud Interconnect und wird für Partner Interconnect nicht unterstützt.

Wählen Sie den Konfigurationsablauf aus, der Ihren Architekturanforderungen entspricht:

Föderation einrichten

Wenn Sie Ihre Daten abfragen möchten, müssen Sie einen föderierten Lakehouse-Katalog einrichten, der mit Ihrem Remote-Katalog verbunden ist.

Regionales Secret erstellen

Für die Föderation sind Anmeldedaten für den Zugriff auf den Remote-Katalog erforderlich. Lakehouse verwendet regionale Secret Manager-Secrets, um diese Anmeldedaten sicher zu speichern und abzurufen, damit die Authentifizierung bei Ihrem Remote-Anbieter erfolgen kann.

Für Databricks müssen Sie einen Dienstprinzipal in Ihrem Databricks-Konto erstellen und eine OAuth-Client-ID und einen Clientschlüssel generieren. Prüfen Sie, ob dieser Dienstprinzipal Lesezugriff auf den Zielkatalog des Unity Catalog hat. Formatieren Sie diese Anmeldedaten dann als JSON-Nutzlast, die in Secret Manager gespeichert werden soll.

1. Erstellen Sie eine JSON-Datei mit dem Namen credentials.json und Ihrer Nutzlast:

   {
     "client_id": "CLIENT_ID",
     "client_secret": "CLIENT_SECRET"
   }

   Ersetzen Sie Folgendes:

   • CLIENT_ID: Die OAuth-Client-ID für Ihr Databricks-Diensthauptkonto.
   • CLIENT_SECRET: Der OAuth-Clientschlüssel für Ihren Databricks-Dienstprinzipal.

2. Konfigurieren Sie den regionalen Endpunkt für Secret Manager:

   Standardmäßig verwendet Secret Manager einen globalen Endpunkt. Für Cross-Cloud-Lakehouse müssen Ihre Secrets jedoch in derselben Region wie Ihr Lakehouse-Katalog gespeichert werden. Wenn Sie mit regionalen Secrets über die gcloud-Befehlszeile interagieren möchten, müssen Sie den Standard-API-Endpunkt für Ihre aktuelle Sitzung oder Ihr Profil überschreiben. Um Verbindungsprobleme zu vermeiden, müssen Ihr Secret und Ihr Katalog in derselben Region erstellt werden. Beispiel: secretmanager.us-east4.rep.googleapis.com.

   gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/

   Ersetzen Sie Folgendes:

   • REGION: Die Google Cloud Region, in der Ihr Secret Manager-Secret gespeichert ist. Beispiel: us-east4 Damit Verbindungsprobleme vermieden werden, müssen Ihr Secret und Ihr Katalog in derselben Region erstellt werden. Beispiel: secretmanager.us-east4.rep.googleapis.com.

3. Laden Sie die Nutzlast in Secret Manager hoch:

   gcloud secrets create DATABRICKS_SECRET_NAME \
     --location="REGION" \
     --project="PROJECT_ID" \
     --data-file=credentials.json

   Ersetzen Sie Folgendes:

   • DATABRICKS_SECRET_NAME: Ein Name für Ihr Databricks-Secret.

Föderierten Katalog erstellen

Erstellen Sie den föderierten Katalog mit dem Befehl gcloud biglake iceberg catalogs create.

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

Dem föderierten Katalog Zugriff auf das Secret gewähren

Wenn der Katalog erstellt wird, wird in Lakehouse ein eindeutiges Dienstkonto dafür bereitgestellt (in der Ressourcenbeschreibung als biglake-service-account zurückgegeben).

Sie müssen diesem Dienstkonto die Berechtigung zum Zugriff auf das Secret erteilen, das Sie zuvor in dieser Anleitung erstellt haben. Das Übertragen von IAM-Richtlinien kann einige Minuten dauern.

Gewähren Sie dem Dienstkonto des Katalogs die Berechtigung für den Zugriff auf das Secret.

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets add-iam-policy-binding DATABRICKS_SECRET_NAME \
  --project="PROJECT_ID" \
  --location="REGION" \
  --member="serviceAccount:$(gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
      --project="PROJECT_ID" \
      --location="REGION" \
      --format='value(biglake-service-account)')" \
  --role="roles/secretmanager.secretAccessor"

Verbindung prüfen

Führen Sie den folgenden Befehl aus, um zu prüfen, ob das Dienstkonto des föderierten Katalogs Zugriff auf das Secret hat:

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets get-iam-policy DATABRICKS_SECRET_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

Prüfen Sie in der Ausgabe, ob dem Dienstkonto biglake-service-account die Rolle roles/secretmanager.secretAccessor zugewiesen ist.

Prüfen Sie als Nächstes, ob der Hintergrundaktualisierungszyklus des Katalogs erfolgreich abgeschlossen wurde und die Namespaces synchronisiert werden.

1. Prüfen Sie, ob der Aktualisierungsstatus „Erfolgreich“ lautet:

   gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

2. Prüfen Sie, ob Remote-Datenbanken als synchronisierte Namespaces angezeigt werden:

   gcloud biglake iceberg namespaces list \
     --catalog="FEDERATED_CATALOG_NAME" \
     --project="PROJECT_ID" \
     --location="REGION"

Nächste Schritte

• Cloud-übergreifende Lakehouse- und Abfragetabellen verwenden.
• Probleme mit Cross-Cloud-Lakehouses beheben