Datenherkunft mit Knowledge Catalog verfolgen

Auf dieser Seite wird erläutert, wie Sie die Datenherkunft für Ihre Looker (Google Cloud Core)-Instanz mit Knowledge Catalog verfolgen.

Datenherkunft ist der Prozess, mit dem nachverfolgt wird, wie Daten durch Ihre Systeme fließen. Durch die Integration von Looker (Google Cloud Core) in Knowledge Catalog können Sie den gesamten Weg Ihrer Daten von der Quelle in BigQuery über die semantische Ebene von Looker (LookML-Ansichten und -Explores) bis hin zur nachgelagerten Nutzung in Dashboards und Looks visualisieren.

Diese Transparenz hilft Datenanalysten und Administratoren bei der Auswirkungsanalyse. Bevor Sie beispielsweise eine Spalte in einer BigQuery-Tabelle löschen, können Sie im Herkunftsdiagramm genau sehen, welche Looker-Dashboards durch die Änderung beschädigt werden.

Hinweis

Um die Datenherkunft mit Looker (Google Cloud Core) zu verwenden, müssen die folgenden Voraussetzungen erfüllt sein:

  1. Looker (Google Cloud Core): Die Datenherkunft wird für alle Editionstypen von Looker (Google Cloud Core)-Instanzen unterstützt. Looker-Instanzen (Original) lassen sich nicht in Knowledge Catalog einbinden.
  2. Erforderliche Berechtigungen:Zum Aufrufen von Herkunftsdiagrammen benötigen Sie die folgenden IAM-Rollen:
    • Looker-Schema-Betrachter (roles/looker.schemaViewer) für das Projekt, in dem die Looker (Google Cloud Core)-Instanz gehostet wird
    • Dataplex-Betrachter (roles/dataplex.viewer) oder entsprechende Berechtigungen zum Aufrufen von Knowledge Catalog-Assets
    • Data Lineage-Betrachter (roles/datalineage.viewer) zum Lesen von Herkunftsdaten

Datenherkunft aktivieren

Führen Sie die folgenden Schritte aus, um die Datenherkunft zu aktivieren:

  1. Knowledge Catalog-Integration für Looker (Google Cloud Core) aktivieren: Die Integration zwischen Ihrer Looker (Google Cloud Core)-Instanz und Knowledge Catalog ist in der Google Cloud Console standardmäßig aktiviert. Wenn die Integration deaktiviert wurde, müssen Sie sie wieder aktivieren. Eine Anleitung finden Sie unter Integration aktivieren.
  2. Vorschaufeature „Knowledge Catalog Lineage“ in Looker aktivieren:Das Vorschaufeature „Knowledge Catalog Lineage“ ist auf der Seite Vorschaufeatures des Bereichs Admin in Ihrer Looker (Google Cloud Core)-Instanz standardmäßig deaktiviert.
  3. Data Lineage API aktivieren: Sie müssen die Data Lineage API (datalineage.googleapis.com) für alle Google Cloud Projekte aktivieren, in denen Ihre Looker (Google Cloud Core)-Instanz und Ihre BigQuery-Daten gehostet werden.

    Data Lineage API aktivieren

  4. Lineage-Aufnahme auf Dienstebene aktivieren: Ensure dass die Integration auf Dienstebene für Lineage und Looker (Google Cloud Core) aktiviert ist. Die Lineage auf Dienstebene folgt den folgenden Standardstatus:
    • Um zukünftige Auswirkungen auf die Preise zu vermeiden, ist die Lineage-Aufnahme auf Dienstebene für Looker (Google Cloud Core) standardmäßig für Projekte deaktiviert, in denen die Data Lineage API zum Zeitpunkt der Veröffentlichung der Vorschau dieses Features aktiviert war und mindestens eine Looker (Google Cloud Core)-Instanz gehostet wurde.
    • Die Lineage-Aufnahme auf Dienstebene ist standardmäßig für Looker (Google Cloud Core)-Instanzen aktiviert, die nach dem Veröffentlichungsdatum der Vorschau dieses Features in Projekten mit aktivierter Data Lineage API erstellt wurden.

Informationen zum Aufrufen der Lineage-Konfiguration für ein Google Cloud Projekt finden Sie in der Dokumentation zur aktuellen Konfiguration abrufen. Wenn die Integration mit Looker (Google Cloud Core) deaktiviert ist, gibt der Befehl eine ähnliche Ausgabe wie die folgende zurück:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

Die Projekt-ID in der Antwort entspricht der ID in Ihrer Anfrage. Das Feld etag ist eine Prüfsumme, die vom Server generiert wird und auf dem aktuellen Wert der Konfiguration basiert.

Datenherkunft ansehen

Nachdem die Integration aktiviert und die erste Synchronisierung abgeschlossen ist (was bis zu 24 Stunden dauern kann), können Sie die Lineage in der Knowledge Catalog Console ansehen.

  1. Rufen Sie in der Google Cloud Console die Knowledge Catalog Seite auf.

    Zu Knowledge Catalog

  2. Klicken Sie im linken Navigationsbereich auf Suchen.
  3. Suchen Sie nach einer BigQuery-Tabelle oder einem Looker (Google Cloud Core)-Asset (z. B. einem Dashboard oder einem Explore).
    • Sie können im Bereich Filter nach System > Looker filtern.
  4. Klicken Sie auf den Namen des Assets, um die Detailseite zu öffnen.
  5. Klicken Sie auf den Tab Lineage.

Im Herkunftsdiagramm wird das Asset als zentraler Knoten angezeigt, mit Upstream-Quellen links und Downstream-Nutzern rechts.

Herkunftsdiagramm interpretieren

Das Herkunftsdiagramm besteht aus Knoten und Links:

  • Knoten stellen Daten-Assets dar. Unterstützte Looker (Google Cloud Core)-Assets:
    • Looker-Dashboard
    • Looker-Dashboardelement (Kachel)
    • Looker-Look
    • LookML-Explore
    • LookML-Ansicht
  • Links stellen den Datenfluss dar. Ein Link von einer BigQuery-Tabelle zu einer LookML-Ansicht gibt beispielsweise an, dass die Ansicht Daten aus dieser Tabelle auswählt.

Assetinhaber identifizieren

So finden Sie heraus, wem ein Downstream-Asset gehört, das von einer Änderung betroffen sein könnte:

  1. Klicken Sie im Herkunftsdiagramm auf den Knoten für das Asset (z. B. ein Looker-Dashboard).
  2. Rechts auf dem Bildschirm wird ein Informationsbereich geöffnet.
  3. Suchen Sie im Bereich Aspekte nach dem Inhaber (E‑Mail-Adresse).

Lineage-Liste filtern

In der Listenansicht für die Lineage können Sie Entitäten nach Attributname oder -wert filtern. Komplexe LookML-Modelle können beispielsweise große Herkunftsdiagramme mit vielen Zwischenentitäten generieren. Wenn Sie sich auf die geschäftlichen Auswirkungen konzentrieren möchten, können Sie die Entitäten nach Typ filtern. Gehen Sie dazu so vor:

  1. Wechseln Sie auf dem Tab Lineage zur Listenansicht.
  2. Suchen Sie in der Symbolleiste nach den Optionen Filter.
  3. Geben Sie im Filter Entität die Werte Looker-Dashboard und Looker-Look ein, um Zwischentypen wie LookML-Ansicht und Looker-Explore herauszufiltern.

Die Entitätsliste wird aktualisiert und zeigt nur die ausgewählten Assettypen an. So lassen sich nutzerorientierte Inhalte leichter identifizieren.

Beschränkungen

Die Looker (Google Cloud Core)-Lineage-Integration unterliegt während der Vorschauversion den folgenden Einschränkungen:

  • Datenquellen:In der Vorschau wird die Lineage nur für BigQuery-Datenquellen unterstützt.
  • Granularität:Die Lineage wird auf Objektebene bereitgestellt (Tabelle, Ansicht, Explore, Dashboard). Die Lineage auf Spaltenebene wird nicht unterstützt.
  • Latenz:Lineage-Daten sind keine Echtzeitdaten. Die Synchronisierung dauert in der Regel vier Stunden. Je nach Zeitpunkt der Looker-Metadatenexporte und der Nutzung von Lineage-Daten kann die Synchronisierung jedoch bis zu acht Stunden dauern. Es kann einige Zeit dauern, bis Änderungen in Looker oder BigQuery im Herkunftsdiagramm angezeigt werden.
  • Komplexes SQL:LookML, das mit komplexem benutzerdefinierten SQL definiert ist (z. B. Liquid-Vorlagen, abgeleitete Tabellen mit komplexen Joins), wird möglicherweise nicht vollständig geparst, was zu nicht verbundenen Knoten führen kann.

Preise

Während der Vorschauversion fallen für Lineage-Features, die mit dieser Integration verwendet werden, keine Gebühren an.

Wenn die Datenherkunft allgemein verfügbar ist, fallen Gebühren an. Um zukünftige Auswirkungen auf die Preise zu vermeiden, ist die Lineage-Aufnahme für Looker (Google Cloud Core) standardmäßig für Projekte deaktiviert, in denen die Data Lineage API zum Zeitpunkt der Veröffentlichung der Vorschau dieses Features aktiviert war und mindestens eine Looker (Google Cloud Core)-Instanz gehostet wurde.

Weitere Informationen finden Sie auf der Preisseite für Knowledge Catalog.

Nächste Schritte