Visualisierung der Herkunft

Mit der Datenherkunft können Sie nachvollziehen, wie Daten durch Ihre Systeme fließen. Dazu werden die Beziehungen zwischen Daten-Assets und den Prozessen, die sie transformieren, verfolgt. Sie können diese Informationen zur Herkunft von Daten in der Google Cloud Konsole als Diagramme und Listen ansehen.

Dieses Dokument bietet einen Überblick über das Datenherkunfts-Informationsmodell, Details zur Granularität der Herkunft auf Tabellen- und Spaltenebene sowie eine Anleitung zur Verwendung von Diagramm- und Listenansichten zum Untersuchen der Datenherkunft.

Informationsmodell für die Datenherkunft

Die Herkunft ist ein Datensatz, der die Transformation von Daten von Quellen zu Zielen dokumentiert. Die Data Lineage API erfasst diese Informationen und organisiert sie in einem hierarchischen Datenmodell, das die Konzepte von Prozessen, Ausführungen und Ereignissen verwendet.

• Process (Prozess): Eine Definition für die Datentransformation.
• Ausführung: Eine Ausführung eines Prozesses.
• Ereignis: Ein Datensatz für die Datenbewegung während eines Laufs.

Prozess

Ein Prozess ist die Definition eines Datentransformationsvorgangs für ein bestimmtes System. Für die BigQuery-Abstammung ist ein Prozess ein Job eines unterstützten Jobtyps. Alle Ausführungen derselben SQL-Abfrage sind mit einem einzelnen Prozess verknüpft. So können Sie jede Instanz nachvollziehen, in der eine bestimmte Transformationslogik verwendet wird.

Die folgende SQL-Abfrage ist beispielsweise ein Prozess. Mit dieser Abfrage wird eine Tabelle erstellt, in der die Gesamtzahl der Fahrten für jeden Anbieter aus zwei Quelltabellen gezählt wird.

  CREATE TABLE `dataplex-docs.data_lineage_demo.total_green_trips_22_21`
  AS
  SELECT
      vendor_id,
      COUNT(*) AS number_of_trips
  FROM
      (
          SELECT vendor_id
          FROM `dataplex-docs.data_lineage_demo.nyc_green_trips_2022`
          UNION ALL
          SELECT vendor_id
          FROM `dataplex-docs.data_lineage_demo.nyc_green_trips_2021`
      )
  GROUP BY
      vendor_id;

Das REST-Ressourcennamenformat für einen Prozess ist projects/PROJECT_NUMBER/locations/LOCATION/processes/PROCESS_ID.

Beispiel: projects/123456789123/locations/us/processes/sh-0548bbf4ff3c8072a6c7372ba1acafb6

Weitere Informationen zur Ressource process finden Sie in der Referenz zur Prozessressource.

Ausführen

Eine Ausführung ist eine einzelne Ausführung eines Prozesses. Prozesse können mehrere Ausführungen haben.

Jeder Lauf ist ein eindeutiger Vorgang, der durch eine startTime, eine endTime und einen Endstatus wie COMPLETED, FAILED oder ABORTED gekennzeichnet ist.

Wenn Sie beispielsweise die SQL-Abfrage aus dem Abschnitt Prozess um 9:00 Uhr ausführen, wird ein bestimmter Lauf erstellt. Wenn Sie dieselbe Abfrage um 10:00 Uhr noch einmal ausführen, wird ein neuer, separater Lauf erstellt. Beide Läufe sind mit demselben übergeordneten Prozess verknüpft.

Das REST-Ressourcennamenformat für einen Lauf zeigt, dass er ein untergeordnetes Element eines Prozesses ist: projects/PROJECT_NUMBER/locations/LOCATION/processes/PROCESS_ID/runs/RUN_ID.

Beispiel: projects/123456789123/locations/us/processes/sh-0548bbf4ff3c8072a6c7372ba1acafb6/runs/83dd03a51cd2ac80f465c9e267a950b1

Weitere Informationen zur run-Ressource finden Sie in der Referenz zur Ausführungsressource.

Ereignis

Ein Ereignis stellt einen Zeitpunkt dar, zu dem Daten durch eine Datentransformation zwischen einer Quell- und einer Zielentität verschoben werden. Ein Ereignis ist ein detaillierter Datensatz einer bestimmten Datenübertragung, der Quell- und Zieltabelle für einen bestimmten Lauf verbindet. Ein Ereignis kann auch mehrere Quellen und Ziele haben.

Wenn bei Ihrem Lauf beispielsweise die im Abschnitt Prozess beschriebene SQL-Abfrage ausgeführt wird, wird in einem Lineage-Ereignis aufgezeichnet, dass die Quelltabellen nyc_green_trips_2021 und nyc_green_trips_2022 zum Erstellen der Zieltabelle total_green_trips_22_21 verwendet werden.

Ein Lineage-Ereignis enthält eine Liste von Links, die die Quelle und das Ziel definieren. Ereignisse werden verwendet, um Herkunftsgraphen zu erstellen. In der Google Cloud -Konsole werden diese Abstammungsdiagramme angezeigt, einzelne Ereignisse werden jedoch nicht direkt dargestellt. Mit der Data Lineage API können Sie Ereignisse erstellen, lesen und löschen, aber nicht aktualisieren.

Jeder Link in einem Ereignis definiert einen einzelnen Datenfluss von einer Quell- zu einer Zielentität. Eine Entität ist ein Verweis auf ein Daten-Asset, z. B. eine BigQuery-Tabelle, und wird durch ihren vollständig qualifizierten Namen (Fully Qualified Name, FQN) identifiziert. Ein einzelnes Ereignis kann mehrere Links enthalten. Das ist bei Vorgängen wie Tabellenjoins üblich, bei denen mehrere Quellen zu einem Ziel beitragen.

Weitere Informationen dazu, wie Ereignisse die Herkunft auf Spaltenebene unterstützen, finden Sie unter Herkunft auf Spaltenebene.

Detaillierungsgrad der Herkunft

Mit Data Lineage können Sie den Ursprung und den Transformationspfad Ihrer Daten sowohl auf Tabellen- als auch auf Spaltenebene nachvollziehen.

Lineage auf Tabellenebene

Die Herkunft auf Tabellenebene bietet einen allgemeinen Überblick über Ihre Datenpipelines, indem die Beziehungen zwischen ganzen Tabellen dargestellt werden. Verwenden Sie die Herkunft auf Tabellenebene für Aufgaben auf Makroebene, z. B.:

• Datenermittlung: Ein Analyst, der ein neues Dashboard erstellt, kann die Herkunft auf Tabellenebene verwenden, um eine Zusammenfassungstabelle zu ihren Quellen zurückzuverfolgen und zu bestätigen, dass die Daten aus einer autoritativen Datenbank stammen.

• Planung der Migration. Ein Datenbankadministrator, der die Migration einer wichtigen Datenbank plant, kann die Herkunft auf Tabellenebene verwenden, um alle nachgelagerten Berichte und Dashboards zu ermitteln, die von der Datenbank abhängen.

• Audit und Governance: Ein Data Governor kann die Herkunft auf Tabellen- und Spaltenebene verwenden, um zu prüfen, wie Daten aus einer Tabelle, die personenidentifizierbare Informationen enthält, durch eine Pipeline fließen.

Herkunft auf Spaltenebene

Die Lineage auf Spaltenebene bietet eine detailliertere Ansicht, da der Datenfluss zwischen einzelnen Spalten nachverfolgt wird. In dieser Ansicht stellen die Links in einem Lineage-Ereignis die Beziehung zwischen einer Quellspalte und einer Zielspalte dar. Jeder dieser Links auf Spaltenebene hat einen Abhängigkeitstyp, der die Transformation beschreibt:

• Exact copy: Werte werden zwischen Spalten kopiert.

• Other: andere Arten von Abhängigkeiten zwischen Spalten.

Sie können die Herkunft auf Spaltenebene für Aufgaben wie die folgenden verwenden:

• Ursachenanalyse: Wenn ein Data Analyst einen falschen Wert in einer Spalte findet, kann er die Herkunft auf Spaltenebene verwenden, um den Wert bis zu den Quellspalten zurückzuverfolgen und die Ursache zu ermitteln.

• Wirkungsanalyse: Bevor ein Data Engineer eine Spalte einstellt, kann er die Herkunft auf Spaltenebene verwenden, um alle nachgelagerten Spalten zu finden, die davon abhängen.

• Datenquellenüberprüfung für Messwerte: Ein Datenanalyst kann die Herkunft auf Spaltenebene verwenden, um zu ermitteln, welche Quellspalten zum Berechnen eines Messwerts verwendet werden, ohne eine komplexe SQL-Abfrage entschlüsseln zu müssen.

Die Herkunft auf Spaltenebene wird automatisch für die folgenden Arten von BigQuery-Jobs erfasst:

• CREATE TABLE
• CREATE TABLE COPY
• INSERT
• UPDATE
• MERGE
• DELETE
• SELECT mit einer Zieltabelle

Bei Managed Service for Apache Spark-Jobs hängt der Support vom Typ und der Version der Open Lineage-Abhängigkeit ab, die von Managed Service for Apache Spark verwendet wird. Die unterstützte Mindestversion ist 1.34. Die folgenden Mindestversionen von Managed Service for Apache Spark-Cluster-Images werden unterstützt:

• 3.0.3
• 2.3.22
• 2.2.75
• 2.1.107

Die folgenden Mindestversionen der Managed Service for Apache Spark-Laufzeit werden unterstützt:

• 3.0.3
• 2.3.20

Lineage-Ansichten in der Google Cloud Console

Mit der Datenherkunft in der Google Cloud Console können Sie auf zwei Arten mit Herkunftsinformationen interagieren: Sie können das Herkunftsgrafik in mehreren verfügbaren Regionen untersuchen oder das Feld Lineage Explorer verwenden, um eine detailliertere Ansicht in einer bestimmten Region zu erhalten. Sie können auch zwischen der Graph-Ansicht und der List-Ansicht wechseln, um den Datenfluss auf verschiedenen Detailebenen zu analysieren.

Lineage-Ansichten sind nur für Knowledge Catalog-Einträge (früher Dataplex Universal Catalog), BigQuery-Assets und Vertex AI-Ressourcen (Modelle, Datasets, Feature Store-Ansichten und Featuregruppen) verfügbar.

Informationen zu den verschiedenen Ansichten, die auf dieser Seite beschrieben werden, finden Sie unter Data Lineage mit Google Cloud -Systemen verwenden.

Ansicht des Herkunftsdiagramms

In der Diagramm-Ansicht werden der Fluss und die Beziehungen von Datenassets über Systeme und Regionen hinweg visualisiert. So können Sie die Datenarchitektur nachvollziehen, Quellen und Ziele ermitteln und Muster erkennen. Diese Herkunftscharts, die vom Data Lineage API-Dienst für einen bestimmten Knowledge Catalog-Eintrag generiert werden, zeigen, wie Daten im Laufe der Zeit transformiert werden. Dabei werden Upstream-, Downstream- oder beide Flüsse von einem ausgewählten Stamm-Eintrag dargestellt.

Die Data Lineage API empfängt automatisch Asset-Informationen aus unterstützten Systemen und über API-Aufrufe für benutzerdefinierte Quellen.

Die wichtigsten Elemente im Diagramm werden so beschrieben:

• Knoten: Stellen Sie die Datenentitäten dar. In einer Ansicht auf Tabellenebene wird in einem Knoten der Tabellenname und die zugehörigen Spalten angezeigt. In einer Ansicht auf Spaltenebene stellt jeder Knoten eine bestimmte Tabelle und Spalte dar.

• Kanten: Die Linien, die Knoten verbinden und die Prozesse darstellen, die zwischen ihnen stattfinden. Die Darstellung einer Kante hängt von der Lineage-Ansicht ab:

  • In der Ansicht auf Tabellenebene haben Kanten Symbole, die Datentransformationen angeben.
  • In der Ansicht auf Spaltenebene haben Kanten Labels, die Datentransformationen angeben. Ein Kantenlabel könnte beispielsweise Exact copy lauten, um zu beschreiben, wie eine Quellspalte in eine Zielspalte kopiert wurde.

• Symbole und Labels verarbeiten: Sie werden an den Kanten angezeigt, um weitere Informationen zur Transformation zu liefern.

  • Symbole: Stellen Sie den Transformationsprozess dar. Wenn Sie den Graphen manuell untersuchen, stellen Symbole auf Kanten das Quellsystem des Prozesses dar (z. B. BigQuery oder Vertex AI). Wenn mehrere Prozesse beteiligt sind, wird das Symbol „Mehrere Prozesse“ angezeigt. Wenn das Quellsystem des Prozesses unbekannt ist, wird ein Zahnradsymbol verwendet. Wenn Sie Filter anwenden, wird für alle Prozesse ein Zahnradsymbol verwendet.
  • Labels: In der Ansicht „Abstammung auf Spaltenebene“ wird die Art der Abhängigkeit zwischen Spalten durch ein Label beschrieben: Exact copy oder Other.

Lineage-Diagramm manuell ansehen

Wenn Sie den Tab Lineage öffnen, wird standardmäßig die Diagrammansicht angezeigt. Die Standardansicht bietet eine allgemeine Übersicht über Systeme und Regionen hinweg. Der Graph kann manuell und inkrementell erweitert werden, wobei jeweils fünf Knoten geladen werden. Prozesssymbole an den Rändern stellen das Quellsystem dar oder weisen auf mehrere Prozesse hin.

Filter und Hervorhebungen für eine fokussierte Ansicht anwenden

Bei großen und komplexen Lineage-Diagrammen können Sie Filter oder Hervorhebungen anwenden, um visuelles Rauschen zu reduzieren und sich auf die Untersuchung der Lineage in einer bestimmten Region zu konzentrieren. Legen Sie Ihre Kriterien im Bereich Lineage Explorer fest. Wenn Filter angewendet werden, wird oben in den Ansichten Diagramm und Liste eine Filterleiste angezeigt, in der Ihre aktiven Filter als Infofelder dargestellt werden.

Um die Lineage-Visualisierung zu optimieren, können Sie einen der folgenden Modi auswählen:

• Hervorheben: Übereinstimmende Knoten werden durch Farben und Rahmen visuell hervorgehoben, während das gesamte Diagramm sichtbar bleibt. So lassen sich bestimmte Assets finden, ohne den Gesamtkontext des Herkunftsgraphen zu verlieren.

• Filtern: Nicht übereinstimmende Knoten werden ausgeblendet und das Diagramm wird vereinfacht, sodass nur übereinstimmende Knoten und die Pfade zwischen ihnen angezeigt werden. Alle nicht übereinstimmenden Assets, die Teil eines Pfads zwischen übereinstimmenden Knoten sind, werden in minimierten Knoten gruppiert. Dieser Modus ist nützlich, um die Komplexität zu reduzieren und sich nur auf relevante Assets und ihre direkten Beziehungen zu konzentrieren.

Verwenden Sie die folgenden Kriterien, um die Herkunft zu filtern oder hervorzuheben.

• Projekt: Nach Google Cloud Projekt-ID filtern.
• System: Filtern Sie nach dem System, in dem sich das Daten-Asset befindet (z. B. BigQuery oder Cloud Storage).
• Entitätsname: Nach Assetname filtern. Sie können * für Platzhaltersuchen verwenden (nur Präfix und Suffix, z. B. *table oder test*).
• Untertyp: nach Asset-Untertyp filtern (z. B. dashboard oder model)
• Spaltenname: Filtern Sie die Herkunft nach Spaltenname, um Details auf Spaltenebene zu sehen.
• Richtung: Zeigen Sie die Upstream- oder Downstream-Abstammung oder beides an.
• Zeitraum: Filtern Sie den Datenursprung nach einem bestimmten Start- oder Endzeitpunkt.
• Abhängigkeitstyp: Filtern Sie die Lineage auf Spaltenebene nach dem Abhängigkeitstyp. Beispiele für verfügbare Optionen sind All und Exact copy.

Um die Übersichtlichkeit weiter zu verbessern, können Sie Temporäre BigQuery-Tabellen ausblenden auswählen, um temporäre Assets auszublenden, die von BigQuery erstellt wurden, z. B. Tabellen in Datasets mit Namen, die mit _script beginnen.

In der fokussierten Ansicht auf dem Tab Diagramm wird das Diagramm automatisch auf bis zu drei Ebenen maximiert und die gesamte Herkunft, die den Filterkriterien entspricht, wird geladen. Im Lineage Explorer werden bis zu zehn Ebenen des Herkunftsdiagramms abgerufen, aber standardmäßig werden nur die ersten drei Ebenen maximiert. Sie können das Diagramm maximieren, um die verbleibenden Ebenen zu sehen, indem Sie auf die Pfeile klicken.

Die fokussierte Ansicht unterstützt sowohl die Herkunft auf Tabellen- als auch auf Spaltenebene, einschließlich der Pfadvisualisierung von einem ausgewählten Knoten zurück zum Stamm. In dieser fokussierten Ansicht wird für alle Prozesse ein generisches Zahnradsymbol verwendet.

Verwenden Sie eine der folgenden Methoden, um die Herkunft auf Spaltenebene aufzurufen:

• Klicken Sie in einer fokussierten Diagramm-Ansicht in einer Tabelle auf das Spaltensymbol, um zur Herkunft auf Spaltenebene zu wechseln.

  

• Wenden Sie in der Standardansicht Graph oder in der fokussierten Ansicht Graph einen Spaltennamen im Bereich Lineage Explorer an.

Wenn Sie alle Filter entfernen und zur Standardansicht zurückkehren möchten, klicken Sie auf restart_alt „Zurücksetzen“.

Informationen zum Wechseln zwischen den Modi „Hervorheben“ und „Filtern“ finden Sie unter Herkunftsvisualisierung optimieren.

Knotendetails

Wenn Sie die Details eines Knotens aufrufen möchten, klicken Sie auf den Knoten. In der Seitenleiste werden dann detaillierte Informationen zum ausgewählten Daten-Asset angezeigt, z. B. in einer Lineage-Ansicht auf Tabellenebene der vollständig qualifizierte Name, der Typ und andere relevante Attribute des Assets.

Audit und Verlauf von Ausführungen

Ein vollständiges Lineage-Diagramm ist das Ergebnis von Läufen aus vielen verschiedenen Jobs, wobei jeder Job einen bestimmten Link im Diagramm erstellt. Mehrere Ausführungen werden als neue Läufe protokolliert, ändern aber nicht das statische Erscheinungsbild des Diagramms.

Wenn Sie die Details der einzelnen Ausführungen sehen möchten, klicken Sie im Diagramm auf eine Kante mit einem Prozess. Klicken Sie im angezeigten Bereich Abfrage auf den Tab Ausführungen.

Transformationslogik prüfen

Wenn Sie die Geschäftslogik einer Transformation nachvollziehen möchten, ohne nach dem Code suchen zu müssen, können Sie die genaue SQL-Abfrage aufrufen, die ausgeführt wurde. Klicken Sie auf eine Kante mit einem Prozess im Diagramm, um den SQL-Code aufzurufen. Klicken Sie in der Seitenleiste, die angezeigt wird, auf den Tab Details.

Visualisierung des Herkunftspfads

Mit der Visualisierung des Herkunftspfads können Sie den Pfad von einem beliebigen ausgewählten Knoten im Diagramm zurück zum Stammknoten nachvollziehen. Wenn Sie einen Knoten auswählen und auf Pfad visualisieren klicken, werden im Diagramm nur die Knoten und Prozesse hervorgehoben, die den direkten Herkunftspfad zum Stammknoten bilden.

Wenn Sie die Visualisierung des Lineage-Pfads sehen möchten, wenden Sie im Bereich Lineage Explorer einen Filter an, um eine fokussierte Diagramm-Ansicht zu erstellen. Wählen Sie dann in der fokussierten Diagramm-Ansicht einen Knoten aus. Klicken Sie im Detailbereich für den ausgewählten Knoten auf Pfad visualisieren.

Die Visualisierung des Herkunftspfads ist für die Herkunft auf Tabellen- und Spaltenebene verfügbar. Sie können auch die Visualisierung des Herkunftspfads in der Listenansicht verwenden.

Lineage-Listenansicht

Die Listenansicht bietet eine tabellarische, strukturierte Darstellung der Herkunft, die mit der Diagrammansicht synchronisiert wird. Sie erleichtert das Sortieren, Filtern und Herunterladen von Daten-Assets. Diese Ansicht eignet sich ideal, um Quell-Ziel-Beziehungen zu analysieren, beteiligte Assets zu detaillieren und Herkunftsdaten zu exportieren.

Die Listenansicht ist sowohl für die Herkunft auf Tabellen- als auch auf Spaltenebene verfügbar. Sie können zwischen den folgenden detaillierten und vereinfachten Listenansichten wechseln.

• Vereinfachte Listenansicht: Diese Ansicht ist nützlich, um eine komprimierte, eindeutige Liste aller Assets zu erhalten, die in der Herkunft enthalten sind. Die Spalten wie System, Projekt, Entität, FQN (voll qualifizierter Name), Richtung und Tiefe helfen Ihnen, alle Datenassets in der Herkunft, ihren Speicherort, ihre ursprüngliche Quelle und ihre Entfernung vom zentralen Asset zu sehen, das analysiert wird. Es eignet sich ideal für einen allgemeinen Überblick über alle am Datenfluss beteiligten Entitäten. Das ist die Standardansicht.

• Detaillierte Listenansicht: Diese Ansicht ist für die Analyse einzelner Quell-Ziel-Beziehungen konzipiert. Wenn Sie separate Spalten für Quelle und Ziel angeben, können Sie jede spezifische Daten transformationsverknüpfung sehen. Diese Ansicht eignet sich ideal für Aufgaben, bei denen ein tiefes Verständnis dafür erforderlich ist, wie Daten zwischen bestimmten Asset-Paaren übertragen werden, z. B. zum Prüfen einzelner Datenflüsse, zum Nachvollziehen von Abhängigkeiten zwischen Tabellen oder zum Exportieren detaillierter Herkunftsdatensätze für jede Verbindung.

Listenansicht für Herkunft auf Tabellenebene

In dieser Ansicht werden Beziehungen zwischen Tabellen als Ganzes dargestellt. Wählen Sie mit den bereitgestellten Filtern die benötigten Spalten aus.

Maximieren Sie die folgenden Abschnitte, um die Spalten zu sehen, die in den Listenansichten auf Tabellenebene verfügbar sind.

Listenansicht der Herkunft auf Spaltenebene

In dieser Ansicht werden Beziehungen zwischen einzelnen Spalten in den Quell- und Zieltabellen dargestellt. Wählen Sie mit den bereitgestellten Filtern die benötigten Spalten aus.

Maximieren Sie die folgenden Abschnitte, um die Spalten zu sehen, die in den Listenansichten auf Spaltenebene verfügbar sind.

Nächste Schritte

• Weitere Informationen zu Herkunftsquellen

• Informationen zum Nachverfolgen der Datenherkunft für BigQuery-Tabellenkopien und Abfragejobs

• Informationen zur Verwendung der Datenherkunft mit Google Cloud -Systemen