Cómo buscar linaje multirregión con fan-out del cliente

Recupera vínculos de linaje de datos en varias Google Cloud regiones con un enfoque de distribución. Usa la API de Data Lineage para recuperar y agregar datos de linaje de todas las regiones disponibles. Esto es útil cuando tus recursos de datos se distribuyen en diferentes ubicaciones y necesitas una vista unificada de su linaje.

Para obtener más información, consulta Acerca de la búsqueda de linaje multirregional.

Procedimiento

El procedimiento realiza solicitudes paralelas al extremo projects.locations.searchLinks en cada región. Recopilas resultados, administras la paginación en las regiones y agregas los vínculos encontrados. Administra un regionalPageToken para garantizar una paginación coherente para las llamadas posteriores, teniendo en cuenta las regiones a las que no se puede acceder.

En el siguiente pseudocódigo, se describe un procedimiento que puedes seguir con la API de Data Lineage para recuperar vínculos de linaje de datos de todas las regiones disponibles.

  1. Configuración de entrada:
    • linksToFetch = 5 (cantidad de vínculos que se recuperarán de todas las regiones)
    • regionalPageToken = "" (último token de página regional recibido que se usa para la paginación)
  2. Crear:
    1. lista de todas las regiones para fan-out llamada regions
    2. una lista de regiones a las que no se puede acceder llamada unreachable
    3. una lista vacía de vínculos encontrados llamada foundLinks
    4. una variable vacía nextPageToken y nextRegionalPageToken
    5. una variable vacía lastRegion
    6. una variable vacía lastRegionLinksCount
  3. Ordena regions alfabéticamente.
  4. Analiza regionalPageToken
    1. Si está vacío, continúa con el paso 5.
    2. Si no está vacío, haz lo siguiente:
      1. Analiza regionalPageToken dividiéndolo por el primer punto en dos segmentos.
      2. Filtra las regiones tomando solo las que están después (en orden alfabético) del primer segmento de regionalPageToken analizado.
      3. Almacena el segundo segmento para usarlo en todas las llamadas a projects.locations.searchLinks.
  5. Realiza una llamada a projects.locations.searchLinks en cada región de la lista regions en paralelo.
  6. Espera a que se completen todas las solicitudes.
  7. Filtra las respuestas correctas y almacena los nombres de las regiones con errores en la lista unreachable.
  8. Para cada una de las respuestas (comenzando con la primera región en orden alfabético), haz lo siguiente:
    1. Si no se devolvieron vínculos junto con un token de página no vacío, haz lo siguiente:
      1. Almacena el nombre de la región en lastRegion.
      2. Guarda el pageToken recibido en nextPageToken.
      3. Ignora las respuestas restantes.
    2. De lo contrario, haz lo siguiente:
      1. Almacena el nombre de la región en lastRegion.
      2. Guarda los vínculos recibidos en foundLinks (hasta linksToFetch).
      3. Guarda el pageToken recibido en nextPageToken.
      4. Almacena la cantidad de vínculos tomados de la respuesta en lastRegionLinksCount.
      5. Si foundLinks es menor que linksToFetch
        1. Continúa el pseudocódigo con la siguiente respuesta recibida en orden alfabético.
      6. Si foundLinks es igual a linksToFetch
        1. Realiza otra solicitud al extremo projects.locations.searchLinks en la misma región, pero establece el parámetro pageSize en el valor de lastRegionLinksCount.
        2. Almacena el pageToken recibido en nextPageToken.
        3. Continúa con el paso 9.
  9. Antepón nextPageToken con lastRegion (es decir, [region].[receivedNextPageToken]) para crear nextRegionalPageToken y controlar la paginación en llamadas consecutivas.

¿Qué sigue?