Monitorare le schede

Questo documento descrive come monitorare le schede in BigQuery sharing (in precedenza Analytics Hub). In qualità di fornitore di dati, puoi monitorare le metriche di utilizzo delle tue schede. Esistono due metodi per ottenere le metriche di utilizzo dei dati condivisi:

  • Utilizza BigQuery sharing. Puoi utilizzare Sharing per visualizzare la dashboard delle metriche di utilizzo delle tue schede. Questa dashboard include gli abbonamenti giornalieri, i job eseguiti giornalmente, il numero di abbonati per ogni organizzazione e la frequenza dei job per ogni tabella. Puoi recuperare le metriche di utilizzo dei dati condivisi eseguendo una query sulla vista INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

  • Utilizza la vista INFORMATION_SCHEMA. Puoi monitorare il modo in cui gli abbonati utilizzano i tuoi set di dati eseguendo una query sulla vista INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

Utilizzare Sharing

Per ottenere le metriche di utilizzo dei dati condivisi utilizzando Sharing, segui questi passaggi:

  1. Nella Google Cloud console, vai alla pagina Sharing (Analytics Hub).

    Vai a Sharing (Analytics Hub)

  2. Fai clic sul nome dello scambio di dati che contiene la scheda per visualizzarne le metriche di utilizzo.

  3. Fai clic su Metriche di utilizzo e poi:

    1. Nel menu Schede, seleziona la scheda.

    2. Imposta l'intervallo di tempo.

La pagina mostra le seguenti metriche di utilizzo:

  • Abbonamenti totali: il numero di abbonamenti attuali alla scheda selezionata. Puoi visualizzare gli abbonamenti totali per un massimo di 60 giorni.
  • Abbonati totali: il numero di abbonati unici in tutti gli abbonamenti alla scheda selezionata. Puoi visualizzare gli abbonati totali per un massimo di 60 giorni.
  • Job totali eseguiti: il numero di job unici eseguiti su ogni tabella della scheda selezionata.
  • Byte totali scansionati: il numero totale di byte scansionati da tutte le tabelle di la scheda selezionata.
  • Abbonamenti giornalieri: il grafico che monitora il numero di abbonamenti a lla scheda selezionata in un periodo di tempo. Puoi visualizzare gli abbonamenti giornalieri per un massimo di 60 giorni.
  • Abbonati per organizzazione: elenca le organizzazioni e il numero di abbonati che utilizzano la scheda selezionata.
  • Job eseguiti giornalmente: questo grafico mostra il consumo di job dalla scheda selezionata.
  • Frequenza dei job delle tabelle: la frequenza con cui si accede alle tabelle nella scheda selezionata.

Utilizzare la vista INFORMATION_SCHEMA

I fornitori di dati possono monitorare il modo in cui gli abbonati utilizzano i set di dati eseguendo una query sulla INFORMATION_SCHEMA.SHARED_DATASET_USAGE vista. Assicurati di disporre del ruolo necessario per eseguire query su questa vista.

Per eseguire la query su un Google Cloud progetto diverso da quello predefinito, utilizza il seguente formato:

PROJECT_ID.region-REGION_NAME.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

Sostituisci quanto segue:

  • PROJECT_ID: l' Google Cloud ID progetto
  • REGION_NAME: il nome della regione del set di dati BigQuery

Ad esempio, myproject.region-us.INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

I seguenti esempi descrivono come visualizzare le metriche di utilizzo eseguendo una query sulla vista INFORMATION_SCHEMA.

Ottenere il numero totale di job eseguiti su tutte le tabelle condivise

L'esempio seguente calcola il numero totale di job eseguiti dagli abbonati per un progetto:

SELECT
  COUNT(DISTINCT job_id) AS num_jobs
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

Il risultato è simile al seguente:

+------------+
| num_jobs   |
+------------+
| 1000       |
+------------+

Per controllare il numero totale di job eseguiti dagli abbonati, utilizza la clausola WHERE:

  • Per i set di dati, utilizza WHERE dataset_id = "...".
  • Per le tabelle, utilizza WHERE dataset_id = "..." AND table_id = "...".

Ottenere la tabella più utilizzata in base al numero di righe elaborate

La seguente query calcola la tabella più utilizzata in base al numero di righe elaborate dagli abbonati.

SELECT
  dataset_id,
  table_id,
  SUM(num_rows_processed) AS usage_rows
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1,
  2
ORDER BY
  3 DESC
LIMIT
  1

L'output è simile al seguente:

+---------------+-------------+----------------+
| dataset_id    | table_id      | usage_rows     |
+---------------+-------------+----------------+
| mydataset     | mytable     | 15             |
+---------------+-------------+----------------+

Trovare le organizzazioni principali che utilizzano le tue tabelle

La seguente query calcola gli abbonati principali in base al numero di byte elaborati dalle tue tabelle. Puoi anche utilizzare la colonna num_rows_processed come metrica.

SELECT
  subscriber_org_number,
  ANY_VALUE(subscriber_org_display_name) AS subscriber_org_display_name,
  SUM(total_bytes_processed) AS usage_bytes
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1

L'output è simile al seguente:

+--------------------------+--------------------------------+----------------+
|subscriber_org_number     | subscriber_org_display_name    | usage_bytes    |
+-----------------------------------------------------------+----------------+
| 12345                    | myorganization                 | 15             |
+--------------------------+--------------------------------+----------------+

Per gli abbonati senza un'organizzazione, puoi utilizzare job_project_number anziché subscriber_org_number.

Ottenere le metriche di utilizzo per lo scambio di dati

Se lo scambio di dati e il set di dati di origine si trovano in progetti diversi, segui questi passaggi per visualizzare le metriche di utilizzo dello scambio di dati:

  1. Trova tutte le schede che appartengono allo scambio di dati.
  2. Recupera il set di dati di origine collegato alla scheda.
  3. Per visualizzare le metriche di utilizzo dello scambio di dati, utilizza la seguente query:
SELECT
  *
FROM
  source_project_1.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"
UNION ALL
SELECT
  *
FROM
  source_project_2.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"

Ottenere le metriche di utilizzo per le viste condivise

La seguente query mostra le metriche di utilizzo di tutte le viste condivise presenti in un progetto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'VIEW'

L'output è simile al seguente:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type |                                                                                                              referenced_tables                                                                                                              |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset | view1    |                  6 |                    38 | view1              | VIEW                 | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"21"},
{"project_id":"bq-dataexchange-exp","dataset_id":"other_dataset","table_id":"other_table","processed_bytes":"17"}]                 |

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

Ottenere le metriche di utilizzo per le funzioni con valori di tabella condivise

La seguente query mostra le metriche di utilizzo di tutte le funzioni con valori di tabella condivise presenti in un progetto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'TABLE_VALUED_FUNCTION'

L'output è simile al seguente:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type  |                                                  referenced_tables                                                  |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset |          |                  3 |                    45 | provider_exp       | TABLE_VALUED_FUNCTION | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"45"}]           |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+

Passaggi successivi