מעקב אחרי מקורות הנתונים של טבלה ב-BigQuery

התכונה 'מקורות נתונים' מאפשרת לעקוב אחרי המקור של הנתונים, איך הם עוברים טרנספורמציה ולאן הם מועברים בטבלאות של BigQuery לאורך זמן. מעקב אחרי התנועות האלה עוזר לכם לשמור על תאימות, לפתור בעיות בנתונים ולבצע ניתוח של שורש הבעיה. במדריך למתחילים הזה, תשתמשו במסוףGoogle Cloud כדי להעתיק שתי טבלאות ציבוריות של new_york_taxi_trips, לשלב את נתוני הנסיעות שלהן בטבלת BigQuery חדשה ולהציג את הגרף של תרשים השושלת. כדי לקיים אינטראקציה עם השתלשלות הנתונים באופן פרוגרמטי, אפשר לעיין במאמר ספריות לקוח של Knowledge Catalog ושל השתלשלות נתונים.

לפני שמתחילים

מגדירים את הפרויקט:

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Dataplex, BigQuery, and Data Lineage APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the Dataplex, BigQuery, and Data Lineage APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    10.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להצגת תרשימים של ויזואליזציה של שושלת, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

  • ‫Dataplex Catalog Viewer (roles/dataplex.catalogViewer) בפרויקט המשאבים של Knowledge Catalog (לשעבר Dataplex Universal Catalog)
  • Data Lineage Viewer (roles/datalineage.viewer) בפרויקט שבו משתמשים ב-BigQuery
  • BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט שבו משתמשים ב- BigQuery

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הוספת מערך נתונים ציבורי לפרויקט

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    הכפתור המודגש של חלונית Explorer.

    אם לא רואים את החלונית הימנית, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer, לוחצים על Add data.

  4. בחלונית הוספת נתונים, בוחרים באפשרות קבוצות נתונים ציבוריות.

  5. בחלונית Marketplace, מחפשים את NYC TLC Trips ולוחצים על התוצאה NYC TLC Trips.

  6. לוחצים על הצגת מערך הנתונים.

הפעולה הזו מוסיפה את הפרויקט של מערך הנתונים הציבורי כהפניה שאפשר לראות בחלונית Explorer. בחלונית הפרטים מוצג מידע על מערך הנתונים, כולל פרטים כמו מזהה מערך הנתונים, מיקום הנתונים ותאריך השינוי האחרון.

יצירת מערך נתונים בפרויקט

  1. בחלונית הימנית, לוחצים על כלי הניתוחים:

    הכפתור המודגש של חלונית Explorer.

  2. בחלונית Explorer, בוחרים את הפרויקט שבו רוצים ליצור את מערך הנתונים.

  3. לוחצים על פעולות ואז על יצירת מערך נתונים.

  4. בדף Create dataset, בשדה Dataset ID, מזינים: data_lineage_demo. משאירים את ערכי ברירת המחדל בשאר השדות.

  5. לוחצים על יצירת מערך נתונים.

  6. בחלונית Explorer, לוחצים על Datasets ואז על data_lineage_demo שנוסף.

בחלונית הפרטים מוצג מידע על קבוצת הנתונים.

העתקת שתי טבלאות שנגישות לציבור למערך הנתונים

  1. פותחים עורך שאילתות: בחלונית הפרטים, ליד הכרטיסייה data_lineage_demo, לוחצים על SQL query (שאילתת SQL). בשלב הזה נוצר כרטיסייה בשם Untitled.

  2. בעורך השאילתות, מעתיקים את הטבלה הראשונה על ידי הזנת השאילתה הבאה. מחליפים את PROJECT_ID במזהה הפרויקט.

    CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`

  3. לוחצים על הפעלה. בשלב הזה נוצרת הטבלה הראשונה, שנקראת nyc_green_trips_2021.

  4. בחלונית Query results, לוחצים על Go to table. בשלב הזה מוצג התוכן של הטבלה הראשונה.

  5. בעורך השאילתות, מעתיקים את הטבלה השנייה על ידי החלפת השאילתה הקודמת בשאילתה הבאה. מחליפים את PROJECT_ID במזהה הפרויקט.

    CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`

  6. לוחצים על הפעלה. בשלב הזה נוצרת הטבלה השנייה, שנקראת nyc_green_trips_2022.

  7. בחלונית Query results, לוחצים על Go to table. בשלב הזה מוצג התוכן של הטבלה השנייה.

צבירת נתונים בטבלה חדשה

  1. בעורך השאילתות, מזינים את השאילתה הבאה. מחליפים את PROJECT_ID במזהה הפרויקט.

    CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
AS SELECT vendor_id, COUNT(*) AS number_of_trips
FROM (
     SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
     UNION ALL
     SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
)
GROUP BY vendor_id

  2. לוחצים על הפעלה. בשלב הזה נוצרת טבלה משולבת בשם total_green_trips_22_21.

  3. בחלונית Query results, לוחצים על Go to table. בשלב הזה מוצגת הטבלה המשולבת.

הצגת תרשים שושלת הנתונים ב-Knowledge Catalog

  1. במסוף Google Cloud , עוברים לדף Search ב-Knowledge Catalog.

    לחיפוש Google

  2. בתיבת החיפוש, מזינים total_green_trips_22_21 ולוחצים על חיפוש.

  3. ברשימת התוצאות, לוחצים על total_green_trips_22_21. בשלב הזה מוצגת הכרטיסייה Details (פרטים) של הטבלה ב-BigQuery.

  4. לוחצים על הכרטיסייה Lineage.

הטבלה total_green_trips_22_21 עם חלונית הפרטים שעוגנת בתחתית.
איור 1. שושלת נתונים עם פרטי צומת

בתרשים השושלת, כל צומת מלבני מייצג טבלה – טבלה מקורית, טבלה שהועתקה או טבלה שנוצרה משילוב של טבלאות. אפשר לבצע את הפעולות הבאות:

  • כדי להציג או להסתיר את המקור של טבלה, לוחצים על + (הרחבה) או על - (כיווץ).

  • כדי להציג את פרטי הטבלה, לוחצים על צומת. בשלב הזה מוצגת חלונית פרטים של צומת.

  • כדי להציג את פרטי התהליך, לוחצים על הצגת פרטים על תהליך שושלת הנתונים. בשלב הזה מוצג חלונית Details (פרטים) של תהליך, שבה מופיעה המשימה שהמירה טבלת מקור לטבלת יעד.

הטבלה המתווכת nyc_green_trips_2021 עם חלונית הפרטים שעוגנת בתחתית.
איור 2. שושלת נתונים עם פרטי תהליך

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה:

מחיקת הפרויקט

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת מערך הנתונים

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    הכפתור המודגש של חלונית Explorer.

  3. בחלונית Explorer, מחפשים את מערך הנתונים data_lineage_demo שיצרתם.

  4. לוחצים על מערך הנתונים ואז על מחיקה.

  5. מאשרים את פעולת המחיקה.

המאמרים הבאים