הוספת מטא-נתונים לטבלה ב-BigQuery

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשר לכם לצרף מטא-נתונים עסקיים וטכניים לנכסי הנתונים שלכם, כדי שתוכלו לארגן, לגלות ולנהל את הנתונים. ב-Knowledge Catalog, כל נכס נתונים מיוצג כרשומה, ואתם מצרפים מטא-נתונים על ידי הוספת היבטים – קבוצות של שדות מטא-נתונים קשורים שמוגדרים על ידי תבנית לשימוש חוזר שנקראת סוג היבט.

במדריך הזה ליצירה מהירה, תיצרו מערך נתונים וטבלה ב-BigQuery ממערך נתונים ציבורי ב-BigQuery, תיצרו סוג מאפיין ותוסיפו מאפיין לרשומה בטבלה.

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Dataplex and BigQuery APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the Dataplex and BigQuery APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    10.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להוספת מטא-נתונים לטבלה ב-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת מערך נתונים וטבלה

  1. במסוף Google Cloud , עוברים לדף BigQuery Studio.

    כניסה ל-BigQuery Studio

  2. יוצרים מערך נתונים:

    1. בחלונית הימנית, לוחצים על כלי הניתוחים:

      הכפתור המודגש של חלונית Explorer.

      אם לא רואים את החלונית הימנית, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

    2. בחלונית Explorer, מוצאים את הפרויקט. לוחצים על View actions, ואז על Create dataset.

    3. בשדה Dataset ID (מזהה מערך הנתונים), מזינים את הערך catalog_demo_dataset.

      משאירים את ערכי ברירת המחדל בשאר השדות.

    4. לוחצים על יצירת מערך נתונים.

  3. כדי להעתיק טבלה שגלוי לכולם לקבוצת הנתונים שלכם:

    1. בחלונית Explorer, מחפשים את הטבלה שנקראת bigquery-public-data.new_york_citibike.citibike_stations. יכול להיות שתצטרכו להגדיר את היקף החיפוש כך שיכלול את הפרויקט bigquery-public-data.

      הטבלה הזו היא חלק ממערך הנתונים NYC Citi Bike Trips, מערך נתונים ציבורי שמכיל נתונים על תוכנית של אופניים שיתופיים.

    2. בוחרים את הטבלה citibike_stations.

    3. לוחצים על Copy. הזן את פריטי המידע הבאים:

      • פרויקט: בוחרים את הפרויקט.
      • קבוצת נתונים: בוחרים באפשרות catalog_demo_dataset.
      • טבלה: מזינים bike_stations.

    4. לוחצים על Copy.

  4. בחלונית Explorer, מאתרים את מערך הנתונים catalog_demo_dataset ומוודאים שהטבלה bike_stations מופיעה במערך הנתונים.

הגדרת תבנית מטא-נתונים: יצירת סוג היבט

  1. במסוף Google Cloud , עוברים לדף Metadata types ב-Knowledge Catalog.

    מעבר אל סוגי מטא-נתונים

  2. לוחצים על הכרטיסייה סוגי היבטים ואז על הכרטיסייה בהתאמה אישית.

  3. לוחצים על יצירת סוג מאפיין.

  4. בשדה Aspect type ID (מזהה סוג ההיבט), מזינים data-governance-demo.

  5. בקטע מיקום, בוחרים באפשרות global.

  6. בקטע תבנית, לוחצים על הוספת שדה. אפשר להשתמש במידע שבטבלה הבאה כדי להוסיף כמה שדות לסוג ההיבט:

    שם סוג חובה תיאור
    source-of-data-asset טקסט לא -
    retention-date תאריך ושעה לא -
    data-classification

    ספירה

    מוסיפים את הערכים Public,‏ Sensitive ו-Confidential.

    		 כן -
    has-pii בוליאני כן Whether the data asset has personally identifiable information

  7. לוחצים על Save.

הוספת מטא-נתונים לטבלה: הוספת היבט לרשומה

  1. נכנסים לדף Search בקטלוג הידע במסוף Google Cloud .

    לחיפוש Google

  2. בתיבת החיפוש, מזינים catalog_demo_dataset.

  3. בוחרים בטבלה bike_stations.

  4. כדי להוסיף היבט מותאם אישית לרשומה:

    1. בקטע Aspects (היבטים), לצד Optional aspects (היבטים אופציונליים), לוחצים על Add (הוספה).

    2. בוחרים את סוג היחס data-governance-demo.

      כך נוצר היבט שמשתמש בסוג ההיבט שלכם כתבנית.

    3. מזינים את הערכים הבאים:

      • מקור נכס הנתונים: Copied from NYC Citi Bike Trips public dataset
      • תאריך השמירה: מזינים תאריך.
      • סיווג נתונים לקטגוריות: Public
      • יש פרטים אישיים מזהים: False

    4. לוחצים על Save.

  5. כדי לראות את ערכי המטא-נתונים שהוספתם, בקטע Aspects, בוחרים את ההיבט data-governance-demo.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה:

מחיקת הפרויקט

הדרך הקלה ביותר להפסיק את החיוב היא למחוק את הפרויקט שיצרתם במדריך למתחילים.

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת משאבים בודדים

אם רוצים לעשות שימוש חוזר בפרויקט, צריך למחוק את המשאבים שיצרתם.

  1. מחיקת מערך הנתונים:

    1. במסוף Google Cloud , עוברים לדף BigQuery Studio.

      כניסה ל-BigQuery Studio

    2. בחלונית הימנית, לוחצים על כלי הניתוחים:

      הכפתור המודגש של חלונית Explorer.

    3. בחלונית Explorer, מחפשים את מערך הנתונים catalog_demo_dataset.

    4. לוחצים על View actions (הצגת פעולות) ואז על Delete (מחיקה). מאשרים כשמוצגת בקשה.

  2. מחיקת סוג ההיבט:

    1. במסוף Google Cloud , עוברים לדף Metadata types ב-Knowledge Catalog.

      מעבר אל סוגי מטא-נתונים

    2. לוחצים על הכרטיסייה סוגי היבטים ואז על הכרטיסייה בהתאמה אישית.

    3. לוחצים על סוג ההיבט data-governance-demo.

    4. לוחצים על Delete. מאשרים כשמוצגת בקשה.

המאמרים הבאים