הפעלת Knowledge Catalog

בעזרת Knowledge Catalog (לשעבר Dataplex Universal Catalog) אפשר להטמיע ולתחזק באופן אוטומטי מטא-נתונים עדכניים ממקורות נתונים נתמכים Google Cloud . כדי להשתמש ב-Knowledge Catalog בפרויקט Google Cloud , צריך להפעיל את Dataplex API,‏ Dataproc API ו-Dataproc Metastore API.

לפני שמתחילים

הפעלת Knowledge Catalog

אפשר להשתמש בפרויקט קיים עם Knowledge Catalog או ליצור פרויקט חדש. מומלץ ליצור פרויקט חדש. אם אתם משתמשים בפרויקט חדש Google Cloud או בפרויקט שבו BigQuery API מופעל, Dataplex API מופעל כברירת מחדל. עם זאת, עדיין צריך להפעיל את Dataproc API ואת Dataproc Metastore API.

כדי שהמשאבים שנוצרו על ידי האגם יישארו בפרויקט שלכם, בנפרד אחד מהשני, צריך ליצור פרויקט לכל מופע של אגם.

כדי ליצור פרויקט ולהפעיל את Knowledge Catalog, מבצעים את השלבים הבאים:

  1. במסוף Google Cloud , בוחרים פרויקט או יוצרים פרויקט.
  2. מוודאים שהחיוב מופעל בפרויקט.

  3. מפעילים את ממשקי ה-API של Dataplex,‏ Managed Service for Apache Spark ו-Dataproc Metastore, אם הם עדיין לא מופעלים.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    הפעלת ממשקי ה-API

השבתת Knowledge Catalog

אם אתם משתמשים ב-Knowledge Catalog בפרויקט שבו אתם משתמשים גם ב-BigQuery, חשוב שתכירו את ההשפעות על ההתנהגות של BigQuery כשמשביתים את Knowledge Catalog.

כדי להימנע מחיובים נוספים, צריך לבצע את השלבים הבאים לפני שמשביתים את Knowledge Catalog:

  1. במסוף Google Cloud , מוחקים כל מופע של אגם בפרויקט. כדי למחוק אגם, צריך קודם למחוק את הנכסים והאזורים הבודדים. מידע נוסף זמין במאמר projects.locations.lakes.delete.

  2. במסוף Google Cloud , מוחקים את כל קבוצות הכניסה בהתאמה אישית בפרויקט. מחיקה של קבוצת רשומות מסירה את כל הרשומות ששייכות לקבוצת הרשומות. מידע נוסף מופיע במאמר בנושא מחיקת קבוצת רשומות.

  3. בוחרים את הפרויקט שבו רוצים להשבית את Dataplex API.

  4. עוברים לדף Enabled APIs & services.

    כניסה אל Enabled APIs & services

  5. לוחצים על Cloud Dataplex API.

  6. לוחצים על השבתת ה-API. מאשרים כשמוצגת בקשה.

  7. אם הפעלתם גם את Data Lineage API, צריך לחזור על השלבים כדי להשבית אותו. השבתה של Dataplex API לא משביתה את Data Lineage API ולא מפסיקה את החיובים על עיבוד פרימיום. מידע נוסף זמין במאמר בנושא השבתת מעקב אחר מקורות נתונים.

המאמרים הבאים