הוספת היבטים של Knowledge Catalog על סמך תובנות מפרופילי נתונים

בדף הזה מוסבר איך להוסיף באופן אוטומטי היבטים של Knowledge Catalog לנתונים שלכם אחרי ש-Sensitive Data Protection מנתח את המשאבים שלכם. בדף הזה יש גם דוגמאות לשאילתות שבהן אפשר להשתמש כדי למצוא נתונים בארגון ובפרויקטים עם ערכים ספציפיים של היבטים.

התכונה הזו שימושית אם רוצים להעשיר את המטא-נתונים ב-Knowledge Catalog בתובנות שנאספו מפרופילי נתונים של Sensitive Data Protection. ההיבטים שנוצרו כוללים את התובנות הבאות:

• רמת הרגישות המחושבת של הטבלה או מערך הנתונים
• רמת הסיכון המחושבת של הטבלה או מערך הנתונים
• סוגי המידע (infoTypes) שזוהו בטבלה או במערך הנתונים

תובנות מפרופילי נתונים של Sensitive Data Protection יכולות לעזור לכם להשתמש ב-Knowledge Catalog כדי לגלות נתונים רגישים ונתונים בסיכון גבוה בארגון. אפשר להשתמש בתובנות האלה כדי לקבל החלטות מושכלות לגבי ניהול הנתונים והשליטה בהם.

מידע על פרופילי נתונים

אתם יכולים להגדיר את Sensitive Data Protection כך שיפיק באופן אוטומטי פרופילים של נתונים בארגון, בתיקייה או בפרויקט. פרופילי נתונים מכילים מדדים ומטא-נתונים על הנתונים שלכם, ועוזרים לכם לקבוע איפה נמצאים נתונים רגישים ונתונים בסיכון גבוה. הדוחות של Sensitive Data Protection כוללים את המדדים האלה ברמות שונות של פירוט.

אתם יכולים לשלוח פרופילי נתונים לשירותים אחרים כמו Knowledge Catalog,‏ Pub/Sub,‏ Security Command Center ו-Google Security Operations כדי לשפר את תהליכי העבודה של משילות מידע (data governance), התראות ואבטחה. Google Cloud

מידע על Knowledge Catalog

Knowledge Catalog מספק מלאי מאוחד של משאבים ב- Google Cloud .

בעזרת היבטים ב-Knowledge Catalog, אתם יכולים להוסיף מטא-נתונים עסקיים וטכניים לנתונים שלכם כדי לתעד הקשר ומידע על המשאבים שלכם. לאחר מכן תוכלו לחפש ולגלות נתונים בכל הארגון, ולהפעיל משילות מידע (data governance) על נכסי הנתונים שלכם. מידע נוסף זמין במאמר בנושא היבטים.

משאבים נתמכים

‫Sensitive Data Protection יכול להוסיף באופן אוטומטי היבטים לרשומות ב-Knowledge Catalog עבור המשאבים הבאים:

• טבלאות ב-BigQuery

• טבלאות של Cloud SQL

• מערכי נתונים של Vertex AI שנוצרו מטבלאות BigQuery

‫Knowledge Catalog לא קולט קטגוריות של Cloud Storage, ולכן התכונה הזו לא זמינה כשמבצעים פרופיל לנתונים ב-Cloud Storage.

איך זה עובד

תהליך העבודה ברמה גבוהה ליצירה אוטומטית של היבטים ב-Knowledge Catalog על סמך פרופילי נתונים הוא כדלקמן:

1. יוצרים או עורכים הגדרת סריקה של סוג משאב נתמך.

2. בשלב Add actions (הוספת פעולות), מוודאים שהפעולה Send to Dataplex Catalog as aspects (שליחה לקטלוג Dataplex כהיבטים) מופעלת.

   אם אתם יוצרים הגדרת סריקה, הפעולה הזו מופעלת כברירת מחדל.

   אם אתם עורכים הגדרת סריקה, צריך להפעיל את הפעולה הזו.

הכלי Sensitive Data Protection מוסיף או מעדכן את Sensitive Data Protection profileההיבט של רשומת Knowledge Catalog לכל משאב נתמך שאתם יוצרים לו פרופיל. אחרי מכן תוכלו לחפש ב-Knowledge Catalog את כל הנתונים בארגון או בפרויקט עם ערכים ספציפיים של היבטים.

כשמפעילים את הפעולה שליחה לקטלוג Dataplex כהיבטים, Sensitive Data Protection מחילה את הפעולה הזו רק על פרופילים חדשים ומעודכנים. פרופילים קיימים שלא עודכנו לא נשלחים אל Knowledge Catalog.

שדות ברמה העליונה

ההיבט שמתקבל לטבלה עם פרופיל יכול לכלול את השדות הבאים ברמה העליונה:

אם המשאב עבר פרופיל ברמת הפרויקט וגם ברמת הארגון או התיקייה, Sensitive Data Protection יצבור את הערכים של שני הפרופילים. ההיבט הזה מספק איחוד של סוגי המידע שזוהו, ומשתמש ברמות הרגישות הגבוהות ביותר ובדירוגי הסיכון של הנתונים משני הפרופילים.

לדוגמה, נניח שהרגישות של המשאב לפי הפרופיל ברמת הפרויקט היא MODERATE, ולפי הפרופיל ברמת הארגון היא LOW. במקרה הזה, הערך בשדה Sensitivity ברמה העליונה של ההיבט הוא MODERATE.

שדות בפרופיל הפרויקט ובפרופיל הארגון

ההיבט Sensitive Data Protection profile שמתקבל כולל אחד או שניים מהשדות הבאים ברמה העליונה, בהתאם לרמה שבה נוצר פרופיל המשאב:

Project Profile

כלול בהיבט אם המשאב עבר פרופיל באמצעות הגדרת סריקה ברמת הפרויקט

Organization Profile

המאפיין הזה נכלל בהיבט אם המשאב עבר פרופיל באמצעות הגדרת סריקה ברמת הארגון או התיקייה

אם המשאב עבר פרופיל ברמת הפרויקט וגם ברמת הארגון או התיקייה, ההיבט שמתקבל כולל את השדות Project Profile ו-Organization Profile.

כל שדה Project Profile או Organization Profile מכיל שדות מקוננים Sensitivity ו-Risk עם הערכים שמפורטים בפרופיל הנתונים. אם בפרופיל הנתונים מופיעים סוגי מידע חזויים וסוגי מידע אחרים, הם זמינים גם כשדות מקוננים Column InfoTypes ו-InfoTypes. בנוסף, כל שדה Project Profile או Organization Profile מכיל את השדות הבאים ברמה השנייה:

Profile

השם המלא של משאב פרופיל הנתונים. דוגמאות:

• פרופיל ברמת הפרויקט: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
• פרופיל ברמת הארגון או התיקייה: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Profile Link

קישור לפרופיל במסוף Google Cloud . דוגמאות:

• פרופיל ברמת הפרויקט: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
• פרופיל ברמת הארגון או התיקייה: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

הפעלת Dataplex API

צריך להפעיל את Dataplex API בכל פרויקט שמכיל נתונים שרוצים להוסיף להם היבטים. בקטע הזה מוסבר איך להפעיל את Dataplex API בפרויקט יחיד או בכל הפרויקטים בארגון או בתיקייה.

הפעלת Dataplex API בפרויקט יחיד

1. בוחרים את הפרויקט שבו רוצים להפעיל את Dataplex API.

   כניסה לדף לבחירת הפרויקט

2. מפעילים את Dataplex API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

   להפעלת ה-API

הפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה

בקטע הזה מופיע סקריפט שמחפש את כל הפרויקטים בארגון או בתיקייה ומפעיל את Dataplex API בכל אחד מהפרויקטים האלה.

כדי לקבל את ההרשאות שדרושות להפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• צפייה במשאבים ב-Cloud (roles/cloudasset.viewer) בארגון או בתיקייה
• ‫DLP User (roles/dlp.user) בכל פרויקט שבו רוצים להפעיל את Dataplex API

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות להפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

כדי להפעיל את Dataplex API בכל הפרויקטים בארגון או בתיקייה, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

   בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. מריצים את הסקריפט הבא:

   #!/bin/bash
   
   RESOURCE_ID="RESOURCE_ID"
   
   gcloud asset search-all-resources \
       --scope="RESOURCE_TYPE/$RESOURCE_ID" \
       --asset-types="cloudresourcemanager.googleapis.com/Project" \
       --format="value(name)" |
       while read project_name; do
         project_id=$(echo "$project_name" | sed 's|.*/||')
         gcloud services enable "dataplex.googleapis.com" --project="$project_id"
       done
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫RESOURCE_ID: מספר הארגון או מספר התיקייה של המשאב שמכיל את הפרויקטים
   • ‫RESOURCE_TYPE: סוג המשאב שמכיל את הפרויקטים – organizations או folders

תפקידים והרשאות לצפייה בהיבטים

כדי לקבל את ההרשאות שדרושות לחיפוש היבטים שמשויכים למשאבים שלכם, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים במשאבים:

• צפייה בקטלוג Dataplex (roles/dataplex.catalogViewer)
• BigQuery Data Viewer (roles/bigquery.dataViewer)
• Vertex AI Viewer (roles/aiplatform.viewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לחיפוש היבטים שמשויכים למשאבים שלכם. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף על ההרשאות שנדרשות לשימוש ב-Knowledge Catalog זמין במאמר הרשאות IAM ב-Knowledge Catalog.

איך מוצאים את ההיבט שנוצר עבור פרופיל נתונים של טבלה מסוימת

1. נכנסים לדף Search ב-Knowledge Catalog במסוף Google Cloud .

   מעבר אל חיפוש

2. בוחרים את הארגון או הפרויקט.

3. בקטע בחירת פלטפורמת חיפוש, בוחרים באפשרות Dataplex Universal Catalog כמצב החיפוש.

4. בשדה חיפוש, מזינים את הערך הבא:

   name:TABLE_ID
   

   מחליפים את TABLE_ID במזהה של הטבלה שנוצר לה פרופיל.

5. ברשימה שמופיעה, לוחצים על שם הטבלה. יוצגו הפרטים של טבלת BigQuery. כל Sensitive Data Protection profile ההיבטים שמשויכים אליו מוצגים בקטע תגים והיבטים אופציונליים.

מידע נוסף על חיפוש משאבים זמין במאמר חיפוש משאבים ב-Knowledge Catalog.

שאילתות חיפוש לדוגמה

בקטע הזה מופיעות דוגמאות לשאילתות חיפוש שאפשר להשתמש בהן ב-Knowledge Catalog כדי למצוא נתונים בארגון או בפרויקט עם ערכים ספציפיים של היבטים.

תוכלו לראות רק את הנתונים שיש לכם גישה אליהם. הגישה לנתונים נשלטת באמצעות הרשאות IAM. מידע נוסף זמין בקטע תפקידים והרשאות לצפייה בהיבטים בדף הזה.

אפשר להזין את השאילתות לדוגמה האלה בשדה חיפוש בדף חיפוש של Knowledge Catalog.

מעבר אל חיפוש

מידע על ניסוח השאילתות זמין במאמר בנושא תחביר החיפוש בקטלוג הידע.

מציאת כל המשאבים שיש להם את ההיבט של פרופיל Sensitive Data Protection

aspect:sensitive-data-protection-profile

חיפוש כל המשאבים עם ציון רגישות נתון

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

מחליפים את SENSITIVITY_SCORE ב-HIGH,‏ MODERATE,‏ UNKNOWN או LOW.

מידע נוסף זמין במאמר בנושא רמות רגישות וסיכון נתונים.

איתור כל המשאבים עם ציון סיכון נתון

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

מחליפים את DATA_RISK_LEVEL ב-HIGH,‏ MODERATE,‏ UNKNOWN או LOW.

מידע נוסף זמין במאמר בנושא רמות רגישות וסיכון נתונים.

חיפוש כל המשאבים שיש להם פרופיל ברמת הפרויקט

aspect:sensitive-data-protection-profile.projectProfile

חיפוש כל המשאבים שיש להם פרופיל ברמת הארגון

aspect:sensitive-data-protection-profile.organizationProfile

מעבר לפעולה 'שליחה לקטלוג Dataplex כהיבטים'

כדי להעביר הגדרת גילוי שמוגדרת להשתמש בפעולה שליחה אל Dataplex כתגים שהוצאה משימוש, פועלים לפי השלבים הבאים:

1. עורכים את הגדרות הגילוי שהוגדרו לשליחת תוצאות הגילוי ל-Data Catalog כתגים.
2. בקטע פעולות, משביתים את האפשרות שליחה ל-Dataplex כתגים.
3. מפעילים את האפשרות שליחה אל Dataplex Catalog כהיבטים.
4. לוחצים על Save.