שליחת תוצאות הבדיקה ל-Knowledge Catalog כהיבטים

במאמר הזה מוסבר איך לבדוק אם יש בטבלה ב-BigQuery מידע אישי רגיש, ולשלוח את תוצאות הבדיקה אל Knowledge Catalog. הפעולה הזו מוסיפה באופן אוטומטי מאפיין לרשומה ב-Knowledge Catalog שמשויכת לטבלה ב-BigQuery.

במסמך הזה מופיעות גם דוגמאות לשאילתות שאפשר להשתמש בהן כדי למצוא נתונים בארגון ובפרויקטים עם ערכים ספציפיים של היבטים.

התכונה הזו שימושית אם רוצים להעשיר את המטא-נתונים ב-Knowledge Catalog בסיווגים של מידע אישי רגיש מתוך עבודות בדיקה של Sensitive Data Protection.

ההיבטים שנוצרו כוללים את הפרטים הבאים:

• שם עבודת הבדיקה
• סוגי המידע (infoTypes) שזוהו בטבלה

מידע על Knowledge Catalog

Knowledge Catalog מספק מלאי מאוחד של משאבים ב- Google Cloud .

בעזרת היבטים ב-Knowledge Catalog, אתם יכולים להוסיף מטא-נתונים עסקיים וטכניים לנתונים שלכם כדי לתעד הקשר ומידע על המשאבים שלכם. לאחר מכן תוכלו לחפש ולגלות נתונים בכל הארגון, ולהפעיל משילות מידע (data governance) על נכסי הנתונים שלכם. מידע נוסף זמין במאמר בנושא היבטים.

איך זה עובד

כדי ליצור באופן אוטומטי היבטים של Knowledge Catalog על סמך תוצאות של משימת בדיקה, פועלים לפי תהליך העבודה הבא:

1. יוצרים או עורכים משימת בדיקה שבודקת טבלה ב-BigQuery. הוראות מפורטות מופיעות במאמר בדיקת טבלה ב-BigQuery.

2. בשלב הוספת פעולות, מפעילים את האפשרות פרסום ב-Dataplex Universal Catalog.

השירות Sensitive Data Protection מוסיף או מעדכן את ההיבט Sensitive Data Protection job result של הערך ב-Knowledge Catalog שמשויך לטבלה ב-BigQuery. אחרי מכן תוכלו לחפש ב-Knowledge Catalog את כל הנתונים בארגון או בפרויקט עם ערכים ספציפיים של היבטים. דוגמאות לשאילתות חיפוש מופיעות במאמר הזה בקטע דוגמאות לשאילתות חיפוש.

ההיבט שמתקבל של Knowledge Catalog מאוחסן באותו פרויקט ובאותו אזור כמו הטבלה ב-BigQuery.

שדות היבטים

המאפיין Sensitive Data Protection job result כולל את השדות הבאים:

שם המשרה

שם המשאב המלא של עבודת הבדיקה – לדוגמה, projects/example-project/locations/us/dlpJobs/i-8992079400000000000.

InfoType Counts

שמות של סוגי מידע שהעבודה של הבדיקה חיפשה – כפי שצוין בהגדרת הבדיקה – ומספר הממצאים לכל סוג מידע. אם סוג המידע לא כולל ממצאים, הערך שלו הוא 0.

שעת הסיום

התאריך והשעה שבהם הסתיימה משימת הבדיקה.

האם זו סריקה מלאה

האם עבודת הבדיקה סרקה את כל השורות בטבלה. אם הדגימה מופעלת במשימת הבדיקה, למשל, הערך של השדה הזה הוא False.

יש ממצאים

האם עבודת הבדיקה זיהתה אחד מסוגי המידע שהיא סרקה.

הפעלת Dataplex API

צריך להפעיל את Dataplex API בכל פרויקט שמכיל נתונים שרוצים להוסיף להם היבטים. בקטע הזה מוסבר איך להפעיל את Dataplex API בפרויקט יחיד או בכל הפרויקטים בארגון או בתיקייה.

הפעלת Dataplex API בפרויקט יחיד

1. בוחרים את הפרויקט שבו רוצים להפעיל את Dataplex API.

   כניסה לדף לבחירת הפרויקט

2. מפעילים את Dataplex API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

   להפעלת ה-API

הפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה

בקטע הזה מופיע סקריפט שמחפש את כל הפרויקטים בארגון או בתיקייה ומפעיל את Dataplex API בכל אחד מהפרויקטים האלה.

כדי לקבל את ההרשאות שדרושות להפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• צפייה במשאבים ב-Cloud (roles/cloudasset.viewer) בארגון או בתיקייה
• ‫DLP User (roles/dlp.user) בכל פרויקט שבו רוצים להפעיל את Dataplex API

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות להפעלת Dataplex API בכל הפרויקטים בארגון או בתיקייה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

כדי להפעיל את Dataplex API בכל הפרויקטים בארגון או בתיקייה, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

   בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. מריצים את הסקריפט הבא:

   #!/bin/bash
   
   RESOURCE_ID="RESOURCE_ID"
   
   gcloud asset search-all-resources \
       --scope="RESOURCE_TYPE/$RESOURCE_ID" \
       --asset-types="cloudresourcemanager.googleapis.com/Project" \
       --format="value(name)" |
       while read project_name; do
         project_id=$(echo "$project_name" | sed 's|.*/||')
         gcloud services enable "dataplex.googleapis.com" --project="$project_id"
       done
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫RESOURCE_ID: מספר הארגון או מספר התיקייה של המשאב שמכיל את הפרויקטים
   • ‫RESOURCE_TYPE: סוג המשאב שמכיל את הפרויקטים – organizations או folders

תפקידים והרשאות לצפייה בהיבטים

כדי לקבל את ההרשאות שדרושות לחיפוש היבטים שמשויכים לטבלת BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בטבלה:

• צפייה בקטלוג Dataplex (roles/dataplex.catalogViewer)
• BigQuery Data Viewer (roles/bigquery.dataViewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לחיפוש היבטים שמשויכים לטבלה ב-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף על ההרשאות שנדרשות לשימוש ב-Knowledge Catalog זמין במאמר הרשאות IAM ב-Knowledge Catalog.

הגדרה והפעלה של משימת בדיקה של Sensitive Data Protection

אפשר להגדיר ולהפעיל עבודת בדיקה של Sensitive Data Protection באמצעות Google Cloud המסוף או DLP API.

POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs

{
              "inspectJob":
              {
                "storageConfig":
                {
                  "bigQueryOptions":
                  {
                    "tableReference":
                    {
                      "projectId": "PROJECT_ID",
                      "datasetId": "BIGQUERY_DATASET_NAME",
                      "tableId": "BIGQUERY_TABLE_NAME"
                    }
                  }
                },
                "inspectConfig":
                {
                  "infoTypes":
                  [
                    {
                      "name": "EMAIL_ADDRESS"
                    },
                    {
                      "name": "PERSON_NAME"
                    },
                    {
                      "name": "US_SOCIAL_SECURITY_NUMBER"
                    },
                    {
                      "name": "PHONE_NUMBER"
                    }
                  ],
                  "includeQuote": true,
                  "minLikelihood": "UNLIKELY",
                  "limits":
                  {
                    "maxFindingsPerRequest": 100
                  }
                },
                "actions":
                [
                  {
                    "publishFindingsToDataplexCatalog": {}
                  }
                ]
              }
            }

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @inspect-request.json \
     "https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile inspect-request.json `
    -Uri "https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
  "type": "INSPECT_JOB",
  "state": "PENDING",
  "inspectDetails": {
    "requestedOptions": {
      "snapshotInspectTemplate": {},
      "jobConfig": {
        "storageConfig": {
          "bigQueryOptions": {
            "tableReference": {
              "projectId": "PROJECT_ID",
              "datasetId": "BIGQUERY_DATASET_NAME",
              "tableId": "BIGQUERY_TABLE_NAME"
            }
          }
        },
        "inspectConfig": {
          "infoTypes": [
            {
              "name": "EMAIL_ADDRESS"
            },
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "US_SOCIAL_SECURITY_NUMBER"
            },
            {
              "name": "PHONE_NUMBER"
            }
          ],
          "minLikelihood": "UNLIKELY",
          "limits": {
            "maxFindingsPerRequest": 100
          },
          "includeQuote": true
        },
        "actions": [
          {
            "publishFindingsToDataplexCatalog": {}
          }
        ]
      }
    },
    "result": {}
  },
  "createTime": "2025-09-09T00:29:55.951374Z",
  "lastModified": "2025-09-09T00:29:58.022967Z"
}

במאמר קבלת נתונים של משימת בדיקה מוסבר איך מקבלים את התוצאות של משימת הבדיקה באמצעות DLP API.

שאילתות חיפוש לדוגמה

בקטע הזה מופיעות דוגמאות לשאילתות חיפוש שאפשר להשתמש בהן ב-Knowledge Catalog כדי למצוא נתונים בארגון או בפרויקט עם ערכים ספציפיים של היבטים.

תוכלו לראות רק את הנתונים שיש לכם גישה אליהם. הגישה לנתונים נשלטת באמצעות הרשאות IAM. מידע נוסף זמין בקטע תפקידים והרשאות לצפייה בהיבטים במאמר הזה.

אפשר להזין את השאילתות לדוגמה האלה בשדה חיפוש בדף חיפוש של Knowledge Catalog.

מעבר אל חיפוש

מידע על ניסוח השאילתות זמין במאמר בנושא תחביר החיפוש בקטלוג הידע.

מציאת הרשומות של כל הטבלאות שכוללות את ההיבט של תוצאת העבודה של Sensitive Data Protection

aspect:sensitive-data-protection-job-result

חיפוש הרשומות של טבלאות שנבדקו וכוללות ממצאים

aspect:sensitive-data-protection-job-result.hasFindings=True

חיפוש רשומות של טבלאות שנבדקו ולא נמצאו בהן ממצאים

aspect:sensitive-data-protection-job-result.hasFindings=False

מציאת הרשומות של טבלאות שנבדקו באופן מלא

השאילתה הבאה מחזירה את הרשומות של טבלאות ש-Sensitive Data Protection בדק שורה אחר שורה.

aspect:sensitive-data-protection-job-result.isFullScan=True

איתור הרשומות של טבלאות שלא נבדקו באופן מלא

השאילתה הבאה מחזירה את הרשומות של טבלאות ש-Sensitive Data Protection בדק באמצעות דגימה.

aspect:sensitive-data-protection-job-result.isFullScan=False

מעבר לפעולה 'פרסום ב-Dataplex Universal Catalog'

כדי להעביר טריגר של משימה שהוגדר להשתמש בפעולה פרסום ב-Data Catalog שהוצאה משימוש, פועלים לפי השלבים הבאים:

1. עורכים את טריגר המשימה שהוגדר לפרסום תוצאות הבדיקה ב-Data Catalog. במאמר עדכון של טריגר קיים להפעלת משימה מוסבר איך לפתוח ולערוך טריגר להפעלת משימה.
2. בקטע פעולות, משביתים את האפשרות פרסום בקטלוג הנתונים.
3. מפעילים את האפשרות פרסום ב-Dataplex Universal Catalog.
4. לוחצים על Save.