הפניה לפרטי הטרנספורמציה

בדף הזה מתואר התוכן של טבלת פרטי טרנספורמציה, ומוצגות דוגמאות לשאילתות שאפשר להריץ עליה.

כשמסירים את הפרטים המזהים מנתונים באחסון, אפשר להגדיר את משימת הבדיקה כך שתספק פרטים על כל שינוי שהיא מבצעת. Sensitive Data Protection כותב את הפרטים האלה בטבלה ב-BigQuery שאתם מציינים. במסמך הזה, הטבלה הזו נקראת טבלת פרטי השינוי.

התוכן של טבלת פרטי טרנספורמציה

בקטע הזה מפורטים תכני הטבלה של פרטי הטרנספורמציה ומוסבר עליהם.

resource_name

השם של עבודת הבדיקה שהשלימה את ההמרה.

container_name

הקובץ שמכיל את הנתונים שעברו טרנספורמציה.

טרנספורמציה

פרטים על הטרנספורמציה. השדה הזה מכיל את המאפיינים הבאים:

סוג

שיטת הטרנספורמציה ש-Sensitive Data Protection החיל על הממצא. אלה כמה מהערכים האפשריים:

description

ייצוג מחרוזת של הטרנספורמציה. הערך הוא הפלט של קריאה לפונקציה toString() בהודעת מאגר אחסון לפרוטוקולים PrimitiveTransformation לכל סוגי ההמרות, למעט RecordSuppression. אם שיטת הטרנספורמציה היא השמטה של רשומה, השדה הזה ריק.

תנאי

ייצוג מחרוזת של RecordCondition לטרנספורמציה. השדה הזה מוגדר רק אם נעשה שימוש בתנאי של רשומה כדי לקבוע אם Sensitive Data Protection צריכה לחול על השינוי. דוגמאות:

  • (age_field <= 18)
  • (zip_field exists)
  • (zip_field == 01234) && (age_field <= 18) && (city_field exists)
infoType

פרטים על סוג המידע שזוהה בממצא. השדה הזה כולל את המאפיינים הבאים:

name
השם של התכונה המובנית או התכונה בהתאמה אישית infoType.
גרסה
גרסה של infoType.

status_details

פרטים על סטטוס הטרנספורמציה. אם הטרנספורמציה נכשלה, בשדה הזה מצוין מה גרם לכשל. השדה הזה מכיל את המאפיינים הבאים:

result_status_type

קוד שמייצג את הסטטוס של ניסיון ההמרה. אלה הערכים האפשריים:

  • ‫STATE_TYPE_UNSPECIFIED: Sensitive Data Protection לא הצליח לקבוע את הסטטוס של השינוי.
  • ‫INVALID_TRANSFORM: לא הייתה אפשרות להפוך את הממצא ב-Sensitive Data Protection.
  • ‫METADATA_UNRETRIEVABLE: יש ממצא במטא-נתונים המותאמים אישית של קובץ. בזמן כתיבת הקובץ שעבר טרנספורמציה, Sensitive Data Protection לא הצליחה לאחזר את המטא-נתונים.
  • ‫SUCCESS: הטרנספורמציה בוצעה בהצלחה.
פרטים

פרטים נוספים על הסטטוס. השדה הזה פועל לפי המפרטים שמוגדרים ב-Status. השדה הזה מכיל את המאפיינים הבאים:

קוד
קוד השגיאה.
הודעה
הודעת השגיאה.
פרטים
רשימה של הודעות שמכילות את פרטי השגיאה.

transformed_bytes

מספר הבייטים שעברו טרנספורמציה באמצעות Sensitive Data Protection. אם ההמרה לא הצליחה או אם לא היה תוכן להמרה, הערך הוא 0.

transformation_location

פרטים על המיקום של הטרנספורמציה.

הדוגמה הבאה היא של מיקום טרנספורמציה ב-JSON, שבו בוצעה טרנספורמציה של infoType על ידי Sensitive Data Protection:

{
    "finding_id": "2022-05-23T23:51:29.775337Z831678185946560283",
    "record_transformation": null,
    "container_type": "TRANSFORM_BODY"
}

הדוגמה הבאה היא של מיקום טרנספורמציה בפורמט JSON, שבו בוצעה טרנספורמציה של רשומה על ידי Sensitive Data Protection:

{
    "finding_id": null,
    "record_transformation": {
      "field_id": {
        "name": " \"Name\""
      },
      "container_timestamp": {
        "timestamp": null,
        "seconds": "1654796423",
        "nanos": "763000000"
      },
      "container_version": "1654796423733485"
    },
    "container_type": "TRANSFORM_TABLE"
  }
}

כפי שאפשר לראות בדוגמאות, Sensitive Data Protection מאכלס את finding_id או את record_transformation, בהתאם לסוג הטרנספורמציה שהוא ביצע. שני השדות הם בלעדיים הדדית.

finding_id
השדה הזה מוגדר אם Sensitive Data Protection ביצע טרנספורמציה של Infotype. כל מזהה ממצא מתייחס לרשומה בטבלת הפלט של הממצאים. טבלת הפלט של הממצאים מכילה את כל הממצאים שזוהו על ידי Sensitive Data Protection במהלך הבדיקה. הטבלה הזו נוצרת רק אם הגדרתם את משימת הבדיקה לשמירת הממצאים ב-BigQuery.
record_transformation

השדה הזה מוגדר אם Sensitive Data Protection ביצע טרנספורמציה של רשומה בנתונים טבלאיים. השדה הזה מכיל את המאפיינים הבאים:

field_id
העמודה בטבלה שמכילה את הממצא.
container_timestamp
חותמת הזמן של השינוי שבוצע בקובץ.
container_version
מספר דור של הקובץ שמכיל את הממצא.
container_type

מידע על הפונקציונליות של הנתונים שמכילים את הממצא. אלה הערכים האפשריים:

  • ‫TRANSFORM_UNKNOWN_CONTAINER: Sensitive Data Protection לא הצליח לקבוע את סוג הנתונים שמכילים את הממצא.
  • ‫TRANSFORM_BODY: Sensitive Data Protection זיהה את הממצא בגוף הקובץ.
  • ‫TRANSFORM_METADATA: Sensitive Data Protection זיהה את הממצא במטא-נתונים של קובץ.
  • ‫TRANSFORM_TABLE: Sensitive Data Protection זיהה את הממצא בטבלה.

שאילתות לדוגמה

ריכזנו כאן כמה דוגמאות לשאילתות שאפשר להריץ בטבלת פרטי ההמרה. מידע על שליחת שאילתות לטבלה ב-BigQuery זמין במאמר הרצת שאילתות אינטראקטיביות.

בחירת כל הטרנספורמציות שנכשלו

SELECT *
    FROM `PROJECT_ID.DATASET_ID.TABLE_ID`
    WHERE status_details.result_status_type != "SUCCESS";

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט שמכיל את הטבלה עם פרטי ההמרה.
  • ‫DATASET_ID: המזהה של מערך הנתונים ב-BigQuery שמכיל את טבלת פרטי ההמרה.
  • ‫TABLE_ID: המזהה של טבלת פרטי השינוי.

ספירת מספר הקבצים שההמרה שלהם נכשלה

SELECT COUNT(DISTINCT(container_name))
    FROM `PROJECT_ID.DATASET_ID.TABLE_ID`
    WHERE status_details.result_status_type != "SUCCESS";

בחירת כל הטרנספורמציות שנעשה בהן שימוש בהסתרת תווים

SELECT resource_name, container_name, info_type.name
    FROM `PROJECT_ID.DATASET_ID.TABLE_ID`,
    UNNEST(transformation) AS tr
    WHERE tr.type LIKE "CHARACTER_MASK";

המאמרים הבאים