פתרון בעיות בפידים של שינויים במטא-נתונים

במסמך הזה מוסבר איך לפתור בעיות נפוצות שקשורות לעדכוני מטא-נתונים ב-Dataplex Universal Catalog.

שגיאות ביצירת פידים של שינויים במטא-נתונים

בקטע הזה מוסבר איך לפתור שגיאות שעלולות להתרחש כשיוצרים פידים של שינויים במטא-נתונים.

שגיאות שקשורות לדחיית הרשאה

מופיעה שגיאת PERMISSION_DENIED כשמנסים ליצור פיד של שינויים במטא-נתונים.

הבעיה מתרחשת כי יכול להיות שחסרות לך או לחשבון השירות של Dataplex Universal Catalog הרשאות נדרשות.

כדי לפתור את הבעיה, צריך לבדוק את הדרישות הבאות:

• מוודאים שיש לכם הרשאה מסוג dataplex.metadataFeeds.create.

• מוודאים שיש לכם הרשאת dataplex.entryGroups.export בהיקף של הפיד (ארגון, פרויקט או קבוצת רשומות).

• מוודאים שלחשבון השירות של Dataplex Universal Catalog ‏(service-{PROJECT_NUMBER}@gcp-sa-dataplex.iam.gserviceaccount.com) יש את התפקיד roles/pubsub.publisher בנושא היעד ב-Pub/Sub.

שגיאות ב-VPC Service Controls

מוצגת שגיאה PERMISSION_DENIED או שגיאה ב-VPC Service Controls כשיוצרים פיד.

כדי לפתור את הבעיה, צריך לוודא שפיד השינויים במטא-נתונים והמשאבים שהוא עוקב אחריהם שייכים לאותו גבול גזרה של VPC Service Controls:

• אם הפיד מוגבל לארגון, המערכת תעקוב רק אחרי פרויקטים שנמצאים באותו היקף.

• אם הפיד הוא בהיקף הפרויקט או בהיקף קבוצת הרשומות, צריך לוודא שכל הפרויקטים או קבוצות הרשומות שצוינו נמצאים באותם גבולות גזרה כמו הפרויקט שבו יוצרים את הפיד.

בעיות בשליחת התראות

בקטע הזה מוסבר איך לפתור בעיות שקשורות למשלוח התראות.

ההתראות לא התקבלו

לא מתקבלות התראות בנושא Pub/Sub. יכולות להיות לכך כמה סיבות:

• חסרות הרשאות: לחשבון השירות של Dataplex Universal Catalog אין יותר את התפקיד roles/pubsub.publisher בנושא.

• השהיה בהפעלה: יכולות לחלוף עד 10 דקות עד שפיד חדש שנוצר או פיד קיים שעודכן יהפוך לפעיל.

• הנושא נמחק: אם נושא היעד ב-Pub/Sub נמחק, Dataplex Universal Catalog מפסיק לפרסם.

• חוסר התאמה בהיקף או במסנן: יכול להיות שהשינויים לא תואמים להיקף או למסננים שהוגדרו.

כדי לפתור את הבעיה, צריך לבדוק את הדברים הבאים:

• מוודאים שלחשבון השירות של Dataplex Universal Catalog מוקצה התפקיד roles/pubsub.publisher בנושא.

• צריך להמתין לפחות 10 דקות אחרי שיוצרים או מעדכנים פיד.

• בודקים אם נושא ה-Pub/Sub קיים. אם הוא נמחק, צריך ליצור אותו מחדש.

• בודקים את הגדרות הפיד כדי לוודא שההיקף והמסננים תואמים לשינויים במטא-נתונים שאתם מצפים לקבל.

התראות כפולות

אתם מקבלים הודעות התראה כפולות. ‫Dataplex Universal Catalog מבטיח מסירה של הודעה אחת לפחות, מה שאומר שיכול להיות שיהיו הודעות כפולות, במיוחד במהלך ניסיונות חוזרים.

מגדירים את אפליקציית המינוי כך שתטפל בכפילויות פוטנציאליות. אתם יכולים להשתמש בשדה messageId או בחותמת הזמן של השינוי כדי לזהות הודעות ולבטל כפילויות.

בעיות בתוכן

בקטע הזה מוסבר איך לפתור בעיות בתוכן של התראות על שינויים בפיד המטא-נתונים.

חסרים מטא-נתונים מלאים במטען הייעודי (payload)

הודעת העדכון מכילה רק את שם המשאב ואת סוג השינוי, אבל לא את המטא-נתונים המלאים או את השינויים הספציפיים.

הסיבה לכך היא שבהתאם לעיצוב, ההתראות על שינויים בפיד המטא-נתונים מספקות 'חתימות שינוי' (מה השתנה) ולא את המטען הייעודי המלא. כך ההודעות נשארות קלות ומונעות חריגה ממגבלות הגודל של המטען הייעודי.

משתמשים בשם המשאב שמופיע בהתראה כדי לקרוא ל-Dataplex Universal Catalog API (לדוגמה, GetEntry) ולאחזר את המצב הנוכחי של המשאב.