סקירה כללית על אחסון נתוני מעקב

במאמר הזה מוסבר על מודל האחסון של נתונים ב-Cloud Trace. הוא כולל קטגוריות של ניראות, תצוגות של ניראות וקישורים. אם יוצרים קישור, אפשר להריץ שאילתות על נתוני העקבות מ-BigQuery.

במסמך הזה לא מתואר הסכימה, שמציינת איך מאוחסנים טווחים בודדים. מידע נוסף זמין במאמר בנושא סכימת מעקב.

מודל אחסון של ניראות (observability)

מודל האחסון של Observability API מבוסס על הארכיטקטורה הבאה:

קטגוריות של ניראות
‫
קטגוריה של נתוני Observability היא ישות ניהול של מערכי נתונים שמאחסנים נתונים. קטגוריה של נתונים לצורך ניטור נמצאת במיקום ספציפי ויש לה מדיניות לשמירת נתונים. כששירות Google Cloud משתמש ב-Observability API כדי לאחסן את הנתונים שלו, המערכת יוצרת מאגר נתונים של נתוני תצפית על סמך שם השירות, מערך נתונים לאחסון הנתונים ותצוגה כדי לספק גישת קריאה לנתונים המאוחסנים. לדוגמה, בשירות Cloud Trace, המערכת נותנת שמות לקטגוריה שנוצרה על ידי המערכת _Trace, למערך הנתונים Spans ולתצוגה _AllSpans. מידע על המבנה של קטגוריית נתונים של יכולת תצפית זמין במאמר Bucket.
מערכי נתונים
מערך נתונים מאחסן נתונים. המערכת יוצרת באופן אוטומטי מערך נתונים אחד כשהיא יוצרת מאגר נתונים של יכולת התבוננות, שמנהל את מערך הנתונים. לדוגמה, כשהמערכת יוצרת את קטגוריית _Trace, היא יוצרת גם מערך נתונים בשם Spans, שבו מאוחסנים נתוני המעקב. כדי לקבל מידע על המבנה של מערך נתונים, אפשר לעיין במאמר Dataset.
תצוגות של מערכי נתונים
כל מערך נתונים מארח תצוגה מפורטת אחת או יותר. תצוגה מפורטת מספקת גישת קריאה לקבוצת משנה של רשומות במערך הנתונים. המערכת יוצרת תצוגה מפורטת אחת כשהיא יוצרת מערך נתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים. שם התצוגה תלוי בשירות. לדוגמה, בשביל שירות Cloud Trace, המערכת יוצרת תצוגה בשם _AllSpans במערך הנתונים Spans. מידע על המבנה של תצוגה זמין במאמר View.
קישורים במערכי נתונים

כל מערך נתונים יכול להכיל קישור אחד לכל היותר. כשיוצרים קישור למערך נתונים, המערכת יוצרת מערך נתונים מקושר ב-BigQuery. לאחר מכן תוכלו להריץ שאילתות על הנתונים במערך הנתונים באמצעות BigQuery או שירותים אחרים שמשתמשים ב-BigQuery API. מידע על מבנה הקישור זמין במאמר Link.

המערכת לא יוצרת קישורים באופן אוטומטי במערכי נתונים.

הגדרת האחסון של נתוני מעקב

נתוני העקבות מאוחסנים בקטגוריית נתונים של יכולת תצפית שנקראת _Trace. המערכת יוצרת קבוצת נתונים בשם Spans בדלי הזה. במערך הנתונים הזה, המערכת יוצרת תצוגה בשם _AllSpans. התצוגה הזו כוללת את כל הנתונים במערך הנתונים.

המערכת מנסה ליצור את מאגר הנתונים של יכולת התצפית בשם _Trace אם המאגר לא קיים ואחד מהתנאים הבאים מתקיים:

  • אפליקציה שולחת נתוני Trace לפרויקט Google Cloud באמצעות Cloud Trace API או Telemetry API.

  • מפעילים את Cloud Trace בשביל שירות מסוים, ואז השירות הזה שולח נתוני מעקב לפרויקט שלכם ב- Google Cloud . Google Cloud לדוגמה, Cloud Service Mesh תומך באיסוף עקבות, אבל איסוף העקבות מושבת כברירת מחדל. אם מפעילים מעקב ב-Cloud Service Mesh, הנתונים שנשלחים על ידי השירות הזה גורמים למערכת ליצור את הקטגוריה.

    נתוני Trace שנוצרו על ידי פונקציות Cloud Run,‏ Cloud Run ו-App Engine לא גורמים למערכת ליצור את קטגוריית ה-Observability. הטווחים מהשירותים האלה נשמרים רק אם קיים מאגר נתונים של יכולת התבוננות.

אם אתם יכולים לראות נתוני מעקב באמצעות הדף Trace Explorer, סימן שמאגר הנתונים של יכולת התצפית בשם _Trace קיים. אם לא מוצגים נתונים או אם מוצג באנר שבו מצוין שהאחסון לא אותחל, נסו לבצע אחת מהפעולות הבאות:

מיקום הנתונים בקטגוריות של נתונים שניתן לצפות בהם

אם יש לכם דרישות תאימות או רגולטוריות לאחסון הנתונים במיקומים ספציפיים או לשימוש במפתחות הצפנה בניהול הלקוח (CMEK), מומלץ להגדיר גם מדיניות ארגונית וגם הגדרות ברירת מחדל למאגרי נתונים של נתוני תצפית.

בארגונים, בתיקיות ובפרויקטים, הגדרות ברירת המחדל של מאגרי נתונים של יכולת תצפית מאפשרות לכם להגדיר את הפרטים הבאים:

  • מיקום אחסון שמוגדר כברירת מחדל.
  • לכל מיקום, מפתח ברירת מחדל של Cloud Key Management Service.

כשמגדירים את ההגדרות האלה לפרויקט, הן חלות רק על קטגוריות חדשות של נתונים שנוצרו בפרויקט הזה. כשמגדירים את ההגדרות האלה לתיקייה או לארגון, הן חלות על מאגרי נתונים חדשים של נתוני Observability שנוצרים בפרויקטים שהם צאצאים של התיקייה או הארגון, למעט פרויקטים שבהם הגדרתם הגדרות ברירת מחדל.

אפשר גם להשתמש במדיניות הארגון כדי להגביל את המיקומים של קטגוריות חדשות של נתונים למעקב, כדי לדרוש שימוש במפתחות CMEK או כדי להגביל את המפתחות של Cloud KMS שאפשר להשתמש בהם להצפנה. אם אתם מגדירים מדיניות ארגונית שמחייבת שימוש במפתחות CMEK, אתם צריכים להגדיר הגדרות ברירת מחדל למאגרי נתונים של נתוני Observability. אם לא תעשו את זה, הקצאת משאבים לקטגוריות של נתוני תצפית שנוצרו על ידי המערכת תיכשל.

מידע נוסף זמין במאמר בנושא הגדרת ברירות מחדל לקטגוריות של נתונים שניתנים לצפייה.

מגבלות

אי אפשר:

  • שינוי או מחיקה של קטגוריות של נתונים שניתנים לצפייה.
  • יצירה, מחיקה או שינוי של מערכי נתונים.
  • ליצור, למחוק או לשנות תצוגות.
  • אפשר להשתמש במסוף Google Cloud כדי להציג רשימה של קטגוריות, מערכי נתונים, תצוגות או קישורים.

המאמרים הבאים