ניתוח נתוני מעקב באמצעות BigQuery

במסמך הזה מוסבר איך ליצור מערך נתונים מקושר ב-BigQuery לנתוני המעקב, ואיך להריץ שאילתות על מערך הנתונים הזה. מערך נתונים מקושר מאפשר לכם ליצור ולהריץ שאילתות שמצרפות את נתוני יכולת התצפית שלכם לנתונים עסקיים אחרים. לדוגמה, אפשר להריץ שאילתה על מערך נתונים מקושר מ-BigQuery Studio ומ-Data Studio. אפשר גם להריץ את השאילתות של Observability Analytics בעורף של BigQuery.

כדי להתחיל להשתמש ב-Observability Analytics, אפשר לעיין במאמר שאילתות וניתוח של נתוני מעקב.

מתי צריך קבוצת נתונים מקושרת

לא צריך מערך נתונים מקושר ב-BigQuery כשרוצים להריץ שאילתות על נתוני העקבות או על נתוני העקבות והיומנים. בתרחישים כאלה, אפשר להשתמש בדף Observability Analytics. מידע על שליחת שאילתות לנתוני יומנים זמין במאמר שליחת שאילתות ליומנים וניתוח שלהם באמצעות Observability Analytics.

אתם צריכים מערך נתונים מקושר ב-BigQuery אם אתם רוצים לבצע את הפעולות הבאות:

• אפשר לצרף נתוני מעקב למערכי נתונים אחרים של BigQuery.
• הפעלת שאילתות על נתוני מעקב משירות אחר, כמו הדף BigQuery Studio או Data Studio.
• הפעלת שאילתות מהדף Observability Analytics במנוע BigQuery.
• מעקב אחרי תוצאות של שאילתות SQL באמצעות מדיניות התראות.

פעולות מערכת שמתרחשות כשיוצרים מערך נתונים מקושר

כשיוצרים מערך נתונים מקושר, מתחיל תהליך ארוך טווח. כמה פעולות מתבצעות כחלק מהפעולה הזו:

• ביומני הביקורת מתועדת הבקשה ליצירת קישור והשלמת הפעולה.

• אם חשבון השירות של Monitoring לא קיים, הוא נוצר על ידי Google Cloud Observability.

  כדי ליצור את חשבון השירות הזה, צריך להפעיל את Cloud Monitoring API.

• כדי ליצור מערך נתונים מקושר, צריך להגדיר חשבון שירות ב-Google Cloud Observability. כשצריך, נוצר חשבון שירות:

  • חשבון שירות של Cloud Observability: נדרש לקישור במערך נתונים של ניראות.

  • חשבון שירות של Cloud Logging: נדרש לקישור בקטגוריית יומנים.

• יומן הביקורת מתעד את הבקשה של מנהל סוכני השירות להעניק לחשבון השירות של Monitoring את תפקיד ה-IAM‏ Monitoring Service Agent.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Cloud Monitoring and Observability APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Cloud Monitoring and Observability APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

יצירת מערך נתונים מקושר ב-BigQuery

בקטע הזה מתואר אילו ממשקי API צריך להפעיל, אילו תפקידים נדרשים כדי ליצור קבוצת נתונים מקושרת ואיך ליצור קבוצת נתונים מקושרת.

דרישות מוקדמות

1. מבצעים את השלבים בקטע לפני שמתחילים.

2. כדי לקבל את ההרשאות שדרושות ליצירת קישור במערך נתונים של יכולת התבוננות, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

   • עורך יכולת הצפייה (roles/observability.editor)
   • BigQuery User (roles/bigquery.user)
   • כלי הצפייה ביומנים (roles/logging.viewer)

   להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

   יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת קישור במערך נתונים של יכולת צפייה

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

אם נתקלתם בשגיאות הרשאה כשניסיתם ליצור מערך נתונים מקושר, כדאי לעיין במאמר בנושא פתרון בעיות שקשורות להרשאות.

הרצת שאילתות על נתוני מעקב מ-BigQuery Studio

בקטע הזה מוסבר איך להריץ שאילתות על נתוני העקבות בדף BigQuery Studio.

מידע על העלויות שקשורות לשימוש ב-BigQuery זמין במאמר בנושא תמחור ב-BigQuery.

דרישות מוקדמות

1. מבצעים את השלבים בקטע לפני שמתחילים.

2. כדי לקבל את ההרשאות שנדרשות להרצת שאילתות במערך נתונים מקושר מ-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט או במערך הנתונים המקושר. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

   יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

3. מוודאים שקיים מערך הנתונים המקושר ב-BigQuery עבור מאגר התצפיות שנקרא _Trace. אם מערך הנתונים המקושר לא קיים, צריך ליצור אותו.

שימוש ב-BigQuery Studio

כדי לפתוח את BigQuery מדף Observability Analytics ואז להריץ שאילתות על נתוני המעקב:

1. נכנסים לדף manage_search Observability Analytics במסוף Google Cloud :

   עוברים אל Observability Analytics

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

2. מזינים או טוענים שאילתה. מידע נוסף זמין במאמר שאילתות וניתוח של עקבות.

3. בסרגל הכלים, מרחיבים את התפריט עם התווית Run query או Run on BigQuery ובוחרים באפשרות Open in BigQuery.

   הדף BigQuery Studio ייפתח. בדף הזה, ההצהרה FROM מציינת את מערך הנתונים המקושר באמצעות תחביר של נתיב טבלה ב-BigQuery. אפשר לבצע על השאילתה כל פעולה נתמכת, כמו עריכה.

   אם האפשרות פתיחה ב-BigQuery מושבתת, סימן שמערך הנתונים המקושר לא קיים או שאין לכם את ההרשאות הנדרשות לפתיחה ולצפייה בשאילתה ב-BigQuery.

4. בדף BigQuery Studio, לוחצים על Run query (הרצת שאילתה).

הרצת שאילתות במנוע BigQuery

כברירת מחדל, בדף Observability Analytics מורצות השאילתות שאתם כותבים במנוע השאילתות שמוגדר כברירת מחדל. השאילתות שאתם מריצים מתחרות עם כל השאילתות האחרות על מיקומים. לכן, יכול להיות שההרצה של שאילתה תתעכב בגלל חוסר זמינות של משבצות. מנוע השאילתות שמוגדר כברירת מחדל יכול לבצע שאילתות רק בתצוגות של נתוני observability, בתצוגות של מאגרי יומנים ובתצוגות של נתוני ניתוח.

כשיוצרים מערך נתונים מקושר, בדף ניתוח נתונים של יכולת הצפייה אפשר לבחור בין מנוע השאילתות שמוגדר כברירת מחדל לבין מנוע BigQuery. אם הזמנתם משבצות ב-BigQuery ובחרתם להריץ את השאילתה במנוע BigQuery, המערכת תשתמש במשבצות שהזמנתם. שאילתות שמופעלות במנוע BigQuery יכולות לשלוח שאילתות לתצוגות של יכולת צפייה, לתצוגות של מאגרי יומנים ולתצוגות של ניתוח נתונים. השאילתות האלה יכולות גם לצרף את נתוני יכולת התצפית לטבלה ב-BigQuery.

יש שני תרחישי שימוש עיקריים להרצת שאילתות במנוע BigQuery:

• יוצרים מדיניות התראות מבוססת-SQL. השאילתות לגבי המדיניות הזו צריכות להיות מורצות במנוע BigQuery.

• אתם רוצים לשמור תרשים בלוח בקרה שבו מוצגת התוצאה של צירוף בין נתוני יכולת התבוננות לבין נתונים עסקיים אחרים.

  בסעיף FROM צריך לציין תצוגה של מערך נתונים של יכולת תצפית או תצוגה של קטגוריה ביומן, וצריך להיות גם מערך נתונים מקושר לנתונים שנשלחת לגביהם שאילתה. כדי לצרף את נתוני יכולת התצפית לנתונים עסקיים אחרים, מוסיפים הצהרת JOIN שמציינת טבלה ב-BigQuery. צריכות להיות לכם הרשאות ה-IAM הנדרשות כדי לשלוח שאילתה לטבלה ב-BigQuery.

מידע על העלויות שקשורות לשימוש ב-BigQuery זמין במאמר בנושא תמחור ב-BigQuery.

דרישות מוקדמות

1. מבצעים את השלבים בקטע לפני שמתחילים.

2. כדי לקבל את ההרשאות שדרושות להרצת שאילתות מ-Observability Analytics באמצעות משבצות זמן של BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

   • ‫Observability View Accessor (roles/observability.viewAccessor) בתצוגות הניראות שרוצים לשלוח אליהן שאילתות. התפקיד הזה תומך בתנאי IAM, שמאפשרים להגביל את ההרשאה לתצוגה ספציפית. אם לא מצרפים תנאי להענקת התפקיד, לחשבון המשתמש תהיה גישה לכל תצוגות הנתונים של יכולת התצפית.
   • מציג היומנים (roles/logging.viewer) בפרויקט
   • BigQuery User (roles/bigquery.user) בפרויקט
   • BigQuery Job User (roles/bigquery.jobUser) בפרויקט

   להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

   יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

3. מוודאים שקיים מערך הנתונים המקושר ב-BigQuery עבור מאגר התצפיות שנקרא _Trace. אם מערך הנתונים המקושר לא קיים, צריך ליצור אותו.

אם אתם מתכננים להגדיר את הדף Observability Analytics כדי להריץ שאילתות על משבצות הזמן של BigQuery, ואם אתם משתמשים בפרויקטים עם VPC Service Controls, אתם צריכים לוודא שאתם משתמשים במהדורת Enterprise של BigQuery. מידע נוסף זמין במאמר הסבר על מהדורות BigQuery.

שימוש במנוע BigQuery

כדי להריץ שאילתה במנוע BigQuery כשמשתמשים בדף Observability Analytics:

1. נכנסים לדף manage_search Observability Analytics במסוף Google Cloud :

   עוברים אל Observability Analytics

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

2. מזינים או טוענים שאילתה. מידע נוסף זמין במאמר שאילתות וניתוח של עקבות.

3. עוברים לסרגל הכלים ומוודאים שמוצג בו לחצן עם התווית Run on BigQuery.

   אם בסרגל הכלים מוצגת האפשרות הפעלת שאילתה, לוחצים על settings הגדרות ובוחרים באפשרות BigQuery.

   אם הלחצן הפעלה ב-BigQuery מושבת, סימן שלא קיים מערך נתונים מקושר. כדי לפתור את הבעיה, צריך ליצור את מערך הנתונים המקושר ב-BigQuery.

4. לוחצים על Run on BigQuery (הפעלה ב-BigQuery).

המאמרים הבאים

• מעקב אחרי תוצאות של שאילתות SQL באמצעות מדיניות התראות.
• שמירה ושיתוף של שאילתת SQL.
• יצירת תרשים של תוצאות שאילתת SQL.
• דוגמאות לשאילתות SQL.