עדכון שירות Dataproc Metastore

בדף הזה מוסבר איך לעדכן שירות Dataproc Metastore.

אפשר לעדכן את שירות Dataproc Metastore כדי לשנות את הגדרות התצורה או כדי להפעיל או להשבית תכונות אופציונליות.

לפני שמתחילים

התפקידים הנדרשים

כדי לקבל את ההרשאה שנדרשת לעדכון שירות Dataproc Metastore, צריך לבקש מהאדמין להקצות לכם בפרויקט את תפקידי ה-IAM הבאים, בהתאם לעקרון של הרשאות מינימליות:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאה metastore.services.update, שנדרשת כדי לעדכן שירות Dataproc Metastore.

יכול להיות שתוכלו לקבל את ההרשאה הזו גם בתפקידים בהתאמה אישית או בתפקידים אחרים שמוגדרים מראש.

במאמר סקירה כללית על IAM ב-Dataproc Metastore יש מידע נוסף על תפקידים והרשאות ספציפיים ב-Dataproc Metastore.

מידע על עדכון שירות

אפשר לעדכן את הפרמטרים הבאים של Dataproc Metastore.

  • מספר יציאה. מעדכנים את מספר יציאת ה-TCP של ממשק Apache Thrift.
  • רמת שירות. לעבור בין רמת השירות Developer או רמת השירות Enterprise. הרמות האלה משפיעות על הקיבולת של השירות.
  • סנכרון של Data Catalog. מפעילים או משביתים את תכונת הסנכרון של קטלוג הנתונים.
  • חלון זמן לתחזוקה. משנים את התדירות של חלון זמן לתחזוקה, כולל היום בשבוע והשעה ביום.
  • Kerberos. הפעלה או השבתה של אימות Kerberos. אם הפעלתם בעבר את Kerberos, תוכלו לעדכן את קובצי ההגדרות של Kerberos.
  • הגדרות של Hive metastore. מעדכנים את המיקום של ספריית מחסן הנתונים של Hive.
  • הגדרת גרסה משנית (בגרסת Preview). הפעלה, השבתה או הוספה של גרסאות עזר נוספות.
  • תוויות. מוסיפים או מסירים תוויות אופציונליות שמתארות את המטא-נתונים.
  • גורם לקביעת קנה מידה. משנים את הגורם לקביעת קנה מידה. אפשר להפעיל או להשבית את ההתאמה האוטומטית לעומס ולעדכן את גורמי קביעת קנה המידה המינימליים או המקסימליים.

עדכון שירות

לפני שמריצים עדכון, חשוב לשים לב לנקודות הבאות:

  • אפשר להריץ רק משימת עדכון אחת בכל פעם (לכל שירות Dataproc Metastore).
  • אפשר לעדכן כמה פרמטרים במשימת עדכון אחת.
  • עדיין אפשר להשתמש ב-Dataproc Metastore בזמן העדכון.

אם העדכון מצליח, Dataproc Metastore עובר אוטומטית למצב פעיל. אם העדכון נכשל, שירות Dataproc Metastore חוזר למצב תקין קודם.

בהוראות הבאות מוסבר איך לעדכן שירות של Dataproc Metastore.

המסוף

  1. במסוף Google Cloud , פותחים את הדף Dataproc Metastore:

    פתיחת Dataproc Metastore

  2. בדף Dataproc Metastore, לוחצים על שם השירות שרוצים לעדכן.

    ייפתח הדף פרטי השירות.

    דף פרטי השירות
    דף הפרטים של שירות Dataproc Metastore
  3. בכרטיסייה Configuration (הגדרה), לוחצים על Edit (עריכה).

    ייפתח הדף עריכת השירות.

  4. בוחרים את הערכים שרוצים לעדכן בשירות.

  5. לוחצים על שליחה.

    חוזרים לדף Dataproc Metastore ומוודאים שהשירות עודכן בהצלחה.

‫CLI של gcloud

  1. כדי לעדכן שירות, מריצים את הפקודה הבאה gcloud metastore services update:

    gcloud metastore services update SERVICE \
        --location=LOCATION \
        --port=PORT \
        --tier=TIER \
        --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
        --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
        --kerberos_principal=KERBEROS_PRINCIPAL \
        --keytab=KEYTAB \
        --krb5-config=KRB5_CONFIG \
        --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
        --clear-hive-metastore-configs \
        --remove-hive-metastore-configs=[KEY, ...] \
        --update-labels=[KEY=VALUE, ...] \
        --clear-labels \
        --remove-labels=[KEY, ...]
    

    מחליפים את מה שכתוב בשדות הבאים:

    • SERVICE: השם של שירות Dataproc Metastore.
    • LOCATION: האזור שבו נמצא שירות Dataproc Metastore. Google Cloud
    • PORT: אופציונלי: יציאת ה-TCP של ממשק Thrift שבו אתם משתמשים עם שירות Dataproc Metastore.
    • TIER: אופציונלי: קיבולת הרמה של שירות Dataproc Metastore.
    • MAINTENANCE_WINDOW_DAY: אופציונלי: היום בשבוע שבו מתחיל חלון השירות.
    • MAINTENANCE_WINDOW_HOUR: אופציונלי: השעה ביום שבה חלון השירות מתחיל.
    • KERBEROS_PRINCIPAL (אופציונלי): שם משתמש ב-Kerberos שקיים גם בקובץ keytab וגם ב-KDC. דוגמה אופיינית לזהות ראשית היא מהצורה "primary/instance@REALM", אבל אין פורמט מדויק.
    • KEYTAB: אופציונלי: קובץ keytab של Kerberos שמשמש לאימות של חשבון ראשי של שירות באמצעות מרכז הפצת מפתחות של Kerberos.
    • KRB5_CONFIG: אופציונלי: קובץ התצורה krb5.config מציין את ה-KDC ואת פרטי תחום Kerberos, כולל מיקומי KDC וערכי ברירת מחדל עבור התחום ואפליקציות Kerberos.
    • [KEY, ...]: אופציונלי: הגדרות של Hive metastore שרוצים לעדכן. אם קיים משתנה בשדה הזה, הערך שלו מתעדכן. אחרת, נוצר משתנה חדש. אם הדגל הזה מוגדר, גם -clear-hive-metastore-configs מוגדר באופן אוטומטי.
    • [KEY, ...]: אופציונלי: ההגדרות של Hive metastore שרוצים להסיר.
    • [KEY=VALUE, ...] (אופציונלי): התוויות או ההגדרות של זוגות מפתח/ערך במאגר המטא-נתונים של Hive שרוצים לעדכן.
    • [KEY, ...] (אופציונלי): התוויות או הגדרות של צמדי מפתח/ערך במאגר המטא-נתונים של Hive שרוצים להסיר.
  2. מוודאים שהעדכון בוצע בהצלחה.

REST

פועלים לפי ההוראות ל-API כדי לעדכן שירות באמצעות APIs Explorer.

עדכון ההגדרה של מחסן הנתונים ב-Hive Metastore

אם ספריית מחסן הנתונים של Hive נמצאת ב-Cloud Storage, צריך להגדיר החלפה של הגדרת Metastore. ההגדרה הזו מבטלת את ברירת המחדל ומגדירה את מחסן הנתונים הספציפי שלכם כספריית ברירת המחדל של מחסן הנתונים ב-Dataproc Metastore

לפני שמגדירים את ההחלפה הזו, צריך לוודא שלחשבון השירות של Dataproc Metastore יש הרשאות קריאה וכתיבה לאובייקטים כדי לגשת לספריית מחסן הנתונים. מידע נוסף זמין במאמר בנושא ספריית מחסן נתונים של Hive.

בהוראות הבאות מוסבר איך לעדכן את ההגדרה של Hive Metastore.

המסוף

  1. במסוף Google Cloud , פותחים את הדף Dataproc Metastore:

    פתיחת Dataproc Metastore

  2. בדף Dataproc Metastore, לוחצים על שם השירות שרוצים לעדכן.

    ייפתח הדף פרטי השירות.

  3. בכרטיסייה Configuration (הגדרה), לוחצים על Edit (עריכה).

    ייפתח הדף עריכת השירות.

  4. בקטע Metastore config overrides (שינויים בהגדרות של מאגר המטא-נתונים), מזינים את הערכים הבאים:

    • מפתח: מזינים את הערך הבא: hive.metastore.warehouse.dir.
    • ערך: מיקום ספריית מחסן הנתונים ב-Cloud Storage. לדוגמה: gs://my-bucket/path/to/location.
  5. לוחצים על שליחה.

    חוזרים לדף Dataproc Metastore ומוודאים שהשירות עודכן בהצלחה.

gcloud

  1. כדי לעדכן שירות, מריצים את הפקודה הבאה של gcloud metastore services update:

    gcloud metastore services update SERVICE \
        --location=LOCATION \
        --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
    

    מחליפים את מה שכתוב בשדות הבאים:

    • SERVICE: השם של שירות Dataproc Metastore.
    • LOCATION: האזור שבו נמצא שירות Dataproc Metastore. Google Cloud
    • CUSTOMER_DIR: המיקום של ספריית מחסן הנתונים ב-Cloud Storage. לדוגמה: gs://my-bucket/path/to/location
  2. מוודאים שהעדכון בוצע בהצלחה.

המאמרים הבאים