תכנון המשאבים של Cloud TPU
בדף הזה מוסבר איך לתכנן את השימוש ביחידות לעיבוד טנסורים (TPU).
בחירת אפשרות צריכה
אפשרויות הצריכה מתייחסות לדרכים לקבלת משאבי מחשוב ולשימוש בהם. אתם יכולים לבקש קיבולת של מכונות וירטואליות ב-Cloud TPU על סמך הצרכים שלכם מבחינת מהירות, משך, עלות וסובלנות להפסקות. האפשרויות כוללות:
- לפי דרישה: מקרים רגילים של תשלום לפי שימוש.
- מכונות וירטואליות במודל Spot: מכונות וירטואליות זולות יותר שניתן להפסיק את השימוש בהן. נעשה שימוש במכסה שניתנת להפסקה.
- מכונות וירטואליות עם הפעלה גמישה: אפשר להזמין קיבולת לפי הצורך, למשך עד 7 ימים, בלי הזמנות לטווח ארוך או ניהול מורכב של מכסות.
- הזמנות: הזמנת קיבולת למשך תקופה מסוימת (עד 90 ימים או שנה ומעלה), עם הבטחה לזמינות. משתמש במכסה על פי דרישה.
בטבלה הבאה מוצגת השוואה בין אפשרויות הצריכה של TPU על סמך אופן הפעולה שלהן, תרחישי השימוש האידיאליים שלהן והגרסאות והאזורים הנתמכים של TPU.
| אפשרות צריכה | איך זה עובד | השימוש הכי טוב | גרסאות ותחומים (Zones) נתמכים של TPU |
|---|---|---|---|
| הזמנות עתידיות לשנה או יותר |
אתם מבקשים משאבי TPU שנה מראש או יותר. המשאבים האלה שמורים לשימוש בלעדי שלכם במהלך התקופה הזו. הזמנות מספקות את רמת הוודאות הגבוהה ביותר לגבי קיבולת, ומחירן נמוך יותר ממחיר המשאבים על פי דרישה. הזמנות עתידיות של TPU כוללות הנחה תמורת התחייבות לשימוש (CUD). הנחות CUD מספקות מחירים מוזלים כשרוכשים חוזה התחייבות לשימוש. מידע נוסף זמין במאמר בנושא הזמנות עתידיות לשנה או יותר |
הזמנות עתידיות לשנה או יותר מתאימות במיוחד למשימות אימון ארוכות ולעומסי עבודה של הסקת מסקנות. | כל הגרסאות של TPU: אפשר לעיין באזורים ותחומים של TPU |
| הזמנות עתידיות ל-90 ימים (מצב יומן) |
אתם מבקשים משאבי TPU לזמן התחלה ומשך ספציפיים, בין יום אחד ל-90 יום. המשאבים האלה שמורים לשימוש בלעדי שלכם במהלך התקופה הזו. מידע נוסף זמין במאמר בנושא הזמנות עתידיות לפרק זמן של עד 90 ימים (במצב יומן) הזמנות מספקות את רמת הוודאות הגבוהה ביותר לגבי קיבולת, ומחירן נמוך יותר ממחיר המשאבים על פי דרישה. |
הזמנות עתידיות במצב יומן מתאימות לעומסי עבודה של אימון וניסויים שדורשים זמני התחלה מדויקים ומשך מוגדר. |
TPU7x (Ironwood) לאימון ולהצגה: us-central1-c v6e (Trillium) לאימון ולהצגה: asia-northeast1-b, us-east5-a v5p לאימון ולהצגה: us-east5-a |
| על פי דרישה |
אתם מבקשים משאבי TPU לשימוש מיידי, למשך הזמן שאתם צריכים אותם. האפשרות 'על פי דרישה' מספקת גמישות משמעותית. למשאבים לפי דרישה אין עדיפות, אבל אין ערובה לכך שיהיו מספיק משאבי TPU זמינים כדי לספק את הבקשה שלכם. האפשרות 'על פי דרישה' היא ברירת המחדל כשיוצרים משאבי TPU. מידע נוסף על יצירה ושימוש ב-TPU על פי דרישה זמין במאמר יצירת מכונות וירטואליות של TPU. |
התשלום לפי דרישה מתאים לעבודות דחופות ולעומסי עבודה שנדרש להם זמן סיום גמיש. | כל הגרסאות של TPU: אפשר לעיין באזורים ותחומים של TPU |
| Flex-start (תצוגה מקדימה) |
אתם מבקשים משאבי TPU למשך זמן מסוים, עד שבעה ימים, בלי להזמין מראש קיבולת. מכונות וירטואליות של TPU Flex-start מסופקות ממאגר ייעודי של קיבולת, ולכן הזמינות של המשאבים האלה גבוהה יותר מאשר לפי דרישה. מידע נוסף זמין במאמר בקשת מכונות וירטואליות עם TPU Flex-start. מידע נוסף על שימוש במכונות וירטואליות עם TPU Flex-start ב-Google Kubernetes Engine (GKE) זמין במאמר מידע על הקצאת GPU ו-TPU במצב הקצאה של flex-start. |
התכונה 'התחלה גמישה' אידיאלית לניסויים, לבדיקות בקנה מידה קטן, להקצאה דינמית של TPU לעומסי עבודה של הסקת מסקנות, לכוונון עדין של מודלים ולהרצת עומסי עבודה שנמשכים פחות משבעה ימים. |
TPU7x (Ironwood): us-central1-c (בשימוש ב-GKE בלבד) v6e (Trillium): asia-northeast1-b, us-east5-a v5p: us-east5-a |
| כרטיס Spot |
אתם מבקשים משאבי TPU שניתן לבצע בהם קדימה. מכונות Spot VM זמינות במחיר נמוך משמעותית ממחיר המשאבים על פי דרישה. לרוב קל יותר להשיג מכונות וירטואליות מסוג Spot מאשר משאבים לפי דרישה, אבל יכול להיות שהן יידחקו (יושבתו) בכל שלב. אין הגבלה על משך זמן הריצה. מידע נוסף על מכונות וירטואליות מסוג TPU Spot זמין במאמר ניהול מכונות וירטואליות מסוג TPU Spot. |
Spot מתאים לתזמון עומסי עבודה בעדיפות נמוכה יותר, כמו אימון מוקדם של מודלים, שיפור מודלים ומשימות סימולציה שניתן לבצע גם אם יש שיבושים בזמינות. | כל הגרסאות של TPU: אפשר לעיין באזורים ותחומים של TPU |
בחירת גרסת TPU
בוחרים את גרסת ה-TPU, למשל v5p, v6e או TPU7x (Ironwood), בהתאם לצרכים של האימון או ההסקה של המודל. מידע נוסף זמין במאמר בנושא גרסאות TPU.
בקשה למכסת TPU
כדי להשתמש במכונות וירטואליות של TPU, לא משנה מהי אפשרות הצריכה, אתם צריכים מכסה לפי דרישה או מכסה שניתן להפסיק עבור משאבי Cloud TPU. מוודאים שיש לכם מספיק מכסת שימוש לאפשרות שבחרתם, לגרסת ה-TPU, לגודל ולאזור. המכסות ספציפיות לכל גרסת TPU, והן שונות לשימוש לפי דרישה ולשימוש שניתן להפסיק. לחלק מגרסאות ה-TPU יש מכסות ברירת מחדל, ובגרסאות אחרות צריך לבקש מכסה. למידע נוסף, ראו מכסות ב-Compute Engine.
המאמרים הבאים